父母は藤井高久・小春です。父高久も但馬守従五位下に任じられており、号は静斎又は細谷亭です。歌を栂井一室に学んでいます。やはり徒然草や新古今和歌集の研究をしています。その友人でもある笠岡の小寺清先に高尚は幼少の時学んでいます。
また、妻を繁弥といい、その子に藤井高豊がいます。高豊も、はやはり但馬守従五位下に任じられています。行年３５歳でした。松屋文後集に、高尚はその早すぎる死について
”うせにし高豊は・・・・・おのれも妻もいといとかなしゅうしヽおほし立てたる独子になんありける”
と書かれています。なお、繁弥も、そのお墓には行年四九歳と刻まれています。その後妻には折枝と云う人が入っています。
高豊には女子一人がおりました、その名は「松野」と云います。この人が養子を迎えております。その人がまた何時か詳しくご紹介しようと思っていますが、緒方洪庵の甥であり、しばしばその影響をうけた藤井高雅（たかつね）なのです。
これら藤井家の人々はそれぞれに和歌をよくし、沢山の歌を残しています。それを編集したのが高雅の「吉備国歌集」です。