高尚は天保九年に京の吉田家より生前の霊号を賜っていますが，２年後の天保十一年に７７歳で亡くなっています。
その墓は向山にあります。このお墓について、その生前に、お墓の形やそこに記す文字などは遺言状として残しています。その墓は、高雅が作ったと伝えられていますが、その遺言状どうりに造られております。
そのお墓の表には 「三寸鏡霊神藤井宿弥高尚墓」。また、その裏側は、今ではそこに記されている文字はすっかり時代とともに消え去り、判読することは難しくなっておりますが、記録によりますと、「みそめけり日数あまたにみちみちてけふ朝顔の花の一花 天保十一年庚子八月一五日 松斎」。と書かれているのだそうです。（井上博士の藤井高尚伝による）。言わずもがなのことですが、この「みそめけり」という歌が高尚の辞世の歌です。
このお墓を見すと、高尚は、単に、宣長門下の偉大な国学者と云うに止まらず、自分の近辺にある名もない「あさがを」「かえで」「竹」「さくら」「まつ」、さらに、庭にある名もない雑草にまで、深く心に留め、いとおしむように眺め、それを生活の中に取り入れていたのではないでしょうか。そうでなかったらあれほど松に執心していたにもかかわらず、その松でなく、敢て、「あさがを」、それも、そこらじゅうにいっぱい咲いている朝顔でなく、たったその「一花」を辞世の歌に取り上げるはずがありません。もしかしたら、秀吉と利休の朝顔の話を知っていて、派手派手しいものではなく、ひっそりとたたずんでいる何処にでもあるような平凡な一花にでも心を廻らす事が出来る慈しみ深い人ではなかったかと想像しています。