かれがその晩年を送るために都志本村に建てた屋敷は小さな野に囲まれていて季節には菜の花が、青い沖を残して野にいっぱい染め上げた。
「嘉兵衛さん、蝦夷地で何をしたのぞ」と村の人がきいたとき、
「この菜の花だ」と言った。「実を結べば六甲山麓の多くの細流の水で水車を動かしている搾油業者に売られ、そこで油になり、諸国に船で運ばれる。たとえば遠くエトロフ島の番小屋で夜なべ仕事の編み繕いの手もとをも照らしている。その網で獲れた魚が、肥料になってこの都志の畑に戻ってくる。わしはそういう廻り舞台の奈落にいたのだ、それだけだ」
（司馬遼太郎著 『菜の花の沖』）
1769（明和6）年、高田屋嘉兵衛は淡路島都志本村に6人兄弟の長男として生まれた。22歳で兵庫に出た嘉兵衛は、大坂と江戸の間を航海する樽廻船の水主（かこ)となり、船乗りとしてのスタートを切る。
やがて優秀な船乗りとなった嘉兵衛は、西廻り航路で交易する廻船問屋として海運業に乗り出し、28歳で、当時国内最大級の千五百石積の船「辰悦丸（しんえつまる）」を建造。まだ寂しい漁村にすぎなかった箱館を商売の拠点とした。
当時千島列島を南下してくるロシアとの国防対策を急ぐ幕府に協力して、エトロフ島とクナシリ島間の航路を発見したり、新たな漁場を開くなど、北方の開拓者としても活躍した。
その他にも文化3年（1806年）、箱館の大火で街の大半を焼失した時、高田屋は被災者の救済活動と復興事業を率先して行なっていった。市内の井戸掘や道路の改修、開墾・植林等も自己資金で行なうなど、箱館の基盤整備事業を実施した。
さらに、ゴローニン事件という日露国家間の問題を、民間の立場ながら無事解決に導いたことでも有名である。
北の海に大いなるロマンを追い求め、波瀾の人生を帆走し続けた嘉兵衛が、その命を全うする場所に選んだのは郷里淡路島であった。嘉兵衛はそこで、菜の花畑一面の黄色い花を見つめながら、北方の情勢を案じていたといわれている。
1827（文政10）年、59歳。静かにその生涯を閉じた。
高田屋嘉兵衛は、小説『菜の花の沖』を書いた司馬遼太郎がこよなく愛した人物でもある。
