高島嘉右衛門が石川島監獄にいるとき、元嘉右衛門の手代平兵衛が嘉右衛門の姉を妻とした。嘉右衛門の姉は大垣戸田藩の側室の一人で戸田欽堂を生んだ人だった。
江戸時代の牢獄は差し入れによって扱いが差別されていた。嘉右衛門への差し入れは戸田藩の援助あり平兵衛よって、命が長らえた。吟味与力と労役人に出入り扶持をワイロとして渡し、高島嘉右衛門を庇護したという。
鳥羽伏見の戦い以後、藩論を京都政権の転向した大垣藩は忠誠の証として征東軍の先鋒にさせられた。大垣藩兵は関東の野州小山での大鳥圭介の隊と衝突し苦戦し、弾薬が尽きた。入牢中の面倒を見ていた大垣藩市川元之助、宮島信吉は高島嘉右衛門のところで行き、居留地の蘭人タックから3万ドルを借り軍費にあてたという。この時の通訳が森山多吉という人だった。（文献には見当たらないが森山栄之助・多吉朗と同一人物なのだろうか）
大垣藩主戸田氏正の４男として生まれた戸田欽堂の母は高島嘉右衛門の姉だった。離縁の理由として考えられるのは高島嘉右衛門の罪状だろう。幕府の為替管理を犯した罪は戸田藩に及ぶ恐れがあったので離縁させられたと思える。
