初夏の佐渡に上陸したとき、さすがに伊之助の胸が、甘酸っぱい感情でさざなみ立った。下船した小木湊では、すでに日暮だった。
その夜は小木で泊まり、翌朝、官道を新町にむかって歩いた。
途中、風景は多様だった。左手に荒磯が見えるかと思えば、山中に入った。山間の小さな野では、菜ノ花の黄が目に痛かった。伊之助は、涙がこぼれた。
「ふるさとはいいだろう」と、伊右衛門はそういう概念まで押しつけてきた。押しつけられるまでもなく伊之助は一個の詩人になって歩いていた。
一面、佐渡は絶海の孤島だった。
（もはや他郷には出ることがないだろう）
とおもった。この土地で祖父伊右衛門のように老い、父栄助のように死ぬ。江戸も長崎もあるいは平戸も、思いうかべると夢のようで、かつてそこにいたということが、実感としては煙をつかむようでにおいすらよみがえって来ない。
昼すぎに真野湾に面した故郷の新町についた。
（司馬遼太郎著 『胡蝶の夢』より）
長崎を出た伊之助は、平戸にしばらく滞在する。ポンぺの塾でともに学んだ平戸藩医師・岡口等伝のひとり娘・佳代の婿養子になる。
しかし祖父の伊右衛門は、自慢の孫が平戸に居ついてしまうことを怖れ、佐渡からはるばる伊之助を連れ戻しに来てしまった。
すでに佳代は妊娠していたのだが、伊之助は何も知らされないまま船に乗せられ、結局、妻子を残したまま佐渡に戻ることになった。
再び佐渡へ帰ったものの、伊之助は無為の日々を過ごしている。
開業するも患者は一人も来ない。