太平洋に浮かぶ無人島「鳥島」に漂着した万次郎らは、そこで過酷な無人島生活をおくる。
漂着から143日後、万次郎は仲間と共にアメリカの捕鯨船ジョン・ホーランド号によって救助されるが、この出会いが万次郎の人生を大きく変えることになるのだ。
当時、日本は鎖国をしており、外国の船は容易に近づける状態ではなかった。万次郎を除く4人はハワイで降ろされるが、船長のホイットフィールドに気に入られた万次郎は、本人の希望で船長と共にアメリカに渡る。この時、船名にちなんだ“ジョン・マン”という愛称をつけられた。
アメリカ本国では、マサチューセッツ州のオックスフォード校に学び、英語のほか、航海術、数学などを修得。ホイットフィールド夫妻を初めとするアメリカ人社会でも愛され、21才のときには、乗船していた捕鯨船フランクリン号船長の病気による降船に伴って、一等航海士に昇格してアメリカへ帰還。
その後、ゴールドラッシュのサンフランシスコに渡り、ここで得た金で自身の船を購入。1850年12月、本人の購入した捕鯨船でハワイへ向かい、共に遭難しハワイに残された日本人仲間を伴って日本への帰国に向かうのである。