1164年、伊豆・蛭ケ小島に18歳の源義朝の子・頼朝がいた。5年前に、清盛によって流罪となった頼朝はここに流され、家人の藤九郎(後の安達盛長 頼朝の乳母・比企局の娘が妻)とともにひっそり暮らし、地元の豪族・伊東祐親は頼朝を厳しく監視していた。ところが、頼朝は自分の監視役である伊東祐親の娘と恋仲になる。 元服を済ませてた頼朝が池の禅尼の懇願もあって助命され伊豆へいく。流罪先の伊豆は温暖で海山の幸に恵まれ、行動は至って自由、豪族の伊東祐親の娘・八重姫と恋仲になって千鶴丸という子を設けた。 経済的には頼朝の乳母である比企尼の女性が約20年間生活を支え続けた。 比企尼の娘婿である安達盛長はわざわざ伊豆にやってきて家来として頼朝に仕えた。 頼朝はあくまで流罪人であるから、ほかには家来はほとんどいなかった。 一方、清盛は太政大臣となり、一門の多くは公卿となり、平家の知行国は全国の50%にも及んだ。 大変な違いである。 この頃荒法師の文覚が伊豆にやってきて、平家打倒の話をしたという。 頼朝には全くその気はなく現在の生活を維持する考えがあったことを平家物語は伝えている。 京の警護を終えて伊豆に帰ってきた伊東祐親は娘・八重とともいいる子が頼朝の子であることを知る。 祐親は激怒して千鶴丸を八重からとりあげ、家来に命じて殺させ、八重は別の男のところへ嫁にだすと頼朝を殺そうとした。 あわてた頼朝は伊豆山大権現に逃げ込み僧兵にかくまわれ、覚淵という別当に世話になる。 祐親は平家からの疑惑により一族が討伐の対象になり滅亡することを怖れたからこのような行動にでたのである。
鎌倉にある源頼朝の墓