頼朝は、当時の東山道である琵琶湖の北を回り不破関（現岐阜県不破郡関ケ原町）を超え、美濃国の青墓宿（源岐阜県大垣市青墓町）を過ぎた。この宿で矢傷を負っていた兄・朝長は、傷が悪化し、父・義朝一向の足手まといになることを嫌い、義朝に自身を殺すことを依頼し念仏を唱えた。義朝は朝長の胸を太刀で三度刺し、首をはね遺骸に衣をかけたとされる。頼朝は、父・義朝の胸中で悲しみの涙にあふれたように、頼朝もその心の内が思われ、自身も悲しさを夢中に留めた。また、杭瀬川を渡る時も、父義朝が下った川なので、心の無き川の流れにも、心ひかれる思をしただろう。
頼朝は、東山道から尾張国に向かう道を通り、昨年亡くなった母の実家、熱田神宮に着いた。頼朝は土地の者に、
「故左馬頭（父源義朝）のお討たれになった野間の内海は、どちらか」
「鳴海潟を隔てて、霞がかかっている山が、そちらです」
と、聞くと頼朝は心中に
「南無八幡大菩薩、頼朝をもう一度、世に出してください。忠致・景致を手にかけて、亡き父の墓の下にお店申し上げよう」
と泣く泣く熱田の神に誓ったと『平治物語』に記されている。
頼朝の母がこの熱田神宮の大宮司藤原季範での娘で、同じ母の子として生まれた子は男女三人で、頼朝と妹が一人、坊門の姫と言われ後藤兵衛実基の養い君で都に留まった。もう一人の弟が駿河国香貫（かつら）に居たのを母方の叔父・内匠頭憲忠という者が捕縛して平家に差し出している。当人に成人たる名が付いていなければ流されないという慣例に従い、希義と名付けられ、土佐国の毛良（けら）に流された。頼朝の挙兵時に希義にも嫌疑が掛けられ殺害されている。
『平治物語』で頼朝は、文治五年（1189）奥州合戦にて奥州藤原氏を滅ぼした後、纐纈源五盛康の恩返しを心にかけている事を藤原親能に伝え、
「盛康は双六上手で、何時も院の御所へ召し出されているものです」と言うと、頼朝は、
「そう言う事なら、頼朝が個人の立場からは、どうして呼び寄せられよう」
親能は、良い機会を利用して頼朝の趣旨を伝えたが、昼夜において双六に夢中になって鎌倉に下向しないとある。頼朝は建久元年（1190）十一月七日に流罪後、初めて上洛した際、盛康を呼び、馬・武具・絹・小袖を、数限りなく与えられた。盛康は鎌倉に参向しなかったため領地を恩賞としてもらう御恩には与らなかったと記されている。『吾妻鏡』においては、もちろんそのような記載はない。しかし、纐纈神社（岐阜県可児郡御嵩町）の由緒由来に「往古源頼朝鎌倉に幕府を開し時に当たり京都登り武士纐纈源五盛康と唱ふる者、頼朝の縁故にありて関東に下向したる折しも美濃国刻一の児郷上中村を拝領土着せし。以来子孫連綿相続して今に至るまでこの地に住して交告氏の宗家となる。就中源五盛康の孫修之助は勇士なり。故に歿後人尊敬してのあまり、其の神霊を祭祀せし旨当村交告氏家記に記せり」とある。また盛康は、同地の願興寺の大寺記によると小泉荘の地頭になった盛康が文治三年の兵火で焼失した願興寺の再興に取り組んだ事が記されている。盛康の頼朝の髻を切らないように夢合わせを語った事が真実か否かは不明であるが、真実であるならば、その功績は大きい。
頼朝が平治の乱に敗れ、東国へ落延びる平治元年（1159）十二月二十八日の夜、近江国の山中で雪深い山を越え兼ねて、父の後を追い遅れてしまう。さまよう中、近江国の大吉寺という山寺の僧侶が可哀そうに思い、頼朝を隠し置いたが、寺の御堂の修理の時期が近づき、僧侶が別の所に逃れるよう伝える。頼朝はその寺を出て浅井の北の郡に迷い行ったところ老翁老女の夫婦が同情して頼朝を隠し置いた。その後、二月になり、東国に下る為、頼朝が近江を離れる際には、老夫婦に自身の着ていた立派な小袖で直垂を与えて、老夫婦子息が着ていた粗末な小袖と直垂を着けたという。下向の途中、弥平兵衛宗清に見つけられ捕縛された。後年、頼朝が流罪になって以来初めて上洛した際に老夫婦と再会して、その子息を取り立てて近江冠者と名乗らせたが、これが足立新三郎清経であるとしている。しかし『吾妻鏡』では、それ以前に頼朝に仕えており真相は不明である。
池禅尼は、頼朝が伊豆に流罪になった四年後の長寛二年（1164）頃、六十一歳で死去したといわれるが、正確な没年と享年は不明である。池禅尼の子・頼盛は寿永二年（1183）十月に頼朝は治承・寿永の乱で平家一門と共に都落ちしなかった。頼朝は頼盛と弥平兵衛宗清を鎌倉に招こうとするが、宗清は武士の恥であるとして断り、八島に向かった。頼朝は頼盛から宗清が病で遅れると聞き、引きで物を用意していたが、宗清があらわれなかった事で落胆したとされる。その後宗清は没するが、場所と時期について定かではない。子の家清は、都落はせず元暦元年七月に本拠伊勢で三日平氏の乱を起こすが鎌倉方に討ち取られている。頼盛は頼朝により所領を安堵され、再び京に戻るが、鎌倉で厚遇を受けた事で反感を買い、元暦二年（1185）三月に平家一門も壇ノ浦で滅んだ。これが要因かは定かではないが、その年の五月に出家し、自邸に籠居してそれ以来表舞台には出ることなく、文治二年六月二日に死去、享年五十四歳であった。子孫は池氏として、幕府御家人として頼朝に臣従している。
頼朝は、流罪地の伊豆国で霊山箱根権現、走湯権現に深く帰依した。また、その地での生活は、阿弥陀仏への読経を怠らず、亡き父義朝と源氏一門を弔いながら、この地で流罪の身として二十年の間、過ごす。―続く