司馬遼太郎の街道をゆく42三浦半島記で「頼朝は、確かにただ一人で日本史を変えた。また史上最大の政治家ともいわれる。ただ、その偉業のわりには、後世の人気に乏しい。」と記載されている。「確かにただ一人で日本史を変えた。」この点においては異議を唱えるが、「史上最大の政治家ともいわれる。ただ、その偉業のわりには、後世の人気に乏しい。」という点では理解するところがある。
父の源頼朝は久安三年（1147）四月八日、源義朝の三男として熱田神宮西側の神宮大宮司・藤原季範の別邸で生まれる。幼名は鬼武者、または鬼武丸で、河内源氏の直流である。義朝は男子九人を得たが、この当時は母の家柄・格式により嫡子と扱われることが多く、頼朝の母は熱田神宮の宮司の娘（由良御前）であった為、嫡子として扱われたと考える（昇進も長兄よりもはやかった）。
保元元年（1156）保元の乱で義朝は平清盛とともに後白河天皇側で戦勝したが、父為義は崇徳天皇側に付いた為、義朝は自身の功績に免じ助命するが許されず、父兄弟を斬首し、左馬頭に任じられる。平清盛が二十八日、既に叔父である平忠正を斬首しており、三十日に為義は義朝により斬首された。平清盛は兄弟を結集したため褒章も多く、畿内・西国に派遣を広めた。源義朝には褒賞は薄く坂東のみであった。平家はより一層栄えるが、その後公家化していくことで権力を掌握していった。
平治元年（1159）十二月九日、平清盛が熊野詣の間に平治の乱がおこる。義朝は藤原信頼と共に後白河上皇と二条天皇を内裏に捕らえる。十三歳の頼朝は、この時に藤原信頼より右兵衛権佐へ任じられる。しかし平清盛がその知らせを受け京に戻り、二十六日、上皇と天皇を奪い返した。二十七日、官軍になった清盛は内裏へと攻め、賊軍になった義朝は敗れ東国を目指す。途中近江で雪の為、義朝・頼朝親子は離れ、右の弥平宗清によってとらえられた。
頼朝の助命は捕えた右の弥平宗清が哀れに思い、清盛の父忠盛の後添いである、池の禅尼に亡くなられた池の禅尼の息子に瓜二つであったことを告げ、清盛に助命してもらうよう懇願したのである。また後白河上皇や上西門院の意向もあったともいわれる。義朝は尾張国野間にて長田忠到により謀殺される。永歴元年（1160）三月十一日、頼朝、伊豆へと配流される。当初は工藤祐継の預かりとなるが、祐継死後、伊東祐親預かりになり、後に北条家領の地の蛭ヶ小島（ひりがこじま）に居住したかは不明である。伊東祐親が京に大判役を務めた任期中に祐親の娘乃八重姫に子を産ませた。祐親は平氏を恐れ、その子、線鶴丸を殺し、頼朝まで殺そうとした。しかし、息子の祐清が頼朝にそのことを告げ逃がした。頼朝は配流中には自由に動く事が出来、仏神に帰依し、箱根権現、走湯権現に出向き父義朝および源氏一門を弔いながら経を唱える日々を過ごしたと言う。
この配流中の時に頼朝は乳母であった比企尼に多大な援助をしてもらっている。また嫁婿の安達盛長・河越重頼、源氏方であったため所領をなくした佐々木定綱ら四兄弟が従者として従っていた。頼朝のもう一人の乳母の妹の息子である官人（公家よりも下級）の三善康信から京の情報を定期的に得ている。この事により京都の情報を入手する事が出来た。後に幕府政所の門柱所執事になる。
頼朝は北条時政の娘の政子と恋仲になり、まだ平氏の実権が大きく当初反対し伊豆国の、山木兼隆に嫁がすが政子は内婚礼の夜、その場から逃げ頼朝のもとに向かう。激怒した山木兼隆だったが伊豆権現に庇護された頼朝と政子には手が出せなかった。その後、時政は婚姻を認めたが、安元五年（1177）長女大姫が生まれていることから、山木兼隆が伊豆に赴任したのが治承三年（1179）の事で有る為に嫁いだ話は創作とされる。しかし、地方の弱小ながら有力者である伊東祐親の娘や北条時政の娘に近づいたのは挙兵の為の最小限必要な武力集団を作る上に必要と考えたからではないだろうか。政子を嫁にしたことで北条時政という後援人が出来た事になる。
治承四年（1180）四月二十七日、「平氏打倒を促す」、の命旨を出る。保元・平治の乱で勝者側について源氏の長老であった源頼政が後白河天皇の皇子、以仁王と結び平氏打倒を促す命旨を出す。しかし、計画が早期に露顕し宇治平等院の戦いで敗れ自害する。伊豆の地行国司が平時忠に変わり伊豆国衙の実権は伊東氏が掌握し北条氏、工藤氏は圧迫される。また平時忠の元側近の山木兼隆が伊豆目代（国司に変わり税徴を行う私的役人）となり源頼政の孫の有綱が伊豆にいたため大庭影親が本領に追補のため下向したため、伊豆で配流中の頼朝が自身の危機を感じ挙兵を挙げた。
頼朝が伊豆に配流され二十年がたち、この期間で父義朝や一門を弔う読経は日々欠かさず行われた。それは一層の憎悪を膨らませ、冷徹な頼朝を作り上げ、頼朝自身が武士の棟梁とは何かを学び取った期間だろう。後に義経、範頼を謀殺し、判官贔屓（ほうがんびいき）と言う言葉を後に残すほど、後世の人に人気が薄かった。続く・・・