治承四年（1180）八月二十日、去る十七日から今で言う台風が襲ったのだろう。八幡太郎義家の時から従臣であり、この挙兵に同意していた三浦一族の到着が遅参している。海路を隔てて風雨を凌ぎ、あるいは遠路三浦半島を超えているのだろうか。頼朝は、伊豆・相模の御家人だけを率いて伊豆国の北条を出て、相模土肥郷に向けて出発した。
『吾妻鏡』に記載される御家人は、北条時政、宗時・義時、安達盛長、工藤茂光親光親子、土肥実平・遠平親子他、四十六名であり、工藤茂光・親光親子の名がある。山木攻めの挙兵後に参陣したのであろう。茂光の兵を合わせ、三百騎になる武士は、「頼朝が頼りとする武士達であり、それぞれの命を受け、家を忘れて戦う覚悟という」。
同月二十二日には、三浦義澄・義連兄弟、大多和義久・義成親子、和田義盛、義茂、義実兄弟、多々良重春・明宗兄弟、筑井義行をはじめとする武士達が精鋭を率い三浦を出発する。
同月二十三日、曇天の日から夜になり激しい雨が降った。寅の刻（午前三時から五時）に頼朝率いる三百騎は相模国石橋山に陣を張る。以仁王からの令旨を見は他の横上に付け、中原惟茂がそれを持った。この間、平家の被官である、相模の住人・大庭景親、俣野景久、河村義秀、渋谷重国、糟谷盛久、海老名季貞、曽我助信、山之内首藤経俊、毛利景行、長尾為宗・定景兄弟、原宗景房・義行兄弟、熊谷直実らをはじめとする三千余騎が同じ石橋山あたりに陣を構え、その陣は谷一つ隔てたところだったとされる。また、伊豆の伊東祐親が率いる三百騎が頼朝の陣の背後の山に潜んでいた。この平家被官の武士の中に頼朝の志に寄せる者も少なくなかった。大庭景義の男・飯田家義もその一人で、頼朝の下に参陣しようとしたが景近の軍勢が道に連なっていたため心ならずも景親の軍に着いた。後の梶原景時もその一人であり、軍勢の数からみて圧倒的であった大庭景親がこの地で頼朝を捕り逃した事は、この様に与する武士がるいだいのげんけのかしんであり、戦意の消失が伴ったとも考えられる。
この日の夜、三浦の軍勢が、丸子川（現酒匂川）の辺りを宿とし、郎従らを遣わし景近一党の家屋を焼き払った。その煙はそのあたりの空半分を覆うほど立ちあがり、之を見た大庭景親は三浦の者の仕業と知った。景親は軍議を開き、
「今日は黄昏時になろうとしているが、合戦を行うべきである。明日になれば三浦の者どもが頼朝側に加わりおそらく破ることは難しくなるだろう。」
景親は数千の兵を用い疾風と暴雨の中、頼朝の陣に襲い掛かった。圧倒的な軍勢に対し、少数の頼朝の軍勢は古よりのよしみのため佐奈田義忠、武藤三郎とその郎従豊三家康は命大とした。景親は勝ちに乗じて明け方、景親の軍に加わっていた飯田家慶は頼朝を逃がす谷根自身の郎従六人を景親の軍勢と戦わせ、そのすきに頼朝を杉山（現神奈川県足柄郡湯河原町付近）に逃がした。
同二十四日、頼朝は杉山の内の堀口辺りに陣を構えるが、景親は再度軍勢三千余騎を率いて頼朝に迫る。しかし、加藤景兼と大見実正が頼朝の後ろに留まり防いだ。その間、頼朝は後方の峰に逃れる。景兼の父・景員と実正の兄・正光も子・弟を憐れみ、先に進まず、馬を止めて矢を放ち抵抗する。また、加藤光員。佐々木高綱、天野遠景・満家、堀藤親家助政らが馬を並べ防戦した。この時頼朝も馬をめぐらし百発百中の弓の技を見せながら幾度も戦いに及び、その矢は外れる事無く多くの者を射殺したという。矢が尽きると景兼が頼朝の馬の轡を取り山深くに引いたところ、景親の軍勢は、四・五段（距離・高低・面積に用いる単位。距離の場合、一段を三百六十歩、約百六十メートル）まで近くに迫っていた。高綱、遠景、景兼らは数度戻って矢を放つ。北条時政、宗時、義時親子は景親との戦いで疲労困憊し、山の峰に上ることが出来ず、頼朝に従う事は出来なかった。加藤景員・光員・景兼、堀親家、宇佐美実政・祐茂は時政に供を申し出るが、時政はそれを断り、頼朝の下に向かうよう言った。
頼朝は土肥実平の共におり、彼らの到着を喜んだという。しかし実平は、
「各々無事に参上したのは喜ばしいが、これだけの人々を引率して山に隠れるのは難しい。御身だけでは、たとえどれほどの時間がかかろうが、実平が計略をめぐらしお隠し通しましょう」。
しかし、彼らはお供したいと申し上げ、頼朝も許そうとしたが、実平は再び語った。
「今の別離は後の大幸のためです。共に生きながらえて別の計略をめぐらしたならば会稽（かいけい）の恥を雪（すす）いで復讐を果たすことが出来ましょう」。これにより各自分散した。
『吾妻鏡』では、北条時政、義時親子はこの時箱根湯坂を経て甲斐国に向かおうとしており、長子宗時は、工藤茂光と共に土肥山から桑原におり、平井郷を（比定地未詳）を通っていたところ伊東祐親の軍勢に囲まれ、小平井の名主紀六久重により討ち取られた。茂光も歩くことが出来なくなり自害したという。
大庭景親は、頼朝を追い周辺の山谷を探していた。景親に与する梶原景時という者が、頼朝の居場所を知っていたが、情に思うところがあり、この山に入った痕跡は無いと偽り景親の手勢を引き連れ傍の峰を上っていった。この日、夜になり時政は杉山に居る頼朝の陣に到着している。また、源為義、義朝とも親交があった箱根山（箱根神社）の別当・行実は武芸の器量のある弟・永実に食事を持たせ、逃れる頼朝に献上させている。「全員が飢えていた時だったので千金に値した」と記述があり、頼朝を逃がすため供をする実平は、子息・遠平と郎従数名を率いていたとも考えられる。そして、永実を案内役として箱根山に密かに入った。
『吾妻鏡』において、この時の北条時政の動向に不明瞭な点が残される。頼朝とは別に房総の安房に脱出した。安房で頼朝と合流し頼朝の体制の立て直しにおいて、九月八日甲斐源氏を味方に付ける密命を受け甲斐に赴いている。また、九月二十日には土屋宗遠を再び使者として甲斐に送り、二十四日、宗遠の来訪を受けた甲斐源氏は頼朝と駿河で参会するか一族を集め評議している。『延慶本平家物語』では、「時政は石橋山の敗戦後に頼朝とはぐれて、そのまま甲斐に逃れた」「頼朝は時政の勢至を知らず宗遠を甲斐に使者として送った」と記述があり、『吾妻鏡』『延慶本平家物語』には齟齬（そご）が生じている。『吾妻鏡』の記述からして時政が甲斐源氏懐柔のために奔走したとする話は、『吾妻鏡』編者の北条家に対する顕彰であり、曲筆されたものと考える。
この夜、三浦義澄らの三浦勢が豪雨で増水する丸子川東岸で足止めされ、対岸で繰り広げられる戦の音を聞きながら、歯がゆさを感じながら夜が明けるのを待っていた。そして明け方、先鋒した三浦党の大多和義久が疲労の果てに丸子川西岸にたどり着き、敗戦を知る。三郎に頼朝の安否を聞くが、人伝に討たれたと聞いたことを告げた。苦悶しながら三浦勢は衣笠山に引き返す。途中の由比浦で畠山重忠と遭遇し数刻に渡り戦った。郎従・多々良重春、その郎従・石井五郎らが命を落とした一方重忠の郎従五十余りの首を取られ、重忠は撤退し、義澄も三浦へと帰った。この間、上総広常の弟金田頼次が七十余騎を率い義澄の軍勢に加わっている。 ―続く
