平泉に到着した義経主従は、平泉館の近くの小高い丘にある衣川館を与えられ、しばし安息の日々をすごしていた。後に高館義経堂（または判官館）と呼ばれたここは、北上川と衣川が出合う地点から１キロほど南の丘陵地にあり、もとは藤原基成の館であったという。
義経を迎え入れた藤原秀衡は、頼朝が奥州に攻め入ることを恐れ、義経を将軍に立ててこれを防ごうと計画したが、翌年に病気で没した。これを機に頼朝は４代泰衡に義経を捕えて引き渡すよう再三の圧力をかけた。
泰衡は最初は父、秀衡の遺言を守り、鎌倉に抵抗し続けたが、藤原氏が攻め滅ぼされることを恐れ、ついに2年後の閏４月、衣川館の義経主従を500騎で攻めた。
10数騎の義経郎党は必死に防戦したが全員討ち死にし、義経は泰衡軍に館を囲まれた。もはやこれまでと覚悟を決めた義経は持仏堂に入り、正妻と４才の娘とともに自刃して果てたという。源氏の総大将となり壇ノ浦で平家を討ち滅ぼしてから4年。31才の悲壮な最期であった。
頼朝は義経の首が鎌倉に差し出された後も、奥州に独自の政権があることを恐れ、長年、義経を匿い続けたとして3ヵ月後に奥州征伐を断行した。泰衡は遠征先で殺され、百余年に渡る奥州藤原文化はここに幕を閉じたのだった。
頭上を木々に覆われた昼間でも薄暗い坂道を登り、高館義経堂のある丘に辿り着く。義経堂に登る石段の麓に入場券を売る小さな小屋がポツンとある。蝉しぐれが行く夏を惜しむように、木立の中から降り注いでいる。急な石段を上り、丘の上の明るみにでた。対岸にそびえる束稲山を巡るように、滔々と流れる北上川。その流れは、千年前の昔、ここ平泉に繰り広げられた無情の歴史を物語るかのようであった。
それから500年。旅の途でこの地を訪れ、生い茂る草原を目にした旅人は、藤原氏の栄華と義経の無念を思い、句を詠んだ。
夏草や 兵共が 夢の跡 松尾芭蕉