明王院を出てすぐの小道を１５ｍほど進むと、天園方面へのハイキングコースの入口がある。そこを左に入り、ハイキングコースを登って行くと、山頂に小さな神社がある。
そこからさらに進むと、丘の上に、大きな層塔が建っていて、これが鎌倉幕府の基礎を固めた政治家の大江広元の墓と言われている。ここは層塔があると言うことで、塔の峰と呼ばれている。
大江広元の墓はこれとは別に、源頼朝の墓の背後の山にも、広元の墓とされる五輪塔がある。これは広元の四男毛利季光の墓とともに、文政六年（１８２３）に、毛利藩によって整備されたものである。
一方、明王院を出て、金沢街道に戻り、明石橋を渡った向かい側の住宅の中に、「大江広元邸址」という史蹟指導標が立っていて、墓かとも言われるものがあるので、近くに邸があったと考えられている。