築城年代は定かでないものの、戦国時代には北飛騨に勢力を拡大していた内ヶ島氏の支城のひとつで、城主は家臣の山下氏勝、内ヶ島氏が滅んだのち、尾張徳川家に仕え、清洲越えの名古屋城築城を提案した人物といわれ、かなり有能な人物だったようです。
領主の内ヶ島氏は、白川郷の金山のもたらす利益で足利義政の銀閣造営を支援したほどの強大な勢力でしたが、天正１３年（１５８５）佐々成政の要請で越中に赴いているさなか、羽柴秀吉の命を受けた金森長近に、荘川、白川郷一帯を制圧され、羽柴秀吉と和睦はしたものの、飛騨一国を治めることになった金森長近に従属、和睦成立を祝う宴を催すため一族郎党が勢ぞろいしていた帰雲城が、天正１３年１１月２９日深夜に起こった大地震で山崩れに巻き込まれ、城下集落もろとも、すべてが土砂に埋没し、滅亡してしまいました。
現在の荻町城跡は、城址というより、白川郷荻町集落を見晴らせる絶景の観光名所になっていて、カメラを構えた観光客が右往左往し、ちょうどいい休憩所があるとばかりに持参した弁当を広げ、子供が走り回っている街中の公園の雰囲気で、古城をしのぶ風情は、誰も見向きもしない土塁や空堀、わずかに残る石垣にあり、ためつすがめつながめている横を、中国語を話す集団がすり抜けて行きました。
反対側の駐車場の端からながめると、排水溝のような石組が見え、のちに取りつけられたのでないとすれば、ある程度の規模の館が建っていた可能性もあり、説明にあった単郭式ではなく、西に伸びる台地にいくつかの郭があったのかも知れず、陣屋のような建物が別にあったようにも思えてきて、その時期に白川郷はすでに合掌造りであったのか、確かな記録はないようで、確証はなくとも、いまと変わらない風景ではなかったのかと想像します。