1563年に毛利勢の攻撃を受け落城、往時を偲ぶ本丸跡が残るのみで今は社が建っていて地元では「赤穂冨士」よ呼ばれている
永禄年間(1558年〜1570年)尼子義久によって築かれた
永禄6年(1563年)毛利軍に攻められ落城したがこの時既に義久は出雲国戸田城で毛利軍に捕らわれここには在城していなかった
落城に関しては伝説があり、始め正面から攻め寄せた毛利軍だが天然の要害であるため容易に攻められず一時後退して包囲していた所、
老婆に城の裏手にある間道があることろ知らされ老婆の案内によって裏手から攻め寄せ落城させたと云う
これによって長らく佐方と高野の集落は不和であったという。
尼子神社御祭神は尼子将監義久
天文6年（1537）12月8日、尼子詮久（晴久）は本願寺光教に馬代等を贈った
それから6日後の14日、尼子詮久軍は播磨国に入り、本願寺の光教は、播磨守護であった赤松政村の動向を詮久に問い、詮久の勝利を祝している
詮久とは後の晴久のことで、この年（天文6年）、祖父経久は隠居の形をとり、孫の晴久が尼子家の家督を継ぎ当主となった
光教とは当時の浄土真宗本願寺派第10世宗主・証如のことである
赤松政村とは、播磨・備前・美作の守護であった赤松氏第11代当主で、別名赤松晴政
