「神牛石縁起」によると「牛の形をした黒石は神代の遺物であって寛保二年（１７４１）三福寺の境内の蓮池より十三重塔と共に掘り出したもので、天下に異変のある時は、この石より汗の如く水が滴たり落ちる」と伝えている。
どこかの坊主が一度は石清水八幡宮にお参りをと祈念して、ようやくその機会にえまれて参詣したものの、高良神社を石清水八幡宮本社と誤解をしてここにお参りし ていきようようと帰っていったとのお話が残っている。
延喜式神名帳では久世郡の双栗神社三座に比定される。『久世郡神社明細帳』（明治十六年）には久世郡羽栗・殖栗両郷に鎮座する社であったので双栗と名付けられたとある。また、羽栗氏の祖神を祀った氏神社として羽栗から双栗へ転訛とする説もある。