女木島が「鬼ヶ島」とされる由縁は、香川県の桃太郎伝説にあります。
香川県の桃太郎は、吉備津彦命（きびつひこのみこと）の弟「稚武彦命（わかたけひこのみこと）」がモデルで、吉備の国から讃岐の国に来た時、土地の住民が鬼（海賊）の出没で苦しんでいるのを知り、イヌ・サル・キジを率いて鬼を征伐しました。イヌは備前の犬島（岡山県）、サルは陶の猿王（綾南町）、キジは雉ヶ谷（鬼無町）に住む勇士だったと言われています。
鬼が住んでいたのが女木島で、桃太郎が鬼を退治して鬼がいなくなったことから「鬼無」という地名になったと言われます。
大正３年に橋本仙太郎氏が大洞窟を発見したことによって、桃太郎伝説と女木島が結びつき、以来、女木島は「鬼ヶ島」と呼ばれています。