神殿に入れない

タイムとラベルで神殿に行っても、いつも扉が閉まっている。確かここは中に入れる時があるはずなんだけど。いったいいつ行けば入れるのだろうか。