嘉納治五郎は、自分の屋敷の近くに姪っ子を住まわせました。そこは、神社の跡地で、敷地の中には、近隣住民らが崇敬する3本の椎の木がありました。それで、嘉納はここを三樹荘と呼ぶ名づけました。
この姪が後に海軍大将になる谷口尚真に嫁ぎます。その家に、今度はその弟で嘉納の甥っ子の柳宗悦が住みます。そして、柳と親交のあった志賀直哉、武者小路実篤、バーナード・リーチなどが移り住みます。