明治２年（1869）、飫肥藩主の伊東祐帰（すけより）が知事に任ぜられて、城内よりこの屋敷に移りました。その時、邸内にあった数百年を経た大楠にちなんで豫章館と名づけ、今もその名が通用しています。
邸内は明治初年に造られた主屋で、飫肥藩の典型的な武家屋敷です。広い敷地内に母屋や御数寄屋、雑舎、蔵を配し、入り口には薬医門を構えています。南面一帯は武学流の作庭といわれる庭園で、広い空間に庭石や石灯籠、庭木などが巧みに配置され、愛宕山を借景した枯山水の庭園となっています。
邸内は明治初年に造られた主屋で、飫肥藩の典型的な武家屋敷です。広い敷地内に母屋や御数寄屋、雑舎、蔵を配し、入り口には薬医門を構えています。南面一帯は武学流の作庭といわれる庭園で、広い空間に庭石や石灯籠、庭木などが巧みに配置され、愛宕山を借景した枯山水の庭園となっています。
GWだったので、節句の人形がたくさん
ここの横にも、大手門のとこの空堀が見える