鳳山が安らかな生活を得ることが出来た慶応2年という年は、実は世の中は大変なときでした。1月に薩長連合が出来、6月幕府の長州征伐が始まり、7月徳川慶喜が将軍となりました。10月、薩摩藩士小松帯刀、西郷吉之助らが挙兵、、王政復古の実を挙げんと鹿児島を出発。そういう時でありました。

鳳山はのんびりと田原で暮らしておりました。そのころよく出かけていたのは田原の隣村畠村でした。畠村は渥美半島の南端にあり、大垣藩の枝藩で戸田淡路守の領地でした。以前にも逗留して講義をしたところです。

門人の中村恭平がその時のことを次のように話しています。
「私は12、3才でしたが先生の畠村の塾にお供しました。いつも4,5人の塾生がお供しました。先生は1週間から10日くらい逗留していました。畠村では先生が来るのをいつも待ちわびて、とても歓迎してくれました。かなり広い一軒家を宿舎に当てて、講義は午後からでした。夜は先生は小用に起きることが3,4回で、そのたびに私は起きて手水水を用意し、布団を掛けていました。私が大きくなってから、先生が私の父にその時の私を大変ほめてくれたと言うことを聞きました。鳳山先生が頻繁に小用を催したのは前の晩に酒を飲んだせいで、その割には、先生は私達にきびしく『酒を飲んではならない』と戒めていました。」

鳳山自身も、その当時の生活について、とくに夏の暑さに閉口したことを、次のように書いています。
「余嘗テ江戶住居ナレドモ 近來世上不穏 都住ハ分ケテ老心不安故 文久三甲子ノ春 三宅公ノ召ニ應シテ 參河田原郭中ニ客居ス 然ルニ田原ハ南參遐陬 所謂蘊隆蟲々ノ地ニテ 夏ハ蚊蚋蠅蚤甚多シテ 老體住居不安ニ付 夏三月ノ間ハ何レノ地ニカ避暑致シ度思ヒ 避暑避虫ノ暇ヲ 公ニ願上ゲテ其許聽ヲ蒙リシ故 今年ハ夏ノ間ハ何レノ處ニカ立去べシト思ヒ定メシニ 馬齢六十有餘ナレバ 逐年老袞ヲ増シ 家ヲ離レテ暫時ノ客トナル事ハ 中々難出來ナリタレ バ 矢張夏ニモ田原客居ト決断シテ 炎熱ノ間ハ講習ヲ廄シ 著述モ止メ瀑布ノ圖ヲ眺ムレバ避暑ノ一助ニナルモノナレバ 其ノ圖ノ掛物數幅ヲ藏シ 日々夫ナド掛替 且ツ草花ノ鉢植等翫弄シテ 心ヲ間気ラシ暑ヲ忘ルル一助トナシ 日ヲ過キシニ 一日頓ニ有覺悟 古人ノ詩ニ人間七十古来稀トアリ 余モ六十ヲ過タレハ何時長睡ニ及フベキモ難計 一歳四時ノ所 夏ノ一時ハ空ク茫洋ト過ルハ口惜キコトナリ 且ツ人ハ心ノ用ヒ方ニテ苦楽憂喜ハ轉移スル者ナレハ 心易キ記録ナド認レハ 心ソレニ率カレテ暑ヲ忘ルル一助ナルベシ思付テ 朝暮蚊帳ノ内ニテ記録シ易キ國字俗諺ニテ愚見ヲ記シタリ 其所記ハ経書中ノ人ノ平日解シ得テ知リ居ル事ニテ其實ハ不知シテ誤リ居ル事ヲ記シタル故 其書ヲ知不知録ト名ヅクナリ」 (阿部正巳著「鳳山伊藤馨」伊藤鳳山傳記刊行會)
年をとった鳳山が暑さを紛らす方法として『知不知録』という本を書いたという、笑えない笑い話でした。