曹源寺の裏山に広がる池田家墓所を見ると、備前池田家が戦国時代から藩政時代を経由し明治に至るまで、日本を構成した重要な
外様大名の大藩であることがわかる。岡山城を築城したのは、宇喜多秀家だが、関ヶ原の戦い後、改易となり、小早川秀秋が入封した。所領は５１万石だったが、秀秋には、子供がいなかったため、廃絶となった。
慶長8年（1603）、姫路藩主・池田輝政の次男・忠継が、28万石で入封した。池田輝政には、家康の娘。督姫が嫁いでいる。家康の輝政に対する気の使い方がわかる。
ここに池田家の歴史が始まる。最近、発見された資料で、山崎の戦いに秀吉は、間に合わず、明智光秀を討ったのは、池田輝政だとされている。池田家は、家康としても重要な存在だったのだ。その後、10万石、加増されたが、元和元年(1615)忠継が無嗣子で没し、弟の忠雄が入封した。嫡子・光仲が、幼少だったため、従兄の光政が国替えで、鳥取から、入封した。この家系が、明治まで続くことになる。
池田家墓所は、初代岡山藩主池田光政が 造営した和意谷墓所（備前市）と、2代綱政 が造営した正覚谷墓所（岡山市・曹源寺境 内）の2ヵ所に分かれている。
開山と同時に綱政の菩提寺となった曹源寺には、綱政の墓所が築かれた。以後、継政・宗政・治政・斉政・斉敏・章政の歴代藩主、斉輝などの池田一族の墓所となっている。
なお、光政・慶政・茂政の墓所が和意谷墓所にある。
維新後、池田氏からは11家の華族家（侯爵家2家、子爵家4家、男爵家5家）が出た。
最後の岡山藩主池田章政は、戊辰戦争における戦功により、明治2年6月2日に賞典禄として2万石の永世禄を下賜され、さらに9月14日には函館五稜郭に立て籠もった榎本武揚一党の征討の戦功により3年間の年限禄1万石を下賜された。版籍奉還に伴って岡山藩知事に転じるとともに華族に列し、明治4年7月14日の廃藩置県まで藩知事に在職した
。