輝政が亡くなった慶長十八年の六月十六日、利隆が家督を継いで岡山城から姫路城へ移り、忠継はようやく岡山城へ入った。
が、この異母兄弟の仲はよくなく、常にもめていたようだ。
一説によると輝政の継室良正院富子は先妻の子の利隆を憎んで、輝政の遺領を悉く実子に相続させようとの陰謀を企て、世にいわゆる毒饅頭事件をおこしたという伝説がのこっている。
「毒饅頭事件」
忠継の母・督姫が実子である忠継を姫路城主にすべく、継子で姫路城主であった利隆の暗殺を企て、岡山城中で利隆が忠継に対面した際、饅頭に毒を盛って利隆に勧めようとした。
女中が手のひらに「どく」と書いて見せたため、利隆は手をつけなかったが、これを察知した忠継は利隆の毒入り饅頭を奪い取って食べ、死亡した。こうして身をもって長兄で正嫡の利隆を守ったという。
また、督姫もこれを恥じて毒入りの饅頭を食べて死亡したとされる。
史実として忠継は、前述の通り慶長二十年（１６１５）二月四日に岡山城内で死去しており（十七歳）、督姫は同年二月五日に姫路城内で死去（五十一歳）し、京の知恩院京に埋葬されている。
尚、昭和五十三年（１９７８）に忠継廟の移転の際に発掘調査が行われ、その際に毒死疑惑検証のため遺体の調査が行われた。その結果では毒死の確証は得られなかった。したがって、この毒饅頭疑惑は伝説の域を出ない。という事になった。
別・通説によると忠継は、元和元年（１６１５）二月二十三日に岡山城で病死してしまう。十七歳であった。
忠継は森忠政の娘を妻にしていたが、嗣子がなかったので弟忠雄が備前一国二十八万石を継ぎ、母良正院督姫（富子）の遺した化粧料であった備中国の浅口・窪屋・下道・都宇四郡の内をも合せて領有することになり、ここに岡山藩領知高三十一万五千石が確定した。
忠雄の旧領淡路はこのとき公収されて、播磨三郡は輝澄・政綱・輝興の三弟に分与された。
姫路藩主となった利隆は翌元和二年六月十三日、江戸より病気のため帰国の途中、妹婿である京都の京極高広の四条の屋敷にて死亡した。
当時八歳であった長男光政は一旦遺領を継いだが、翌三年六月に、播磨は中国の要地であるから領主が幼少では不都合であるとして、姫路から因幡・伯耆二国三十二万石に減封の上移されることになり、姫路城主には譜代の本田忠政が入封した。
元和元年岡山城主となった池田忠雄は、岡山城の増築工事をした。本丸では割石積み石垣を築いて中の段を北側に拡幅し、月見櫓（現存）や廊下門を建て、二の丸では大手の南門を造り替え、また城下の西端を限る用水路の西川を整備した。これにより岡山城の縄張りは、この忠雄によってはじめて完成したのである。
岡山藩主池田忠雄は、寛永九年（１６３２）四月痘瘡を病んで卒去した。室は蜂須賀至鎮の娘三保姫である。
享年三十一歳であったが、死際に「旗本の面々と確執を結び、不覚の名をけがし、今に落着相極らず死せん事こそ口惜しけれ、依て残す一言あり、我れ果ても仏事追善の営み無用たるべし、河合又五郎が首を手向けよ、左なきに於ては冥途黄泉の下に於ても鬱憤止む事無く」と遺言をした。
宇喜多直家から数えて四代目城主の池田忠継
忠雄によって岡山城は完成した。月見櫓：城内に現存する隅櫓である。中の段北西に位地し東に天守が望まれる。外に対しては石狭間（北側と西側）を設けて軍備を高め、内に対しては最上階の東と南に廻り縁を付けた楼閣風で、月見櫓の称がある。池田利隆が建てた西の丸西手櫓も現存しており、ともに国の重要文化財に指定されている。
岡山城五代城主の池田忠雄
本丸に於ける池田氏による新しい櫓の建築と石垣修理拡張の復元模型
「岡山藩主：池田氏の治世３」「敵討ち事件」へ続く