父が美濃に行った前年辺りから守護代土岐家にはまたしても後継者争いが起きていた。土岐正房の嫡男政頼と次男頼芸の対立である。この時、守護代斎藤利良（さいとうよしなが・妙純の孫）は政頼を押していたが、長井長弘と祖父は弟の頼芸についた。つまり主家である斎藤家と対立したのだ。それだけ長井家が力を持って来ていたという事でもある。
永正14年（1517年）、政頼と頼芸は合戦に及び、いったん政頼方が勝利したが、翌永正15年、頼芸方が逆襲し、政頼と斉藤利良を越前へと追い払うも、その翌年永正16年、越前朝倉氏の支援を得た政頼方が美濃に侵略して頼芸方を圧倒した。こうして政頼が美濃の北半分を手中にし、決着と思われたがここでまたしても長井長弘と祖父・新左衛門尉は巻き返しを図った。
大永5年（1525年）6月、挙兵した長井長弘と祖父は守護所の福光館（ふくみつやかた・岐阜市）を陥落させ、勢い乗じて斉藤氏の居城・稲葉山城も攻略し内乱が続くが、享縁3年（1530年）に政頼が再び越前に逃れ、頼芸が濃州太守（のうしゅうたいしゅ）、となって一応の決着を見た。この頃、祖父・新左衛門尉は長井豊後守（ながいぶんごのかみ）と称するようになり、主君の長弘と肩を並べるほどの存在となった。弱体化した守護代斎藤氏の領地を山分けするまでになっていたのだ。
だが天文2年（1533年）4月1日、祖父・長井豊後守は病死、享年70歳であった。父が世の表に出だしたのは祖父が逝去したこの年からである。この時の父の名は長井新九郎である。父親の新左衛門が亡くなって父はそれまでなりを潜めていた梟雄（きょうゆう）ぶりを遺憾なく発揮し出す。
父・新九郎はまず、この祖父が死んだ年に、なんと祖父の主君であった長井長弘を暗殺して自分が長井家の当主にとってかわったのだ。きっと父はこの時を待っていたのだろう、一応祖父に敬意を払って従っている振りをしていた。でも亡くなったからにはもう自分の好きなようにできる。誰に遠慮することがあろう、邪魔なものはさっさとあの世にやってしまうに限る。さすがの蝮。元油売りだったから蝮の油という比喩を汲めて、蝮と言われた説もあるようだが、父が蝮と呼ばれたのは腹に毒を持っているという意味だと思う。実際に油売りをしていたのは祖父だけで父はやっていないのだから。刺激を与えたら殺られてしまう、という意味だ。不気味な怖さを持っていた人だった。でも私は父のそういうところも好きであった。
そうして天文5年（1536年）、守護の土岐政頼がいる川手城を攻め落として守護本人を追放し、頼芸が正式に守護に就任する。この功績によって一時途絶えていた土岐家の守護代・斎藤家の名称を継ぐことを頼芸から許される事となった。この時から父は斉藤利政（さいとうとしまさ）と名乗り始めて、頼芸のもとで美濃の政治の実権を握ることとなった。
父は頼芸に大層気に入られた。父は話術も達者で、武術の他に絵画、彫刻、遊芸の全てに渡って目も磨いていた。頼芸は絵がかなり上手かった。特に鷹の絵などは父をうならせるほどの腕前であった。「土岐の鷹」と言えば今日も残る名画である。絵など上手くても何の役にも立たぬと兄たちに言われていた頼芸にとって、誉めそやしてくれる父は居心地の良い存在だったのだろう。正直なところその絵を見るまでは父もお坊ちゃまの手慰めくらいに思っていたそうだが、頼芸は君主の器ではなくても絵の才能だけは秀でていた、とのちに笑いながら言っていた。頼芸は父や祖父と違って根っからのお坊ちゃん育ち、野心はあっても自力では何もできない。だがそんな頼芸なればこそ、祖父や父にとっては都合が良かったのだろう。血統も育ちも良いお人好しのお坊ちゃん、盾にするには格好の存在だったのだ。
※こちらのお話しは史実に沿ってはいますが、不明な部分、定かでないところは多分に作者の創作（フィクション）が含まれますので、ご留意の上ご拝読いただけますようお願いします。
