母・村田きよを殺された大島竜次はその仇を取ったために、昭和四年秋、懲役三年六か月の刑に服する。その間に大島組の縄張りは芝浜組に荒らされてしまい、大島組で残っているのは辰だけになっていた。長屋暮らしをする竜次の許嫁の晴子に、世が世なら晴ちゃんだって大島一家の姐さんなのにと嘆く辰。「俺は口惜しくてならねえんだ。だけど親分はきっと帰ってくるぜ。晴ちゃん。俺はそれだけを楽しみにしているんだ」
芝浜は暴力で大島の住民を支配していた。堪忍袋の緒が切れた辰は芝浜組に殴り込みに行くが、そこに出所した竜次が現われ、芝浜に挨拶する。「三年ぶりにシャバに出ましたが、大島組の縄張りも随分変わりましたねえ」「今はお前の縄張りじゃねえ。俺もケチな男じゃねえ。お前さんの出所を祝って、今日はそいつをお前さんに引き渡そう」「へえ。因縁ずくのこの渡世。またの時がありましたら、それはその時の次第。辰、行くぜ」
芝浜の賭場でイカサマを見抜く遠州虎は、大暴れして賭場の売上げをかっさらう。晴子と再会する竜次。「竜次さん。会いたかった」「晴ちゃん。長い間苦労かけてすまなかった」ここでやくざの道から足を洗ってくれと頼む晴子。「竜次さんが学んだ医学で貧しい人を助けてあげてください。私は一生懸命ついていきます」「晴ちゃん。俺は父と母を殺したやくざの世界が憎い。でも俺には父の血が流れている。芝浜組のために大勢の人が困っている。俺は挑戦する腹を決めたんだ。何も言わず、俺を見守ってくれ」頷く晴子。
竜次は大島組の縄張りを返してもらうと芝浜に宣言する。刑事の伊丹はあまり騒ぎを起こすなよと竜次に言う。芝浜たちは竜次を襲うが、竜次を遠州虎が助ける。「俺はあんたが好きで助けたんじゃない。あんたとひと勝負してみてえのさ。昔の大島一家ならいざ知らず、今のあんたを殺ったところで俺の男が上がるわけではない。あんたが昔みたいに盛り返した時、そん時は気を付けな」「それででしゃばった真似をしたというのか」「多勢に無勢。少ないほうを助けたのは俺の腕を見せつけるため。俺はどうにでもなる男だ。あんたと芝浜の出入りが大きくなればなるほど、俺は高く売れる」「……」「そんなこんだで今日は助けたが、明日のことはわからねえ」「わかった。今日の所は礼を言っておこう」
晴子は竜次と一緒になると言う。「旅に発つ前、竜次さんは確かにおっしゃいました。三年たったら私と所帯を持とうと」「今は違う」「どう違うのです。竜次さんはやくざの息子。私は大島一家代貸勘三の娘、やくざの娘です。私も渡世人の娘。それ相応の覚悟はできています」竜次が出所したと聞いて、松たちが戻ってくる。勢いを取り戻した竜次たちは縄張りを取り戻していく。
あまり騒ぎを起こすなよと再度竜次に通告する伊丹。「やくざの縄張りなんてそんなに大事なものか」「縄張りなんて誰が決めたものでもありません。親父さん、自分の住んでる所のカタギの衆が苦しんでいるのを黙って見てろと言うんですか。三年前の大島の人は幸せに暮らしていました。それを今は」「とにかく足を洗うんだ。晴坊と所帯を持ってカタギになり、最初からやり直すんだ。奴らの始末は警察がつける」背中の龍の刺青を伊丹に見せる竜次。「この親父譲りの龍。私は心に彫ったつもりです」「……」
遠州虎は俺を買わないかと芝浜に売り込む。「俺を敵にすると痛い目に会うぜ」いい度胸だと買ってやる芝浜。伊達組の貸元である伊達が竜次の所に現れる。「ここは大島組の縄張りだ。盗人たけだけしいとは芝浜のことを言うんだろうな。あんな奴は叩き潰してしまえ。お前さんの留守中に俺の目が届かなかったのは悪かったが、その代り金だろうと助っ人だろうと俺の方で用立ててやる」「ありがとうございます」伊達は出所祝いだと竜次に金を渡そうとするが、竜次は金はいただけないと断る。
伊達は芝浜と会う。「大島をのさばらせちゃいけねえな。縄張りなんてものは力の強い奴が抑えるもんだ」「わかっております」「出入りにするんだな。出入りとなりゃあ金もいるだろ。これは前祝いと思って受け取ってくれ」「ありがとうございます」人力車に乗る伊達の前に現れる遠州虎。「いいか。大島と芝浜。この二つはどうあっても出入りにしねえといけねえ。お前が両方けしかけて血の雨降らすんだ。そこに俺が出て行って、生き残った奴を叩き潰す」「へえ」
遠州虎は大島組の若い者を傷つけて、竜次に勝負を挑む。「遠州虎。金に飼われて命を捨てるか」「ふふふ」斬り合う二人。刀を折られた遠州虎は殺せと言うが、竜次はこの前の借りは返したぜと言って立ち去る。芝浜が商人を責めて自害させたと聞いた竜次は、辰と松と三人で獅子舞いをしながら、芝浜を拉致して、組合の承認状を奪い取る。報復に晴子を拉致して、承認状を返せと要求する芝浜。そして芝浜は晴子を凌辱しようとするが、遠州虎に斬られる。晴子を逃がした遠州虎は、竜次が芝浜を斬って晴子と逃げたと芝浜組の連中に告げる。芝浜組は大島組に殴り込みをかけるが、伊丹たちに一網打尽にされる。
今度のことはありがとうございましたと言う竜次に、俺は晴子のためにやったんだと言う伊丹。「やくざなんて世間のためになる奴はいない。どいつもこいつもくたばっちまえばいいんだ。だがそうもいかねえ。ガラクタだって拾って磨けば光るものもある」「……」「竜次。俺はもうお前にとやかく言わない。だが晴坊をいつまでも放っておくなと言いたいんだ。人間、女房とガキができて一人前。お前はまだ半人前だ。だからいつまでたっても、斬った張ったの喧嘩しかできねえ。命を粗末にする奴は馬鹿だ。女って奴は自分の惚れた男のためならどんなことでもするもんだ。晴坊ってのはそんな女よ」
俺のような何人も斬った男でも一生連れそう気はあるかと晴子に聞く竜次。「竜次さん」「俺のことを冷たい男だと思っただろう。俺は何度も晴ちゃんと所帯を持ちたいと思った。俺は渡世人、明日の命も知れない身体だ。晴ちゃんを不幸せにしてはいけないと」「不幸せじゃないわ。私は竜次さんと」
明日、伊丹を晴子の親代わりにして、竜次と晴子の結婚式があると聞く伊達。「そうか、これで大島も年貢の納め時だ。結婚式が葬式に早変わりとはな」どうしても竜次を殺るんですか、と聞く遠州虎に、不服かと聞く伊達。「俺のやることに文句をつけるのか。ガキのお前を拾って、今まで育ててやった恩を忘れたのか。大島はお前が始末をつけるんだ」「大島は俺が殺ります。しかし条件があります。今日かぎり盃を返して、いっぽんどっこの遠州虎になります」「よし。親子の縁は切ってやる。その代わり必ず大島竜次は斬れ」「へえ」
あでやかな文金高島田の晴子を見て、勘三や庄三郎親分や村田の姐さんに今日の晴れ姿を見せてやりたかったぜと言う伊丹。相川橋の下で午後三時に待っていると言う遠州虎からの果たし状を受け取る辰は、果たし状を懐にしまう。「今日は親分の大事な日だ。どんなことがあっても親分を行かせてはならねえ」そして竜次と晴子の結婚式が行われるが、遠州虎に頼まれたと言う男達が式場を荒らして引き上げる。
もう我慢ならねえと竜次に果たし状を見せる辰。「親分を行かしちゃならねえと俺が握りつぶしたんだ。もう勘弁ならねえ。親分の代わりに俺が行く」遠州虎はお前の敵ではないと立ち上がる竜次に、行ってはいけないと言う伊丹。「晴坊があんまり可哀相じゃないか」「親父さん。見逃してください。私が行かないと遠州虎はここに来ます。行かなきゃならないんです。許してやってください」
相川橋の下で対峙する竜次と遠州虎。「来たか」「どうしてもやらなければならないか」「俺が死ぬか、お前が死ぬか。どうしても決着をつけなければならない」「なら、人を使って俺の結婚式を邪魔することもなかろう」「なに。そんなことは知らん。俺の相手はお前だけだ」「どうしてもやるのか。俺たちが果たし合っても一人だけ傷つかない男がいる。お前の親分の伊達だ。そんな親分のためにお前は」「うるせえ。行くぞ」斬り合う二人であったが、そこに伊達の子分が襲ってくる。「遠州虎。親分の命令で大島と一緒に死んでもらう」聞いたか、竜次、と怒鳴る遠州虎。「貴様の言うとおり反吐が出るほど汚い話だ」
伊達の子分を斬りまくる遠州虎であったが、伊達の凶弾を受けて倒れる。伊達は竜次を狙うが、遠州虎の投げた槍を心臓に受けて絶命する。「まったくついてねえ話さ。伊達の奴は俺の育ての親だが、あんな奴は生かしちゃおかねえ。貧乏くじを引いたのはこの俺ってわけだ」そこまで言って絶命する遠州虎。そこに現れる晴子。「竜次さん」「晴ちゃん」二人は相川橋の上を歩くのであった。