物語は昭和40年、横浜の港湾が縄張りの浜安組の跡目を、若い郡司（菅原文太）が継ぐところから始まります。
獄中の代貸・黒木（鶴田浩二）の推薦があると、進行役の叔父貴・岩切（内田朝雄）が能書きを述べています。こういう状況説明の手際のよさがいい。さらに浜安組にいる郡司の弟分・風間（待田京介）が、これから浜安組が立ち退きさせるスラムの生まれで、まだ両親がそこにいるとか孤児だった郡司はその両親に実の息子のように育てられたとか、手際よく全体が見えてきます。
そしてスラム時代の仲間・速水（梅宮辰夫）が立ち退き反対の要員として送り込まれ、郡司と対立する。さらに立退き料目当てに３人組の浮浪者（長門勇・鈴木やすし等）が入り込む、という展開です。