１８６１年に南北戦争が始まり、１８６３年にリンカーンによる奴隷解放宣言が出され、１８６５年に南北戦争が終結する。そんなアメリカにアフリカからやってきたジョージは兄のサムと従兄のルイと叔父のボブと会う。俺たちはニューオーリンズから船に乗ってアフリカに帰ると言うボブたち。
「まあ、はるばるアフリカからおらたちに会いに来たおめえには悪いけどよ。やっぱりアフリカが一番いいっぺ」それは無理だと言うジョージ。「ニューオーリンズにはおめえらみたいな黒人が縮緬雑魚のように集まっちょる。おまけに船賃があがる一方だべ」「おらたちはみな楽器を持っている。だから楽隊やるべ。ニューオーリンズで船代をガボガボ稼ぐべ」
その考えは甘いと言うジョージ。「ニューオーリンズでは楽隊が腐るほどいるべ。それに今はみんなが聞いたことがねえ新しい音楽が流行ってるべ」「どげな音楽だ」「飛び跳ねて踊れるような陽気な音楽だ」そしてトロンボーンのジョージ、コルネットのルイ、ドラムのサム、クラリネットのボブで楽隊を結成した四人はニューオーリンズに向かうが、メキシコ商人のアマンドに騙されて、香港行きの船に乗せられてしまう。
リードが壊れてクラリネットが吹けなくなったボブは具合が悪くなり、とうとう死んでしまう。残された三人はボートで船から脱出し、日本の駿河にある庵原藩の海岸に流れ着く。ええじゃないかと踊る庶民を見て、たりらりたりらりたりらりらと呟く庵原藩主の海郷亮勝。
「わかるわかるわかる。徳川三百年に飽き飽き飽き飽き。たかだが一万三千石に何をしろと言うのかね。幕府も朝廷も。どうでもええじゃないか」庵原藩は飢饉による農作物の不作と政情不安定の二つが大きな要素となって、庶民の間でええじゃないかが流行していた。
家老の石出九郎左衛門は、庵原藩は幕府につくべくか薩摩につくべきかで頭を悩ませていた。「殿、どちらにつくべきでありましょうか」「うむ」亮勝に黒船に乗っていたと思われる黒んぼ三人が流れ着いたと報告する九郎左衛門。「かかる非常時にはなはだ迷惑」「それはないぞ、九郎左衛門。白かろうと黒かろうと人は人」「早速医師玄斉を走らせました。一方、本家の駿河藩主には鈴川門之助を走らせました」「それにしても、その三人に早く会いたいのう」「殿、それはなりませぬ」
徳川慶喜は大政奉還するが、大阪城に立てこもり、薩摩と徹底抗戦の構えを見せていた。庵原領内に幕府軍と薩摩軍が応援を求めるのではないかと頭を痛める九郎左衛門。駿府から戻った門之助を迎える亮勝。「それで本家では何と申しておった」「そのような黒き者を預かるとは迷惑千万。人知れず始末する処分するなりなんなりと」「うん。余はなんなりで行くぞ。どうしても黒き者たちに会いたい。ただ藪医者の玄斉に彼らを任せるのは不安。門之助、見てきてはくれぬか」「はっ」
亮勝はヒマさえあれば、篳篥を吹くという大の音楽好きであったが、そのくつわむしのような音色に城内の者は辟易としていた。火の粉がかぶらないためにも九郎左衛門は三人を始末するべきではと亮勝に進言する。「ただ殺すのは忍びないので、玄斉に眠り薬を作らせ、夜陰の紛れて隣藩に移そうかと思います」「待て、それでは余は彼らに会えぬではないか」「このたびは殿の好奇心は押さえていただきます。かかる異人を領内に留めおきますと、尊皇攘夷か佐幕から意見が入り混じる当藩において禍の種になるかと」
英語の少しできる門之助は何とかジョージたちとコミュニケーションを取る。領内によきにはからう場所があればいいのだと九郎左衛門に言う亮勝。「城の地下に座敷牢があったな。そこに黒き者たちを入れれば人目にもつかぬし、監視もできよう」
ジョージたちを眠り薬で眠らせて、彼らは死んだこととして、早桶で座敷牢に運ばせる亮勝は、三人は何者かと玄斉に聞く。「それは三人とも楽器のようなものを持っているところから、大道芸人のような楽隊屋ではないかと」
亮勝の篳篥の音色に合わせて、ジョージはトロンボーンを吹き、ルイはコルネットを吹き、サムは桶を叩く。その音色を聞いてイエーイと喜ぶ亮勝であったが、江戸で生まれた世継ぎが自分の子でないと知って、少なからずショックを受ける。九郎左衛門は江戸表監督不行き届きのため切腹すると言うが、亮勝は切腹は自分の望みを聞いてくれたらしてもいいと言う。「して、その望みとは」「余は黒き者に会いたい。黒き者の楽器が見たくてたまらぬのじゃ」
座敷牢に行き三人と会う亮勝。トロンボーンを吹くジョージにコルネットを吹くルイを見て、大きな音だと喜ぶ亮勝。太鼓はドラムと申しますが、漂流中に皮が破れたものと思われますと説明する門之助。「それは気の毒。して、この黒き笛は？」クラリネットだと言うジョージ。「この船の持ち主は船の中で病死したとのこと。従ってその笛の持ち主はいません」「で、どうやって吹くのか」
音が出ない身振りで示すジョージ。「殿。よくはわかりませんが、笛の舌がないので音が出ぬと」「笛の舌？それはもしかしたら葦舌のことではないか」篳篥を取りだし、葦舌を抜く亮勝。ナイフで葦舌を削ってクラリネットにつけて吹くジョージは、クラリネットを亮勝にプレゼントする。
亮勝はクラリネットに夢中になる。クラリネットの音色に合わせ、書記役は算盤を鳴らし、女中たちは琴を奏で、亮勝の妹は横笛を吹き、門之助は鼓を叩き、若侍は琵琶をかき鳴らし、サムは和太鼓を叩く。城中あちこちでぴーちゃらどんつくで嘆かわしいと言う九郎左衛門に、それを騒々しいと思うのはそちが何もできぬからであろうとからかう亮勝。「何をおっしゃいます。こう見えましても私は山鹿流陣太鼓免許皆伝の腕前でございます」
薩摩藩士と小田原藩士がまもなく陸路で庵原藩にやってくると聞いて、あいわかったと叫ぶ亮勝。「殿。どちらの味方に」「城をただの道にするから、邪魔なものは片付けろ。幕府も薩摩も自由に通ってもらえ。斬りあいになっても手出しは無用。余はこれさえあればいい。これで道作りに景気をつけるぞ」クラリネットを振りまわす亮勝。
クラリネット、トロンボーン、コルネット、算盤、琴、横笛、鼓、琵琶、和太鼓が奏でられる中で、城の中に道が作られて行く。そこに桶、三味線、鍋、釜が加わり、玄斉は鮫の歯を打ちならし、九郎左衛門も陣太鼓を叩く。城内では薩摩藩士と小田原藩士が斬り合いを始めるが、演奏はますます盛り上がっていく。
大砲が発射され、ええじゃないかと庶民たちがなだれ込んでくる。ますます盛り上がる演奏。そして世の中は明治になり、城内に静けさが戻るが、九郎左衛門の「ワン、ツー、スリー、フォー」の掛け声ともに、ミッキー・カーチスのエレキギター、山下洋輔のピアノ、タモリのチャルメラなども加わって、演奏はさらに激しさを増すのであった。