江戸時代中期の京で活躍した二人の絵師を描いた作品。
当時の京で、一番人気の絵師、円山応挙、その弟子の長沢芦雪、この作では、吉村胡雪がその一人。
もう一人は応挙とは画風が異なり、奇想の画家と後に言われた曽我蕭白、ここでは深山箏白。
応挙が留守の店の前で、応挙は絵師ではなく絵職人にすぎないと罵倒する蒼白に殴りかかった胡雪。才能はあり、何事も器用にこなすものの、人付き合いが苦手で、兄弟弟子とも喧嘩をよくする胡雪。顔に傷をつけた胡雪を、師の応挙は帰ると、詫びにいかせた。
これが二人の出会いだった。裏長屋の作業場で見た蒼白の絵に圧倒された胡雪。師をしたって弟子になり、師の模写を器用にこなす腕を持ちながらも、自分の絵が描けないでいた胡雪は、蒼白の絵に自分の求めるものに通じるものを感じ、否定できなかった。感情や情念がない人物像しか書かない師と異なり、蒼白の絵には、一見怖くなるほどの人間の思いが溢れていた。
蒼白につれられ、胡雪は、当時師の応挙と人気を二分する池大雅夫婦に面識を得る。
淀藩に仕える武家の跡継ぎに生まれた胡雪だが、両親とは疎遠で、師と呼べる応挙を知ったのを期に、家督を弟に譲り、弟子入りした。小さい頃から人の気を引こうと無茶ばかりする胡雪は、ごんたくれと呼ばれていた。
京の西陣の商家で生まれた蒼白は、家事で店も両親も失い、奉公に出されたものの、絵しか楽しみがない彼は我慢できずに飛び出して、放浪生活を送る。伊勢で知り合った砂絵の浪人に拾われ、さらに近江に住む老いた絵師に預けられ、絵を修行。あとは我流で描き続けてきた。その腕は応挙が認めるほどだったが、蒼白が書く絵は、一見不気味で、誰も欲しがらず、世に埋もれていた。わずかに、池大雅を通じて、奇想を喜ぶ物好きに売れていただけ。
突き詰めれば、師の画風とは異なると感じながらも、家族の愛に恵まれなかった胡雪は、師や兄弟子と別れられず、師のもとにとどまっていた。師の代筆も勤めるほどになり、弟子の取りまとめに優れた兄弟子と二人で、後継者に指名される。師の息子が成長するまでの繋ぎとして。
胡雪は家督を譲りながらも、刀を捨てられなかった。家族との唯一の絆として。
師の代わりに大阪の商家で絵を描きにいった折りに、若い後妻と関係を持ち、駆け落ちしてしまう。復縁を迫る商家の主は、子供の懐妊であきらめた。生まれた子にめろめととなった胡雪だが、その死と共に、彼の人生は大きく変わる。二人目の子までなくしたことで、妻は駆け落ち。彼を妬む兄弟弟子に川に突き落とされて、幸い無事だったが、これが最後への引き金になった。のちに、その影響で視力を次第に失い、絵師としての将来に不安を覚える。
世に認められ、そこそこの評判を得た後に、師と兄弟子を次々と失い、自分を捨てた妻の非業の最後を知った商家の主に大阪で出会い、刺し殺されてしまう。武士ながら、視力がないために逃れられなかった。
一方、天明の京を襲った大火事のあと、幼馴染みや妹と再会した蒼白は、ようやく家族と呼べるものをもち、多少人付き合いにも慣れていく。店を持ち、妹の子を手代にして任せ、自分は絵を描くことに専念できるようになり、次第に世間にも認められるようになる。
いまだ胡雪が所帯を持った頃、蒼白は胡雪をつれて、伏見の石峰寺にあんないしたことがある。そこには晩年の伊藤若冲がいたが、二人には愛想がなかったが、かかれた絵には圧倒される。彼も応挙と同じように写生を目指している。ただ応挙が目指す写生は万人向きのものであるに対して、若冲が目指すのは彼自身の視点から見た写生のため、他のものには奇妙に思える。生きてるものすべてに生命力を感じ、それを絵に写しとる。それが若冲の絵だった。深い信心のはてに生命そのものに結び付いた若冲は、孤高でありながらも、孤独ではなかった。
蒼白のもとに送られてきた胡雪の形見の扇。その昔、池大雅のもとで互いに扇に絵を描き比べた折りのもの。大雅の没後蒼白に渡してほしいと、大雅の女房に頼まれたまま持っていた扇。そのうらに鳥居の絵があるわけを知りたいと、胡雪の馴染みの大阪の店を訪ねた蒼白は、死の間際に胡雪といた女と会い、話す。目に何か問題があったかと疑っていた蒼白は、視野が狭くなっていたことを知る。川に突き落とされ、傷だらけで、蒼白の店までたどり着き、介抱された胡雪。頭に異常はないと答えていた胡雪だが、実は何らかの傷を受けていて、時間がたち、視野を狭めたのだろう。
そうと知った蒼白は、応挙の弟子たちのところに駆けつけ、胡雪を殺したのはおまえたちだと詰問する。そんな彼を誘い出したのは、呉春と名乗る絵師だった。もとは与謝蕪村の弟子だった彼は、師の死後は、応挙と人気を親しんでいた。応挙死後の今は、かなりの弟子が彼のもとに集まり、世に四条派と呼ばれている。人たらしの呉春の胡雪のことで話はあるという言葉に誘われた蒼白。
彼が話してくれたのは、胡雪を指した男のこと、そして死んだ頃の絵に現れていた死の陰、それを証しだてる絵のこと。その絵ににた絵が安芸の宮島にあるときいた蒼白は、それが形見の扇に描かれた鳥居の意味だと気づく。厳島神社に奉納された大絵馬に描かれた山姥図。不気味な鬼女の絵。死と老いと貧、この世の負をすべて塗り込めたような絵だった。昔胡雪が見た蒼白の柳下鬼女図に、対応する絵だった。鏡に蒼白の顔を写しだし、一見怖い顔だが、よく見ると滑稽だと言った胡雪。思わず笑いだした蒼白は、いつのまにか人目も気にせず、泣いていた。二人とも、奇異だ、醜悪だと罵られながらも、人だけを描き続けた。つまり、胡雪も蒼白も二人とも、人付き合いは苦手なくせに、人が好きでたまらないもの同士だった。二人とも、ごんたくれだった。すべては自意識の裏返し。胡雪も応挙もいまはない。反抗した俗世間を体現した絵師もいなくなった今、自分が望むものは、自分が描きたい絵を描くことだと気づいた蒼白。望んでいた人気絵師にはなったものの、煩わしいだけ。すべてを捨てたい、そう思いながらも迷う道伯。そんな彼を後押ししてくれたのは、その場に現れた偽物の蒼白だった。蒼白の名は彼に譲り、自分はただの豊蔵に戻り、好きなものを描き続けよう。孤独な自由な絵師として生きようと決意する。