幕末から明治初めに生きた奇人松浦武四郎の伝記。浮世絵師河鍋暁斎に頼んだ絵がなかなかできないために、嫌みを言っていた武四郎老。そんな武四郎に可愛がられた暁斎の娘豊が、折に触れて聞いた昔話という体裁で、武四郎の生涯が描かれる。
武四郎は伊勢の国の須川村で、伊勢神宮への参宮街道に面した宿場町だった。紀州和歌山藩の郷士の家に生まれ、近所の寺で読み書きを教えてもらった禅師に影響を受けて、幼い頃から、諸国を行脚し、不思議な霊力を得たいと思っていた。
お陰詣りを幼い頃から見慣れていたことも影響し、学問に熱心な豪商竹川家の主から教えてもらった神足歩行術を会得して、いつか旅に出ることを夢見てた。
父の考えで、津の儒者平松に師事する。ある日、師から借りた頭巾を骨董屋で、自分がほしいものと交換してしまう。実は師の頭巾は殿様からの拝領品。それが骨董屋で売りに出されたことが騒ぎになり、武四郎は家出を敢行し、江戸へ向かう。十六歳。
どこにも勤められず、かつて師のもとで面識のあった篆刻家のもとに厄介になり、実家へ手紙を出したことで、連れ戻される。
こうして始まった武四郎の半生は諸国を旅し、色々な人物と知り合ったり、知識を深めることになる。幕末から明治にかけての英傑や志士とも知り合ったが、自分を見失わず、欲をかかないことで、無事に生き延びた。
北海道の何度かの探検旅行により、北海道の地理、アイヌの文化へ造詣を深め、困窮するアイヌ人のために奔走するも、幕府や松前藩に取り上げられることなく、失意のまま終わる。アイヌ人にたいしても対等に向き合った武四郎は、アイヌ人のためには何もできなかったにもかかわらず、後世にまで慕われた。