宗遠は、平安時代後期中村氏（笠間氏）と三浦氏の女との間に三男として誕生した。青年期に中村郷を離れ土屋郷に開発領主として分家し土屋三郎宗遠と称し土屋氏の始祖となった。三浦から妻を娶ったが当初子供が無かった為、甥の義清を岡崎から養子に迎え土屋郷の開墾に精力を費やしていた。平和に晩年を過ごせると思いきや、宗遠５２歳の時兄の土肥次郎實平より頼朝公挙兵担ぎの相談を持ちかけられ、大いに賛同し老体鞭打ち自ら石橋山合戦に義清筆頭に一族引きつれ参陣した。８月２３日大雨の石橋山で平家三千騎と源氏三百騎が激突。激戦の末宗遠の嫡男忠光と甥の与一義忠が討死した。大誤算の結果となり命を惜しまず勇敢に戦かった子供達や一族郎党への、宗遠の後半生供養三昧の始まりとなってしまった。
幕府の御家人として労を費やしたものの宗遠が８５歳の時、和田の合戦で最大の理解者の養子義清を失い、失意のどん底に陥った。周りを見渡すと、共に源家の為にそして御家人としてあるべき行動をしてきた一族の者達又親しく行動を共にしてきた他党の兵達は今はもう亡く、宗遠は齢９０になろうとした時一大決心をし、土屋の郷から杖をつきつき鎌倉の将軍実朝に今の自分の心境を語るべき訪ねた。将軍の前でほろほろと止め処もない涙を流し、数々の修羅場を通り抜けてきた思いと一族の悲しみを語った。
後に実朝は此の時の土屋三郎宗遠との事を金槐和歌集下之巻雑部六八二から六八六に詠み掲載した。「相州土屋というところに、九十にあまれるくち法師あり。おのづから来たり。昔語りなどせしついでに身の立ち居に堪えずなむなりぬるを、泣く泣く申し出でぬ。ときに老いという事を人々に仰せてつかうまつらせし次によみはべし」
・道とほし 腰はふたへに かがまれリ 杖にすがりて ここまでもくる
（他四首）
１２１８年（建保６年）８月５日宗遠は亡くなった。９０歳だった。