旧小笠町赤土(現菊川市赤土/高橋の隣)には「延暦十二年(793)八月、遠州城飼郡赤土之庄の住人藤原朝臣赤堀刑部丞」が勧進した、とされている八幡神社があります。
http://www.komainu.org/sizuoka/kikugawa/HatimanAkatuti/hatiman.html
小笠原氏傘下の高天神衆にも、「赤堀大学正信」の名前があり、松下保綱の家系図にも「平河 赤堀源四郎」と出ています(平川は赤土の隣)。現在でも 「赤堀」は旧小笠郡で最も多い姓の一つです。
ということで、平安の昔から脈々と住んでいたのではないかと思います。
・・・旗本の家譜にはその痕跡が出てこず、清和源氏の子孫になっているのは、見栄っぱりの結果でしょうか。