西尾氏は信長の家臣だったが、家康の饗応役を務めた時に本能寺の変が起き、家康一行と共に三河へ赴きそのまま家臣となった。その後、上野白井、常陸土浦、駿河田中、信濃小諸などを経て、江戸時代中期から横須賀藩主となって明治まで続いた。

 墓所は掛川市西大渕の龍眠寺にあり、敷地は狭いが立派な笠塔婆が並んでいる。