荒尾氏は尾張を出自とする氏族で、池田輝政の母が荒尾氏の娘だったことから、鳥取藩の家老として倉吉を治めた。墓所は倉吉市仲ノ町にあり、長谷寺の参道を途中で分岐して向かうが、地震のためか半数の墓石が倒れていた。

 鳥取藩には米子を治めた別家もあった。