答えを先にいいますが、YESです。
ただし、四方八方を他の土地に囲まれ、道路に接していない土地は、いくら過去に建てた物件があってもダメなようです。
我が家の場合、土地の一辺が私道ではありますが、道路に面しています。
ちゃんと舗装もしてあり、郵便屋さんなどバイクは何の問題もなく進入できます。
しかし、道が狭いため車は入れません。
実際、ここに建てられるのかどうか。
悩んでも仕方ないので、市町村役場に行って聞くのが良いと思います。
私もそうしました。
私が家を建てようとする自治体では、窓口対応の方が丁寧に調べてくれました。
役所のお墨付きを頂きましたので、とりあえず「法的に家を建てても問題はない」という部分はクリアしました。
ただし、このままの道幅では建てられません、と言われました。
土地が接している（接道という）道が、私道であることについては問題ないのですが、道幅が狭いため、道の中心部から２ｍの幅を取れるよう、後退しなさい、ということでした。
業界用語では「セットバック」と呼ばれています。
見た目は10m×10mの土地でも、仮に１ｍを取られれば、実質上9m×10ｍになる…ということです。土地が狭くなるうえ、本来、建てたかった建物の雰囲気とは変わってしまうかもしれませんよね。
幸い、我が家は数十センチのセットバックで済みました。
さあ、これで家が建てられるぞ、と安心するのは未だ早い。
次に近隣住民との「狭隘協議（きょうあいきょうぎ）」を実施しなければなりません。
そして、ここに大きな落とし穴があることを、この時の私は知る由もありませんでした。