山城国の賀茂氏が大和国からやって来た氏族だと考えるのは、偏に「釈日本紀」に残された山城国風土記の逸文に拠るところが大きい。
日向曾之峯天降坐神 賀茂建角身命也 神倭石余比古之御前立坐 而宿坐大倭葛木山之峯
【釈日本紀】（鎌倉後期）
この逸文には、日向の曾の峯に天降った建角身命が神武天皇一行を先導し、大和国の葛城の山の峯に宿ったとある。
建角身命を「日向曾之峯天降坐神」とするのは、賀茂氏の先祖が九州から来たことを連想させるが、ここでは触れずに、先ず「宿坐大倭葛木山之峯」について検証してみたい。
山城国／神別／天神
◯賀茂縣主／神魂命の孫、武津之身命の後なり。
◯鴨縣主／賀茂縣主と同祖。神日本磐余彦天皇、中洲にいでまさんとする時に、山の中険絶しく、踏みゆかむに路を失ふ。ここに神魂命の孫・鴨建津之身命、大きなる烏となりて、飛び翔けり導き奉りて、遂に中洲にとほりいたる。天皇その功あるを嘉したまひて、特に厚く褒めたまふ。天八咫烏の号はこれより始りき。
【新撰姓氏録】（八一五）
新撰姓氏録は平安時代初期に各氏族の出自を記した氏族名鑑と呼べるような代物で、山城国の頁に記された「賀茂県主」及び「鴨県主」は、それぞれ京都の上賀茂神社や下鴨神社の神官家のことである。
一方、新撰姓氏録の大和国の頁には「賀茂朝臣」という氏族を見つけることができる。
大和国／神別／地祇
◯賀茂朝臣／大神朝臣同祖、大國主神之後也。大田々禰古命の孫、大賀茂都美命（一名大賀茂足尼）、賀茂神社を奉斎するなり。
◯大神朝臣／素佐能雄命の六世孫、大國主の後なり。初めに大國主神、三島溝杭耳の女、玉櫛姫を娶ひたまひて、夜來りて曙に去る。未だ晝に到らずして会わず。是に於いて玉櫛姫、苧を績み、衣に係けて、明くるに至りて苧に随ひ尋ね覓けば、茅渟縣の陶邑を経て、直に大和國の眞穗の御諸山を指す。還りて苧の遺りを視れば、ただ三索あり。之に因りて姓を大三輪と號す。
【新撰姓氏録】（八一五）
ちなみに賀茂朝臣が同祖としている「大神朝臣」は、その名が示す通り大神神社に神官家として仕えた氏族で、賀茂朝臣と大神朝臣は、日本紀によると天武天皇十三年十一月に朝臣を賜って改姓した「鴨君」と「大三輪君」のことである。
鴨君と大三輪君は共に大国主神の子孫と称し、且つ大田々禰古命を共通の先祖としており、これは日本紀に「これ大三輪の神也。この神の子は即ち甘茂君等・大三輪君等」とし、古事記に「この意富多多泥古命は神君・鴨君の祖なり」とあるのに合致する。
これら大和の賀茂氏は一見、鴨武津之身命（建角身命）を祖神とする山城の賀茂氏とは系統の異なる氏族のように思える。
そもそも建角身命は天降った神、つまり天神とされていて、国津神（地祇）である大国主神とは別の神である。
しかしながら、山城と大和の賀茂氏はかなり古い時代に遡れば同じ先祖から派生した氏族であると考える。
その訳は、日本紀で大田々禰古命が自らの系譜を述べた言葉の中に「武茅渟祇」という先祖の名が含まれているからだ。
大田田根子に問ひて曰はく「汝は其れ誰が子ぞ」とのたまふ。対へて曰さく「父をば大物主大神と曰す。母をば活玉依媛と曰す。陶津耳の女なり」とまうす。亦云はく「奇日方天日方武茅渟祇の女なり」といふ。
【日本書紀】（七二〇）
武茅渟祇は、原文には「亦云奇日方天日方武茅渟祇之女也」とある条に登場する。
ここでの記述は、「奇日方天日方武茅渟祇」という一人の人物なのか、それとも「奇日方天日方」と「武茅渟祇」は親子関係にある別々の人物を述べたものなのか、今ひとつハッキリしないが、少なくとも武茅渟祇の音訓みは「建角身」を思わせる。
これは、伴信友も「瀬見小河」（一八二一）で「此武茅渟祇といへるは、建角身にて、其女の玉依媛と此活玉依媛とを混へたる」と指摘している。
この武茅渟祇が建角身命ならば、大田々禰古命にとって建角身命は母方の先祖となる。
彼らは大田々禰古命の登場を機に大和国に居住していたが、ある時期に賀茂県主らの先祖は山城国へ移住したのに対し、賀茂朝臣らはそのまま大和国に留まった一族だと考えてもいいのではないだろうか。