天平５年（７３３年）多治比広成が率いる第１０次遣唐使が来唐した際に、長安で遣唐使らの諸事を補佐したが、唐での官途を追求するため帰国しなかった。翌年帰国の途に就いた遣唐使一行はかろうじて第１船のみが種子島に漂着、残りの３船は難破した。この時帰国した真備と玄昉は第１船に乗っており助かっている。副使・中臣名代が乗船していた第２船は福建方面に漂着し、一行は長安に戻った。名代一行を何とか帰国させると今度は崑崙国（チャンパ王国）に漂着して捕らえられ、中国に脱出してきた遣唐使判官・平群広成一行４人が長安に戻ってきた。広成らは仲麻呂の奔走で渤海経由で日本に帰国することができた。天平６年（７３４年）には義鴎友に昇進した。
天平勝宝４年（７５２年）衛尉少卿に昇進する。この年、藤原清河率いる第１２次遣唐使一行が来唐する。唐の皇帝玄宗から遣唐使の応対を命じられ、望郷の念を抱いて帰国許可を玄宗に申し出るが、容易には許可されなかった。
すでに在唐３５年を経過していた仲麻呂は清河らとともに、翌年秘書監・衛尉卿を授けられた上で帰国を図った。この時王維は「秘書晁監（「秘書監の晁衡」の意）の日本国へ還るを送る」の別離の詩を詠んでいる。
益久島（現在の屋久島）に向けて出帆した４隻のうち、仲麻呂や清河の乗船した第１船が暴風に遭って南方へ漂流した。
彼が落命したという噂を伝え聞いた李白は「明月不歸沈碧海」の七言絶句「哭晁卿衡」を詠んで仲麻呂を悼んだ。しかし、仲麻呂が乗船していた第１船は、以前平群広成らが流されたのとほぼ同じ漂流ルートをたどり、幸いにも安南に漂着していた。第１船の乗船者の一部は同地で襲撃されて死亡し、清河・仲麻呂らはこれを逃れて明の影響下にあった驩州（現・ベトナムゲアン省南部・ハティン省）に滞在し、天平勝宝７年（７５５年）に長安に戻った。
この年、安史の乱が起こったことから、清河の身を案じた日本の朝廷から渤海経由で迎えが到来するものの、唐朝は行路が危険である事を理由に清河らの帰国を認めず、仲麻呂は清河とともに留唐することになった。
仲麻呂は帰国を断念して唐で再び官途に就き、天平宝字４年（７６０年）には左散騎常侍（従三品）から鎮南都護・安南節度使（正三品）を務めた。天平宝字５年（７６１年）から神護景雲元年（７６７年）まで６年間もハノイの安南都護府に在任し、天平神護２年（７６６年）安南節度使を授けられた。
結局、日本への帰国は叶えられることなく、唐の玄宗・粛宗 ・代宗に歴仕して、宝亀元年（７７０年）１月に７３歳の生涯を閉じた。後にその功績から、代宗は潞州大都督の官名を贈っている。
なお、『続日本紀』に「わが朝の学生にして名を唐国にあげる者は、ただ大臣および朝衡の二人のみ」と賞されている。
また、死去した後、宝亀度の遣唐使で訃報が伝達されたが、日本又は唐の一族が人数が少なく葬儀を十分に行えなかったため、遺族に絁１００疋と綿３００屯が贈られたという記録が残っている（『続日本紀』宝亀１０年（７７９年）５月条）。中国での妻子は記録は伝えられていないが、配偶者は当時ならいて当然とされ、詩などから太学在学中に初婚、その後出世して高位家の娘と２回目の結婚をしていると、推定されている。
唐朝奉職と職務
阿倍仲麻呂の科挙合格による奉職を伝えるのは、宋代の文人楊憶の文集『楊文公談苑』だが、科挙による官吏採用での奉職が常識になった宋代のもので、それによる偏りがあり、阿倍仲麻呂が科挙を受けたか疑問があるとの指摘がある。
『古今和歌集目録略伝』には、阿倍仲麻呂は、京兆尹の重職にある官吏の崔日知の推挙により登用され、左補闕になったとの記述がある。新羅は、１８０回もの遣唐使で、留学生がはるかに多いが、それでも科挙登用されるようになったのは、外国人向けの別枠の別科「濱貢科」が科挙に設けられてからである。
官歴では、蔵書管理や文書作成の官吏の秘書省の長官の秘書監に任じられたほか、極官としては光録太夫、６０～６１歳のころ粛宗皇帝による顧問の右散騎常侍に配任されるなど、優遇はされているが政治中枢ではない皇帝に近侍する側近という扱いであり、玄宗皇帝の異国趣味による取り立てされたことが大きいとされる。
仮に、日本に帰国しても、唐文化を崇め全面的に受け入れる段階は過ぎ個別享受する形になっていて、阿部一族は中央貴族だが、朝廷中枢には一族はおらず、五位級の中級官人家なので、さほど大きな役割を果たしたり、高い職位に就けなかったのではという指摘がある。
和歌及び漢詩
歌人として『古今和歌集』『玉葉和歌集』『続拾遺和歌集』にそれぞれ１首ずつ入首したとされるが、『続拾遺和歌集』の１首は『万葉集』に採られている阿部虫麻呂の作品を誤って仲麻呂の歌として採録したもの。
仲麻呂の作品としては、「天の原 ふりさけみれば 春日なる 三笠の山に 出でし月かも」が百人一首にも選ばれている。この歌は『今昔物語集』や『古今和歌集』などに採録され、後者の「後序」によれば、天平勝宝５年（７５３年）帰国のために明州までやってきた仲麻呂が送別の宴で王維ら友人の前で日本語で詠った歌とされていて通説となっている。
しかし、『唐大和上東征伝』では、蘇州から出発したはずで『古今和歌集』左注の明州は虚構だとの指摘がある。内容も、日中の過去と現在の月が二重写しになっていて、後の遭難でついに帰国することができなかった哀切が先取りされていて、不審との意見がある。紀貫之による創作との見解もある。なお、仲麻呂が唐に向かう船上より日本を振り返ると月が見え、今で言う福岡県の春日市より眺めた御笠山（宝満山）から昇る月を思い浮かべ詠んだとする説も根拠に乏しいながらも、古田武彦の説として存在する。
現在、陝西省西安市にある興慶宮公園の記念碑と江蘇省鎮江にある北固山の歌碑には、この歌を漢詩の五言絶句の形で詠ったものが刻まれている。
のち第一船はベトナム北部に漂着。