少年時代から音楽と文学に熱中していたバリオスはグアラニー語とスペイン語の二つを話したが、さらに3つの言語（フランス語、英語、ドイツ語）を読むことが出来た。バリオス少年が音楽に目覚めたきっかけは、ポルカやバルスを含むパラグアイのフォルクローレであった。十代にならないうちから楽器に興味を持つようになり、とりわけギターを好んだ。
1898年からグスターボ・ソーサ・エスカラダに師事し、ソルやアグアド、ビナス、タルレガの作品を研究し、演奏するようになった。
ソーサ・エスカラダはこの新しい弟子に感銘を受け、バリオスの両親に息子をアスンシオンに行かせて音楽教育を続けさせるように説き伏せた。
1901年には13歳にして奨学金を得てアスンシオン国立大学音楽学部に入学、パラグアイの歴史上で最も若い大学生となった。加うるに、数学やジャーナリズム、文学の分野でも教員から称賛を浴びた。
1905年ごろになると真剣に作曲活動に取り掛かったのだが、この頃にはすでに大方のギター奏者の演奏技巧や演奏能力を上回るようになっていた。
長年音楽を聴いてきた中で不思議に思うことは、ずっとバリオス・マンゴレを知らなかったことだ。私自身ギターをやるので、代表的クラシックギター曲の楽譜などはみていたのだが、実際に彼を認識したのはギターを始めてから20年後くらいだった（途中ブランクはあった）。これは何に起因するのか考えてみると、同時代のセゴビアが陽だとすると、バリオスは陰だった、ということだろう。ギタリストとしてバリオスはセゴビアの影にかくれてしまった。セゴビア自身はバリオスを優れたギタリストとして認識しており、アドバイスを受けてさえいる。しかしセゴビアはバリオスの曲をレパートリーに入れず、録音もしなかった。なぜか？おそらく、そうしだしたらバリオスという存在に自身が呑まれてしまう、と感じたからではないか。
1906年に21歳で大学を卒業すると、首都アスンシオンで本格的な演奏活動に入り、その後は音楽活動と詩作に生涯を捧げることとなる。バリオスは、実演や録音を通じて、驚異的な演奏力で名を馳せた。1910年にはアルゼンチンやウルグアイでもしばしば演奏し、1916年にはブラジルに赴いてこの地で15年ほど生活することになる。その間に、自作の演奏によってエイトル・ヴィラ＝ロボスを驚嘆させた。
バリオスは旅を愛するロマンティックな流浪の詩人であった。
1931年にはブラジルを離れて諸国を転々とするようになり、同年のベネズエラ公演では、興行主の依頼に応じて鳥の羽根で頭を飾り、パラグアイの伝統的な民族衣裳を身に着けて舞台に上がった。数年間「ニツガ・マンゴレ（Nitsuga Mangoré）」との偽名を名乗ったこともある。 Nitsuga とはすなわち Agustin の逆綴りであり、Mangoré とはパラグアイにいた伝説の大酋長の名前のことである。グアラニー族の血を享けたことを誇りとしたからであった。