大正8年（1919年）三重県 松阪市 生まれ。3歳の時に父を亡くし、大正14年（1925年）に一家とともに大阪に出て行く。小学校3年の半ばで中退。赤貧のため慢性的な栄養失調であった。トラコーマ にかかり徐々に右目の視力を失う。名古屋の薬屋やパン屋、鉄工所などで丁稚 奉公 。その間に見たディック・ミネ のギターを持ちながら歌うステージに感動し、みずから音の出ないギターを作っては河原で歌い、次第に流行歌の世界に傾倒していく。
昭和13年（1938年）、ポリドールレコードの新人歌手北廉太郎 の宣伝のため「伊豆の故郷」を課題曲とした新愛知新聞 社主催のアマチュア歌謡コンクールに出場することを姉から勧められ、優勝する。ポリドールの勧めで上京し、鈴木幾三郎 社長宅の書生となる。その時に知り合った同じ鈴木宅の書生が、「オースッ！」と挨拶することにヒントを得て、後にステージに出演する際に、田端義夫のトレードマークとも言うべき威勢のいい挨拶が生まれている。昭和14年、同じく新進作曲家の倉若晴生 の手による「島の船唄」でデビュー。当時は同じ会社の先輩に倣って、眼鏡をかけ、いがぐり頭の新人歌手として登場している。デビュー曲が当時レコード販売会社の組合で制定していた《ぐらも・くらぶ賞》を受賞するという快挙に恵まれ、その後も「里恋峠」「大利根月夜」「別れ船」「梅と兵隊」とヒットを続け、同じ会社のスター東海林太郎 、上原敏 と並ぶヒット歌手の地位を築いたのである。昭和16年、日本橋きみ栄 らとともに中国大陸に戦地慰問にも赴くが、その後は主に国内の軍需工場や基地を中心に終戦まで慰問活動を続けた。
終戦後、レコード販売を止めていたポリドールを辞し、昭和21年（1946年）にテイチク に移籍。「かえり船」のヒットを出す。戦前の流れを組むマドロス歌謡で人気を博し、「かよい船」「たより船」「玄海ブルース」と昭和20年代を代表するスター歌手として岡晴夫 、近江俊郎 らとともに戦後三羽烏と呼ばれた。スクリーンにおける活躍は早く、昭和15年（1930年）に松竹 映画「弥次喜多六十四州唄栗毛」に旅人役として出演したのを皮切りに、戦後は、大映 映画「淑女とサーカス」「肉体の門」、新東宝 映画「底抜け青春音頭」「アジャパー天国」など、喜劇映画を中心に多くの出演作品を残している。
昭和30年頃からはヒットが出ずに低迷の時期が続いた。昭和37年（1962年）、ポリドールから13年前に波平暁夫の歌で発売されたものの奄美大島 のみで歌い続けられていた「島育ち」を、会社の反対を押し切ってレコーディング。田端の地道な活動が功を奏し、「島育ち」は40万枚を超える[1] 大ヒット。カムバックを果たし、昭和38年にはNHK紅白歌合戦 に初出場した。「新曲を出し続けることが、現役歌手の証し」と、その後も精力的に歌手活動を続け、「十九の春」「昭和三代記」「百年の愛」と平成になってからも新曲を出し続けた。一方、公演に訪れたアメリカ・ラスベガスのスロットで大金を掴むという話題も振りまいた。平成7年には林伊佐緒 に代わり、日本歌手協会の5代目会長に就任。平成16年からは名誉会長の座にある。
1997年には、ロック・バンドソウル・フラワー・ユニオン の別動チンドン楽団ソウル・フラワー・モノノケ・サミット と、宮崎県の高千穂でジョイント・コンサートをおこなっている。
2001年12月には、BEGIN の比嘉栄昇 が作詞・作曲して田端に提供した「旅の終わりに聞く歌は」を発表（「島唄2」からシングルカットされた「涙そうそう 」のカップリングとして）。
2007年に、80年代までのレコーディングマスターや未発表曲を元にしたアルバムがGEMより発売。手書きの歌詞カードなど思い入れの込められた作品で、現役ぶりをアピール。
かねてより「90歳までは歌う」と公言しており、2009年元旦（田端の満90歳の誕生日）に歌手生活70周年を兼ねた記念アルバムがテイチクより発売。語りおろしメッセージを収録し、健在であることを示した。