源頼光の四天王の一人酒吞童子退治で有名な渡辺綱を祖先としています。
渡辺綱は一条戻橋で鬼の腕を切り落とします。
平安時代後期から弓術に優れた渡辺一党は活躍します。藤原一族の遠藤氏と婚姻関係を結び、渡辺党は勢力を拡大します。
渡辺党は、天皇家や貴族に仕えて、京都で活躍しました。
本拠地の渡辺津は淀川最大の川湊でそこから取れる魚介類は王家の経済基盤であり、船舶からも通行税を徴収し、莫大な利益を上げました
後に渡辺党は北条氏に仕えて越後に領地をもらいました。
後醍醐天皇の倒幕運動にも関与します。
南北朝時代には楠木正成の三男正成儀につかえましたがしだいに没落していきます。