調べてみたことがありますが、四姓、というのはもともと中国の制度で、有力な四つの氏族(各王朝ごとにメンバーは違う)の代表者に特権を与えていた、みたいな話です。
なんで４氏なのか。たぶん東西南北、四神相応、みたいな考え方から「四」なんだと考えられます。
本場の中国でやってることは、真似しなけりゃいけません。
ということで、朝鮮にも王朝ごとに「四姓」が定められてます。こりゃ、日本も真似せにゃなるまい。ということで「四姓」というのが定められました。さて有力氏族というと、源、平、藤原まではいいとして、あとひとつ、どうしましょう。
そこで員数合わせで入れられたのが「橘」です(たぶん)。
古代日本では、そもそも、代々の天皇の皇子が臣籍降下するたびにオリジナルな姓を考えていたわけで、橘のほかにも、清原とか、在原とか、高階とか、たくさん姓はあります。菅原とか大江とか伴とか、他にもいます。橘くらいの勢力の姓は他にいっぱいあったのですが、でも、そのなかで橘が選ばれたのは、たぶん「かつて一度でも最高権力者を出したことがある」という点だと思います。
橘諸兄は、生きてるうちに正一位になった歴史上唯一のひとです(と聞きました、たぶんホントです)。のちには勢力を落として並の貴族に成り下がった橘も、この実績だけで、員数合わせで入れられたのです。ヨーロッパには「三頭政治」「三銃士」でいいけど、風水の支配する東アジア文化圏では「四天王」、四つ揃えなきゃでなきゃダメなんです。そんだけの理由なので、「橘だけが四姓のなかで弱いのはなんで」というのは、話の順番が違うわけです。