MIT Tech Review: 「大きいことはいいことだ」大規模言語モデルの呪縛を解く (technologyreview.jp)
「MIT Tech Review: 「大きいことはいいことだ」大規模言語モデルの呪縛を解く」」(technologyreview.jp)がちょっと面白い。
「テック企業はAIモデルの規模拡大に躍起になっている。だが、大規模モデルには大量の電力消費問題をはじめとする弊害があるうえ、特定タスクにおいては小規模モデルでも大規模モデルに匹敵する性能を発揮できる。」
メリッサ・ヘイッキラ [Melissa Heikkilä]
米国版 AI担当上級記者
MITテクノロジーレビューの上級記者として、人工知能とそれがどのように社会を変えていくかを取材している。MITテクノロジーレビュー入社以前は『ポリティコ（POLITICO）』でAI政策や政治関連の記事を執筆していた。英エコノミスト誌での勤務、ニュースキャスターとしての経験も持つ。2020年にフォーブス誌の「30 Under 30」（欧州メディア部門）に選出された。
「AIスタートアップ企業ハギング・フェイス（Hugging Face）でAI・気候担当責任者を務めるサーシャ・ルッチオーニは言う。テック企業が途方もない数のパラメーターを気軽に追加するせいで、たとえオープンソース・モデルであっても（ほとんどは違うが）、一般人はとてもダウンロードして手を加えることができない状況になっている。今日のAIモデルは「あまりに大きすぎます」と、ルッチオーニは批判する。」
「スケールがもたらすもう1つの問題は、力関係の極端な不均衡だと、ルッチオーニは述べる。規模の拡大には莫大な資金が必要であるため、このようなモデルを構築して運用できるのは、巨大テック企業に所属するエリート研究者だけだ。」
Sarah Rogers/MITTR | Getty
小松 仁