12TBメモリを搭載した5兆パラメータLLM推論システムSN40Lが今すぐ使える – WirelessWire News
清水 亮さん「12TBメモリを搭載した5兆パラメータLLM推論システムSN40Lが今すぐ使える」（WirelessWire News）がちょっと面白い。
「かつて日本は人工知能分野で世界最先端を行くと言われていた。その主力は自然言語処理(NLP;Natural Language Processing)であった。
なぜ日本が人工知能分野で世界をリードしていたかと言えば、日本語という特殊な言語の性質にある。日本語は漢字仮名交じり文であり、外来語であるはずのアルファベットやそのほかの言葉や記号が巧みに入り組む構造で、欧米の言語では最も基本的な「単語と単語の区切り」さえ区別がつかないため、特に「形態素解析」という分野が進歩したのだ。
だが皮肉にも、形態素解析に特化した進化をしていたため、ディープラーニングには乗り遅れる形になってしまった。昨年の言語処理学会はGPT4出現直後で、発表される全ての研究成果が色あえて見えてしまったと聞いた。
それに反転するように、今年の言語処理学会は大規模言語モデル(LLM;Large Language Model)百花繚乱といった感じで、従来からの研究もうまく融合していた。」
「その会場の片隅で、というか、会場の「隣のビル」で、ひっそりと会議室を押さえていたのがシリコンバレーの雄、SambaNova社だった。
SambaNova社は本欄でも何度か取り上げたことがあるが、独自の再配置可能データフローユニット(RDU;Reconfigurable Dataflow Unit)という半導体から、それを搭載したスーパーコンピュータとソフトウェアの開発まで一気通貫に行うフルスタックAI企業である。
SUNマイクロシステムズでNiagaraチップなどの設計を担当したアーキテクトらが中心となって作り上げたこのアーキテクチャは、今回4世代目にアップデートしていた。
今回のアップデートの目玉は、新たに512GBのHBM3メモリを中間キャッシュに置き、12TBのDDR5メモリを配置することで史上空前の5兆パラメータを扱うシステムを構築したこと。
これにより、Composition of Experts(CoE)というSambaNova独自のAIサービスソリューションが実現した。
CoEとは、単一で巨大なモデルを動かすのではなく、小さな専門家モデルを同時に複数使い分けることによって利便性と安全性を高めるシステムだ。」
清水 亮
新潟県長岡市生まれ。1990年代よりプログラマーとしてゲーム業界、モバイル業界などで数社の立ち上げに関わる。現在も現役のプログラマーとして日夜AI開発に情熱を捧げている。
小松 仁