ああ、それはDiffusion LLMっていう、最近注目されてる新しいAIを高速に動かすためのハードウェアの研究だよ。GEMMっていうのは行列演算のことで、今のAIチップはそればっかり得意なんだけど、それだけじゃダメだって話だね。

普通のLLMならそうなんだけど、Diffusion LLMはちょっと特殊なんだ。これは言葉を一度にドバっと並列で作るんだけど、その後の「どの言葉にするか選ぶ作業」、つまりサンプリングがめちゃくちゃ重いんだよ。GPUで動かしても、時間の70%がその作業に使われちゃうこともある。

……例えは微妙だけど、まあ効率が悪いのは確かだね。サンプリングでは、膨大な単語のリストから確率が高いものを選んだり、メモリをあちこち読み書きしたりするんだけど、今のチップはそういう「こまごました作業」が苦手なんだ。

「d-PLENA」っていう新しい設計を提案してるんだ。まず、サンプリングの計算をハードウェアが処理しやすい「Stable-Max」っていう形に作り替えた。それから、上位の単語を素早く見つける「Top-k」専用の回路とか、新しい命令をたくさん追加したんだよ。

そう。データの種類に合わせて、ベクトル用、浮動小数点用、整数用ってメモリを完全に分けたんだ。これでデータの混雑を防いで、効率よく処理できるようになった。あと、メモリを上書きして再利用する戦略も取ってるね。

……君の食欲の話じゃないんだけど。でも、これが普及すれば、スマホとかの小さなデバイスでも、爆速で賢いAIが動かせるようになるかもしれないね。

課題としては、まだ特定のサンプリング手法に特化している部分があることかな。もっと色んな種類のAIモデルに対応できるように汎用性を高めるのが、これからの研究課題だね。

それはただの食いしん坊だろ。さっさと研究室に戻るぞ。