AIの記憶をスリムに！爆速で賢い『InnerQ』の秘密

ああ、それはLLMの推論を効率化する研究だね。簡単に言うと、AIの「記憶」を賢く節約して、動くスピードをめちゃくちゃ速くしようっていう技術だよ。

物忘れというか、長い文章を作るときに、それまでに話した内容を「KVキャッシュ」っていう場所に一時保存しておくんだ。でも、文章が長くなればなるほど、このキャッシュが巨大になってメモリを使い果たしちゃうのが今の大きな課題なんだよ。

例えは悪くないね。そこで「量子化」っていう技術を使って、その書類をギュッと圧縮するんだ。ただ、これまでの圧縮方法は、GPUっていう計算機にとって少し効率が悪かったんだよ。

一番のポイントは「インナー次元グルーピング」だ。これまでの手法はデータの並びを無視して圧縮してたから、計算するときに何度もメモリを読み直す必要があった。InnerQはGPUが一度に読み込むデータの塊に合わせて圧縮するから、無駄な動きが減って速くなるんだ。

……まあ、整理整頓の仕方をハードウェアに最適化したって意味では合ってるよ。これで従来の圧縮方法より22%も速くなったんだ。

そこも工夫されてる。「ハイブリッド量子化」といって、データのバラつき具合を見て、グループごとに最適な圧縮ルールを自動で選ぶんだ。さらに、文章の最初の方にある重要な言葉と、直近の言葉だけは圧縮せずにそのまま残しておく「高精度ウィンドウ」っていう仕組みも使ってる。

Llamaっていう有名なモデルで数学の問題を解かせたんだけど、圧縮してない時とほとんど変わらない正解率を出したよ。それでいて速度は爆速。かなり実用的だね。

そうだね。メモリが少ないデバイスでも長い文脈を扱えるようになるから、スマホのAIアシスタントがもっと賢くなる可能性がある。将来的には、もっと少ないビット数で圧縮しても精度が落ちないようにするのが課題かな。

君の場合は圧縮する前に、まず情報を脳内に「インプット」するところから始めなよ。