1枚のGPUで巨大AIを育てる！？メモリの常識を覆すHorizon-LM

ああ、それは巨大なモデルをたった1枚のGPUで学習させるための新しい仕組みについての論文だよ。最近のモデルは大きすぎて、普通のやり方だとGPUのメモリが全然足りないんだ。

……それは僕の個人的な悩みだけど、正論だね。今の主流は、たくさんのGPUにモデルを分割して載せる方法なんだ。でも、この論文は『GPUは計算する時だけ使って、データは全部パソコン本体のメモリ（RAM）に置いておけばいいじゃん』っていう逆転の発想をしてるんだよ。

例えとしては悪くないね。これまでの方法は、作業机の上に無理やり全部の荷物を置こうとしてパンクしてた。Horizon-LMは、倉庫から必要な分だけ机に持ってきて、使い終わったらすぐ倉庫に戻すっていう『RAM中心』の考え方なんだ。

そこがこの論文の賢いところでね。『二重バッファリング』っていう技術を使ってるんだ。今使ってるデータの裏で、次に使うデータをこっそり運んでおく。そうすれば、計算が終わった瞬間に次のデータが準備できているから、GPUを休ませずに済むんだよ。

……まあ、そんな感じかな。あと、メモリを節約するために『再計算』っていうテクニックも使ってる。計算の途中の結果を全部保存するんじゃなくて、必要な時にもう一度計算し直すことで、メモリの使用量を極限まで抑えてるんだ。

なんと、1枚のGPUで1200億パラメータ（120B）のモデルを学習できたらしい。これ、今までの有名な手法であるDeepSpeed ZeRO-3と比べると、同じ条件で12倍以上も速いんだよ。

僕を基準にしないでくれるかな。でも、この研究の意義は大きいよ。これまでは巨大なサーバーを持っていないとできなかった最新モデルの微調整が、もっと身近な環境でできるようになるかもしれないんだから。

いや、さすがにノートパソコンのRAMじゃ足りないし、GPUもそれなりのものが必要だけどね。でも、将来的にRAMの容量が増えていけば、GPUを買い足さなくてもモデルの規模をどんどん大きくできる可能性があるんだ。

鋭いね。やっぱりCPUとGPUを繋ぐ通信速度（PCIeとか）が遅いと、計算待ちが発生しちゃうのが弱点かな。あと、今はまだ1枚のGPUに特化してるから、これをどうやって複数のGPUで効率よく動かすかっていうのがこれからの研究課題だね。

亜美さんが食べるのは『ラム肉』でしょ。それはただのジンギスカンパーティーだよ。