AIの電気代はどこへ消える？最新GPUで探る省エネの秘密

ああ、それはAIが動くときにどれくらい電気を食うかを調べた論文だよ。最近はAIの計算資源として、エネルギーがすごく重要な問題になってるんだ。

そうだよ。この論文によると、AIに難しい問題を解かせる「推論（Reasoning）」タスクは、普通のチャットより25倍もエネルギーを使うらしい。

例えはともかく、それくらい差があるんだ。動画生成にいたっては、画像を作るより100倍以上エネルギーを使うこともあるんだよ。

理由はいくつかあるけど、大きな要因は「バッチサイズ」と「稼働率」だね。バッチサイズっていうのは、一度に処理するデータの量のこと。これを大きくしてGPUをフル稼働させると、1トークンあたりのエネルギー効率が3倍から5倍も良くなるんだ。

君の場合はただ溜めてるだけだろ。……まあいい。この論文では、H100やB200っていう最新のGPUを使って、どうすればエネルギーを節約できるかのフレームワークを提案してるんだ。

魔法じゃないよ。エネルギー消費を決める「潜在的な要因」を分析するんだ。例えば、メモリの空き状況や、計算の待ち時間だね。面白いのは、GPUを増やすと逆にトータルのエネルギーが減ることもあるって点だ。

GPUを増やすことでメモリに余裕ができて、さっき言った「バッチサイズ」を大きくできるからなんだ。結果的に、1つの処理にかかるエネルギーが減るんだよ。

違うよ。Mixture-of-Expertsの略で、巨大なモデルの中でも必要な部分だけを動かす仕組みのことだ。これを使うと、賢さを保ったままエネルギーを節約できるんだよ。

いや、まだ課題はある。例えば、画像や動画の処理では、GPUが速くてもCPU側の準備が遅いと、GPUが暇しちゃってエネルギーが無駄になるんだ。システム全体を最適化しないといけない。

その通り。データセンターの電力供給には限界があるから、この研究は将来のAIインフラを支える重要な一歩になるはずだよ。

それはただの他力本願だろ。自分の財布のエネルギーを使いなさい。