そんなわけないだろ。これはLLMを動かす時に、一番エネルギー効率が良くなる条件のことだ。最近はAIの電気代がバカにならないから、すごく重要な研究なんだよ。

そこがこの論文の面白いところだ。今までは入力と出力の長さに比例して電気が増えると思われていたけど、実際はもっと複雑なんだ。特定の長さの組み合わせで、急に効率が良くなったり悪くなったりするんだよ。

彼らはTransformerの仕組みから、計算量の『FLOPs』と『メモリアクセス』を計算する数式を作ったんだ。FLOPsは計算回数のことで、メモリアクセスはデータの読み書きの量だね。これらを組み合わせることで、消費電力を予測するモデルを作ったんだよ。

実験では、NVIDIAのH100っていう最新のGPUを使って、色んなLLMで試したらしい。その結果、入力が短から中くらいで、出力が中くらいの長さの時に、一番効率が良くなる『スイートスポット』があることがわかったんだ。逆に入力が長すぎたり、出力が極端に短かったりすると、効率がガクンと落ちるんだよ。

そうなんだ。LLMには『プリフィル』っていう入力を読み込む段階と、『デコード』っていう文字を一つずつ作る段階がある。入力が長いと最初の読み込みにすごくパワーを使うし、出力が短すぎると準備運動だけで終わっちゃうようなものだから、効率が悪くなるんだよ。

例えば、AIに質問する時に長すぎる文章を要約して短くしてから渡したり、効率の良い長さで回答を打ち切るように設定したりできる。そうすれば、同じ電気代で何倍も多くの処理ができるようになるはずだ。地球にも優しいしね。

いや、まだ課題はある。今回は特定のGPUやソフトで測った数値だから、環境が変わるとスイートスポットの場所も変わる可能性があるんだ。今後はもっと色んな環境で試す必要があるだろうね。

それはただのわがままだろ！……まあ、俺もお腹すいたし、行くか。