いや、木を植える話じゃないよ。これはLLMを動かす時の消費電力をどうやって減らすかっていう、IT業界の切実な問題についての研究だ。

すごいよ。ChatGPTみたいなLLMの推論にかかる電力は、1ヶ月分だけで学習にかかった電力を超えることもあるんだ。この論文では、その推論を『プリフィル』と『デコーディング』っていう2つの段階に分けて分析してるんだよ。

簡単に言うと、プリフィルは「質問文を読み込んで準備する段階」、デコーディングは「実際に答えの文字を1つずつ作っていく段階」のことだ。プリフィルは一気に計算するから効率がいいけど、デコーディングは1文字ずつだから時間がかかるしメモリも使うんだ。

……まあ、例えとしては悪くないかな。面白いのは、準備運動（プリフィル）で手間取ると、その後のダンス（デコーディング）の1歩あたりの疲れやすさ、つまり消費電力まで増えちゃうってことがわかった点だね。

君と一緒にするなよ。あと、この論文で一番衝撃的なのは『バブリング』っていう現象だ。AIが答えを出し終わった後も、無駄にダラダラ喋り続けちゃうことがあるんだよ。

節約の話をしてるんだよ。これからは、ただ賢いだけじゃなくて、こういう無駄を省いた『地球に優しいAI』が求められるようになるだろうね。ソフトウェア開発の現場でも、どのモデルが一番エコかを考えるのが当たり前になるかもしれない。

……その前に、その天然な発言を減らす方が先だと思うけどな。