解説ねえ、智也くん！『LLMに…
解説
ねえねえ智也くん！この『AdaFuse』って論文、名前がなんだか強そうじゃない？「アダフューズ」！必殺技みたい！
必殺技じゃないよ。これは複数のAIを組み合わせて、もっと賢く答えを出そうっていう「アンサンブル」っていう技術の研究なんだ。
アンサンブル？みんなで合唱するみたいに、AIたちが協力するってこと？
例えとしては悪くないね。AIによって得意不得意があるから、複数を混ぜることでミスを減らすんだ。でも、今までのやり方は「一文字ずつ混ぜる」か「最後に出た答えを比べる」か、やり方が極端で効率が悪かったんだよ。
一文字ずつだと細かすぎるし、最後だと手遅れになっちゃうもんね。じゃあ、このAdaFuseはどうするの？
これは「単語」を単位にして、しかも「いつ相談するか」をAIが自分で決めるんだ。自信がある時はスラスラ自分で書いて、自信がなくなったら「ちょっとみんな、ここどう思う？」って他のAIに相談するんだよ。
えっ、AIが自分で「私、今ちょっと不安かも…」って思うの？人間みたい！
正確には、次に出す言葉の候補の確率をチェックするんだ。1番目の候補と2番目の候補の差が小さいと「迷ってる」と判断して、他のAIと一緒にいろんな可能性を探索する「テストタイムスケーリング」っていうモードに切り替えるんだよ。
なるほど！迷った時だけ会議を開くから、無駄がないんだね。でも、どうやって一番いい答えを選ぶの？
各モデルが出した候補に対して、全員で「NLLスコア」っていう、どれだけその言葉が自然かっていう点数をつけるんだ。その平均点が一番いいものを選ぶことで、安定して正しい答えにたどり着けるんだよ。
へー！それで、実際に頭良くなったの？
クイズや算数、翻訳のテストで、今までの最強の手法よりも平均で6.88%も成績が上がったんだ。特に難しい問題ほど、この「迷った時の相談」が効いてくるみたいだね。
すごいじゃん！これがあれば、私のテストも代わりに解いてもらえるかな？
まあ、将来的にはもっと複雑な推論もできるようになるだろうけど、君のテストは自分で解かないと意味がないでしょ。課題は計算コストだけど、必要な時だけ計算を増やすこの手法は、未来のAIの標準になるかもしれないね。
じゃあ、私も智也くんとアンサンブルして、今日の夕飯のメニューを決めようかな！私の直感と、智也くんの論理的な分析をフューズさせるの！
それはただの「相談」だし、僕の分析結果は「自炊して節約すべき」で確定してるから、合体させるまでもないよ。
要点
- 複数のLLMを組み合わせて互いの弱点を補完する「アンサンブル」の新手法『AdaFuse』を提案。
- 従来の固定された単位（トークンや文全体）での統合ではなく、単語単位で動的に統合のタイミングを変える「適応的デコーディング」を採用。
- モデルの確信度（自信）に基づいて、そのまま生成を続けるか、他のモデルと相談して候補を増やすかをリアルタイムで判断する。
- 自信がない場合には「多様性を考慮したスケーリング」を行い、複数の可能性を探索することで回答の質を高める。
- オープンドメインQA、算術推論、機械翻訳の実験において、既存の強力な手法を平均6.88%上回る精度を達成。