いや、全然違う。これはVLM、つまり画像と言葉を一緒に扱うAIを、もっと賢く、効率的に調整するための研究だよ。

察しがいいね。実はAIって、特定のことを新しく学習させると、元々知っていた一般常識みたいな知識を忘れちゃうんだ。これを『破滅的忘却』って言うんだけど、この論文はそれを解決しようとしてるんだよ。

……まあ、例えとしては遠くないかな。例えば、犬の種類を詳しく覚えさせたら、今度は『これが動物である』っていう基本的な認識が弱くなっちゃうようなイメージだね。この論文は、学習が終わった後に『忘れた知識を取り戻す』ための調整を提案してるんだ。

『線形モード接続性（LMC）』っていう理論を使うんだ。簡単に言うと、元の賢いAIと、新しく学習した専門的なAIの間に、どっちの性能も落ちない『魔法の道』があるはずだって考えるんだよ。その道の上にある、両方のいいとこ取りをしたモデルを探すのが『MERGETUNE』なんだ。

鋭いね。普通、その道を探すには、AIが最初に勉強した膨大なデータがもう一度必要になるんだ。でも、そんなデータは普通手に入らないし、計算も重すぎる。そこでこの論文は、数学的なテクニックを使って、データがなくてもその道を予測する方法を編み出したんだよ。

超能力じゃない。二次の近似式、つまり『ヘシアン』っていう行列を使って、損失関数の形を予測するんだ。これによって、元のデータを使わずに、元のモデルの知識を壊さない範囲で微調整を続けられるようになる。

かなりね。既存の有名な手法にこのMERGETUNEを付け加えるだけで、新しい種類の画像を見分ける性能が5.6%も上がったんだ。しかも、モデルのサイズはそのまま。後付けで性能を底上げできるのがこの手法の強みだね。

そう。モデルの構造を変えなくていいから、汎用性が高い。今後は、もっと複雑なタスクや、複数のモデルを合体させるような研究にも応用されるだろうね。ただ、まだ近似を使っている段階だから、もっと正確に道を特定する方法が必要になるかもしれないけど。

亜美さんの場合は、まず『破滅的忘却』の前に、ちゃんと話を聞くところから始めたほうがいいと思うよ。

いや、全然違うよ。これは複数のAI、つまりLLMを合体させて、より賢い一つのモデルを作る『モデルマージ』っていう技術の研究だよ。

それがすごく大変なんだ。混ぜ方にもいろいろ種類があるし、どの順番で混ぜるか、どのモデルを組み合わせるかで性能が全然変わっちゃうんだよ。今は『とりあえず混ぜてみて、テストして、ダメなら別の方法を試す』っていう、すごくお金と時間がかかるやり方が主流なんだ。

匂いじゃないけど、似たようなものかな。『類似度信号』っていうのを使うんだ。具体的には、少量のデータ（プローブ）をモデルに見せて、その反応がどれくらい似ているか（KLダイバージェンス）とか、モデルの脳みそである『重み』の数値がどれくらい近いか（コサイン類似度）を計算するんだよ。

そう、その『似具合』のデータを学習したAI（セレクター）が、『このペアならLinear（線形補間）がいいよ』とか『こっちはTIESマージがいいよ』って教えてくれるんだ。これで、何度もテストする手間が省ける。

そうだね。実験結果でも、ただ一つのやり方に固定して混ぜるより、SimMergeで予測した方がずっと性能が良かった。専門家が作った特化モデルに近い性能を、低コストで出せるようになったのがこの論文の大きな意義だよ。

可能性はあるね。ただ、まだ課題もあって、今は既存のマージ手法から選ぶだけなんだ。将来的には、全く新しい混ぜ方そのものをAIが発明するようになるかもしれない。あと、新しいタスクが出てきてもすぐ対応できるように『バンディット』っていう、やりながら学習する仕組みも研究されているよ。

違うよ、スロットマシン（多腕バンディット）みたいに、どれが当たりか試行錯誤しながら賢くなるアルゴリズムのこと。……亜美さん、さっきから例えが全部ゲーム寄りだね。

人間はマージできないし、僕の真面目さと君の天然を混ぜたら、ただの『ちょっと変な人』になるだけだと思うよ。