100億倍効率的！？未来のデータも予測するAIの「進化の線路」を見つける技術

いや、全然違う。数学の用語で『多様体』っていう意味だよ。この論文は、AIが時間の経過とともに賢さを失わないようにするための研究なんだ。

そこが問題なんだ。世の中の情報は毎日変わるだろ？2020年の知識しかないAIに今のニュースを語らせても、ズレが生じちゃう。これを『時間的ドメインシフト』って言うんだよ。

そう。でも、最新データが出るたびに巨大なモデルを全部作り直すのは、お金も時間もかかりすぎて現実的じゃない。そこで、この『MaT-LoRA』の出番なんだ。

『MaT-LoRA』ね。これは、モデルの全部をいじるんじゃなくて、変化する『核』の部分だけを効率よく調整する手法なんだ。実は、AIの知識の変化って、バラバラに動くんじゃなくて、ある特定の『形（多様体）』に沿って動いていることがわかったんだよ。

例えば、電車の線路をイメージして。電車は自由にどこへでも行けるわけじゃなくて、線路という『形』に縛られて進むだろ？AIの知識の変化も、その『線路』さえ見つければ、次がどこに行くか予測しやすくなるんだ。

正解。具体的には、LoRAっていうパラメータ節約術をさらに進化させて、時間で変わらない『土台』と、時間で変化する『コア』に分けたんだ。これで、計算量を従来の100億分の1にまで減らせたんだよ。

例えが極端すぎるけど、それくらい効率的なんだ。実験でも、ニュースの分類やレビューの評価予測で、未来のデータを当てる能力が他の方法よりずっと高かったんだよ。

予言とまではいかないけど、AIが常に最新の感覚を持ち続けられるようになる可能性はあるね。ただ、今はまだ『滑らかな変化』には強いけど、突然の事件みたいな急激な変化に対応するのはこれからの課題かな。

それは予測じゃなくて、さっき自分が食べたいって言ってただけだろ。……まあ、いいけどさ。