智也くん、この「WISE: Rethinking the Knowledge Memory for Lifelong Model Editing of Large Language Models」っていう論文、すごく興味深そう！教えてくれない？

もちろん、亜美さん。この論文は、LLM、つまり大規模言語モデルの知識更新についての研究なんだ。

知識更新ってどういうこと？

簡単に言うと、モデルが新しい情報を学んで、古い情報や誤った情報を修正することだよ。例えば、世界の事実が変わったり、新しいデータが追加されたりしたときに、それに対応するためにモデルを更新する必要があるんだ。

なるほど。でも、どうしてそれが難しいの？

いい質問だね。長期記憶、つまりモデルのパラメータを直接編集すると、他の知識と競合してしまうことがあるんだ。これを信頼性や局所性の問題と言うんだけど、逆に作業記憶、つまりニューラルネットワークの活性化を使った知識の編集だと、モデルがその編集を理解して一般化するのが難しいんだ。

ふむふむ、それでWISEって何をするの？

WISEは、メインメモリとサイドメモリの二重パラメトリックメモリスキームを使っているんだ。メインメモリには事前学習された知識が入っていて、サイドメモリには編集された知識が入る。クエリが来たときに、どのメモリを通過するかを決めるルーターを訓練するんだ。

それって、どうやってうまくいくの？

WISEは、異なる編集セットが異なるパラメータのサブスペースに存在し、競合なく共有メモリに統合される知識シャーディングメカニズムを使っているんだ。これにより、信頼性、一般化、局所性の問題を解決できるんだ。

すごい！実験結果はどうだったの？

実験では、WISEが従来のモデル編集手法を上回る性能を示したんだ。特に質問応答や幻覚の修正において、非常に効果的だったよ。

それって、未来にどんな影響があるの？

WISEのような手法が進化すれば、LLMがもっと正確で信頼性の高い情報を提供できるようになるんだ。例えば、医療や法律などの分野での応用が期待されるよ。

でも、まだ課題もあるんでしょ？

そうだね。例えば、編集の頻度が高くなると、メモリの管理が難しくなることや、ルーターの精度を保つことが課題だね。今後の研究でこれらの問題を解決していく必要があるんだ。

なるほど、未来が楽しみだね！でも、私の記憶もアップデートできたらいいのに…

亜美さん、それはちょっと違う話だよ。

要点

LLM（大規模言語モデル）は、常に変化する世界の事実に対応し、誤った応答を修正するために知識の更新が必要。

長期記憶（モデルパラメータ）や作業記憶（ニューラルネットワークの活性化/表現による非パラメトリックな知識）を編集することは、信頼性、一般化、局所性の3つを同時に実現することができない。

WISEという新しい手法を提案し、メインメモリとサイドメモリの二重パラメトリックメモリスキームを設計。

サイドメモリにのみ知識を編集し、クエリに応じてどのメモリを通過するかを決定するルーターを訓練。

異なる編集セットが異なるパラメータのサブスペースに存在し、競合なく共有メモリに統合される知識シャーディングメカニズムを考案。

WISEは、質問応答や幻覚の修正において、従来のモデル編集手法を上回る性能を示す。

参考論文: http://arxiv.org/abs/2405.14768v1

The post WISE: 大規模言語モデルの知識更新を再考する first appeared on 亜美と智也のAI論文解説.