TL;DR

本論文は、スマートコントラクトの脆弱性検出にLLMを適用する際の継続学習フレームワークを提案。3段階パイプライン（FA-LoRAによる効率的適応、FARによる忘却防止、APPMによるモデル統合）で、新たな脆弱性カテゴリへの適応と既存知識の保持を両立。FA-LoRAは0.4%の学習パラメータで標準LoRAを上回り、APPMは独立タスク上限の2.7%以内の性能を156msのマージコストで達成。

解説

ねえ智也くん、この論文のタイトル、すごく長いけど、要するに何がすごいの？

スマートコントラクトの脆弱性をAIで見つけるんだけど、新しい脆弱性の種類が出てきても、古い知識を忘れずに対応できるようにする仕組みだよ。

へー、でもなんでそんなに難しくする必要があるの？普通に全部のデータで学習し直せばいいんじゃない？

それが、全部学習し直すと時間もコストもかかるし、しかも古い脆弱性を忘れちゃうことがあるんだ。これを破滅的忘却って言うんだけど、それを防ぎたいんだよ。

なるほどね。で、この論文ではどうやって解決してるの？

3段階のパイプラインを組んでるんだ。まずFA-LoRAっていう方法で、モデルの一部だけを効率的に学習させる。次にFARっていう仕組みで、古い知識を忘れないようにする。最後にAPPMっていう方法で、新しいモデルと古いモデルをうまく統合するんだ。

FA-LoRAって何？LoRAは聞いたことあるけど、FAって何？

FAはFast Adaptationの略で、要するに学習するパラメータをすごく少なくして、しかも性能を落とさないようにする工夫だよ。論文によると、標準のLoRAより少ないパラメータで上回る性能を出してるんだ。

へえ、パラメータが少ないってことは、学習が速いってこと？

そう、しかもメモリも節約できる。具体的には0.4%のパラメータだけを学習してるんだ。

0.4%ってすごい少ないね！でも、そんなに少ないと性能が落ちないの？

それが、むしろ標準のLoRAより良かったらしいよ。実験で確認されてる。

じゃあ、FARっていうのは何をするの？

FARはFeature Adaptation Regularizationの略で、新しいタスクを学習するときに、古いタスクの特徴を壊さないように制約をかけるんだ。これで忘却を防いでる。

なるほど、古い知識を守るための工夫なんだね。で、APPMは？

APPMはAdaptive Parameter Projection and Mergingの略で、新しいモデルと古いモデルをうまく混ぜ合わせる方法だよ。これによって、独立して学習した場合の性能に近づけるんだ。

独立して学習した場合って、全部のデータで学習した場合のこと？

そう、その上限の2.7%以内の性能を達成してるんだ。しかもマージにかかる時間は156msだけ。

156msって一瞬だね！でも、この研究のすごいところは何？

スマートコントラクトの脆弱性は日々新しいものが見つかるから、そのたびに全部学習し直すのは非現実的。このフレームワークなら、新しい脆弱性に素早く適応しつつ、既存の知識も保てるから、実用的なんだよ。

確かに、セキュリティの分野では新しい攻撃がどんどん出てくるから、継続的に学べるのは大事だね。でも、何か弱点とかはないの？

弱点としては、まだ実験が限られたデータセットでしか行われてないことかな。実際の多様なスマートコントラクトにどれだけ対応できるかは、もっと検証が必要だと思う。

なるほどね。でも、この研究が進めば、スマートコントラクトのセキュリティがもっと良くなるかもね。

そうだね。ただ、まだまだ研究段階だから、実用化には時間がかかるかもしれないけど。

でも、もしこれが完成したら、私もスマートコントラクトを書くときに安心できるね。でも、私が書いたらバグだらけで、AIもお手上げかもね！

それは確かに、AIでも直せないかもしれないな。

The post スマートコントラクト脆弱性検出の継続学習フレームワーク：3段階パイプラインの実装解説 first appeared on 亜美と智也のAI論文解説.

解説

ねえ智也くん、この『CORSA』っていう論文のタイトル、なんだか強そうだね！コルサ……イタリアのスポーツカーの名前かな？

車じゃないよ。これはAIの知識を新しく書き換えるための、新しい学習フレームワークの名前だ。正確には『衝突解決と鋭敏さを考慮した最小化』っていう意味なんだけど……。

うわ、漢字ばっかりで頭が痛くなってきた……。要するに、AIに新しいことを教えるのが上手になるってこと？

まあ、簡単に言えばそうだね。今のLLMって、一度学習した後に「実はAmazonのCEOはベゾスじゃなくてジャシーだよ」みたいに新しい情報を教えようとすると、古い知識と混ざって混乱したり、ちょっと言い方を変えられると答えられなくなったりするんだ。それを解決するのがこの研究の目的だよ。

あー、わかる！私も新しいパスワードを覚えたはずなのに、ついつい古い方を入力しちゃうことあるもん。AIも「ど忘れ」とか「勘違い」をするんだね。

そう、それを「知識の競合」って呼ぶんだ。あと、何度も新しいことを教え続けると、全然関係ない別の知識まで忘れちゃう「致命的忘却」っていう問題もあって、これが結構厄介なんだよ。

致命的忘却……名前からして怖すぎる！それで、このCORSAちゃんはどうやってそれを解決するの？

主に2つの工夫があるんだ。1つ目は『DPO（直接選好最適化）』っていう技術を使って、古い知識をわざと「嫌い」にさせて、新しい知識を「好き」にさせること。これで新旧の知識をはっきり分離するんだ。

なるほど、古い彼氏のことは忘れて、新しい彼氏に集中するってことだね！

……例えはともかく、考え方は近いかな。2つ目は『SAM（鋭敏さ抑制最小化）』っていう手法だ。これは、学習の「地形」を平坦にする技術なんだよ。地形が急だと、ちょっと場所がズレるだけで崖から落ちるみたいに性能が下がるけど、平坦なら多少言い方が変わっても正解にたどり着けるようになる。

地形？AIの中に山とか谷があるの？

これは「損失関数」っていう、AIの「間違い具合」を表すグラフのことだよ。このグラフの形をなだらかにすることで、言い換え表現にも強くなるし、何度も更新しても壊れにくい安定したモデルになるんだ。ちなみに、この研究ではLoRAっていう、モデルの一部だけを効率よく書き換える手法をベースに使っているよ。

へぇ〜、賢いね！それで、実際にやってみたらどうだったの？

結果はかなり良くて、普通のLoRAを使うより汎用性が12%以上も上がったんだ。他の有名なモデル編集手法と比べても10%くらい高い。しかも、何度も知識を更新した時の「忘れにくさ」も、従来より27%以上改善されたんだよ。

27%も！それはすごいね。これがあれば、AIがどんどん物知りになっていくってこと？

そうだね。ニュースとか新しい事実をリアルタイムでAIに教え込むのにすごく役立つはずだ。プログラミングのコードを修正する実験でも効果が出ていたから、いろんな分野に応用できる可能性があるよ。

未来のAIは、何を聞いても「それ、さっきニュースで見たよ！」って答えてくれるようになるのかな。楽しみ！

ただ、まだ課題もある。今回は特定の事実を書き換えるのがメインだけど、もっと複雑な推論が必要な知識や、膨大な数の更新を同時に行う場合にどうなるかは、これからの研究課題だね。

そっかぁ。じゃあ、私のこの「天然ボケ」な性格も、CORSAで書き換えたらシャキッとするかな？

それは知識の更新じゃなくて、人格の再構築が必要だから無理だよ。諦めてそのままの亜美さんでいてよ。

要点

• LLMの知識を効率的に更新する新しいフレームワーク「CORSA」を提案。既存の手法が抱えていた「知識の競合」「汎用性の低さ」「複数回更新時の不安定さ」という3つの課題を同時に解決することを目指している。
• 「衝突解決（Conflict-Resolving）」としてDPO（直接選好最適化）を活用し、古い知識を抑制しながら新しい知識を優先的に学習させることで、モデル内部での情報の混乱を防ぐ。
• 「鋭敏さの抑制（Sharpness-Aware Minimization; SAM）」を導入し、損失関数の形状を平坦にすることで、入力の言い換えに対する汎用性を高め、連続的な更新を行っても性能が劣化しにくい安定性を実現した。
• 実験の結果、LoRAや既存のモデル編集手法と比較して、知識の汎用性が約10〜12%向上し、無関係な知識を忘れてしまう「致命的忘却」も大幅に抑制されることが確認された。また、プログラミングコードの知識更新にも有効であることが示された。

The post AIの「ど忘れ」と「勘違い」を防ぐ！最新の知識更新技術CORSAの秘密 first appeared on 亜美と智也のAI論文解説.

解説

智也くん！この『Just-In-Time Reinforcement Learning』って論文、タイトルがかっこいいね！「ジャストインタイム」って、工場の在庫管理か何か？

いや、これはAIエージェントが「その場」で学習するための新しい手法のことだよ。亜美さん、AIって一度作られたら、その後は中身が固定されちゃうって知ってた？

えっ、そうなの？スマホのアプリみたいに、勝手にどんどん賢くなっていくんだと思ってた！

普通は「重み」っていうパラメータを更新しない限り、新しいことは学べないんだ。でも、その更新には莫大な計算コストがかかるし、新しいことを覚えると古いことを忘れちゃう「破滅的忘却」っていう問題もあるんだよ。

破滅的忘却……名前は強そうだけど、困るやつだね。じゃあ、この論文はどうやって解決してるの？

このJitRLは、重みを一切変えないんだ。代わりに、過去の経験を「メモリ」に保存しておいて、何か行動する直前にそのメモリを読み返す。で、自分の出そうとしている言葉のスコアをその場で微調整するんだよ。

えーっと、つまり「テスト中にこっそり過去の失敗ノートを見て、答えを書き換える」みたいな感じ？

例えは悪いけど、仕組みとしては近いね。具体的には、今の状況に似た過去のデータを検索して、どの行動がどれくらい成功に繋がったかを示す「アドバンテージ」を計算するんだ。その数値を、LLMが次に出そうとしている言葉の確率の素、つまり「ロジット」に足してあげるんだよ。

ロジットに足す……？それで本当に上手くいくの？

そこがこの論文の凄いところで、この「ロジットにアドバンテージを足す」っていう単純なルールが、実は数学的に最も効率的な学習方法（KL制約付き最適化）の正解だってことを証明したんだ。

数学的に証明されてるなら安心だね！で、実際にやってみたらどうだったの？

Webサイトを操作するWebArenaや、テキストゲームのJerichoで実験したんだけど、めちゃくちゃ高いコストをかけて再学習させたモデルよりも良い成績が出たんだ。しかも、コストは30分の1以下だよ。

30分の1！？お財布に優しすぎる！これなら、どんなAIでも使いながらどんどん賢くなれるね。

そうだね。ただ、課題もある。過去の経験をどうやってコンパクトにまとめて検索しやすくするかとか、メモリが巨大になった時にどう管理するかとかね。これからは、もっと複雑な環境でどう動くかが研究の焦点になると思うよ。

なるほどねー。私もJitRLを使って、智也くんの説教が始まりそうな時に「逃げる」っていう行動のアドバンテージを爆上げして、ロジットを書き換えちゃおうかな！

そんなことに使うな。あと、君の場合はまずメモリに「反省」のデータを貯めるところから始めろよ。

要点

• LLMエージェントがデプロイ後に重みを更新することなく、継続的に学習できるフレームワーク「JitRL（Just-In-Time Reinforcement Learning）」を提案。
• 過去の経験（状態、行動、報酬）を動的なメモリに保存し、推論時に類似した経験を検索して行動の「アドバンテージ（利得）」を推定する。
• 推定されたアドバンテージを用いて、LLMの出力ロジットを直接修正する手法を採用。これがKL制約付きポリシー最適化の閉形式解であることを理論的に証明した。
• WebArenaやJerichoといったベンチマークで、従来の学習が必要な手法（WebRLなど）を上回る性能を達成しつつ、コストを30倍以上削減した。
• モデルの重みを変更しないため、従来の強化学習で問題となる「破滅的忘却」を回避でき、効率的かつスケーラブルな継続学習が可能になる。

The post もう勉強し直さなくてOK？AIがその場で賢くなる魔法の技術『JitRL』が凄すぎる！ first appeared on 亜美と智也のAI論文解説.

解説

ねえねえ智也くん！この論文のタイトル、『ハードな書き込みを超えて』だって。なんかSF映画みたいでかっこよくない？

ああ、それはLLMの知識を書き換える『モデル編集』についての論文だね。SFじゃなくて、現実のAI運用でめちゃくちゃ重要な技術だよ。

モデル編集？AIに新しいことを教えるのって、普通に勉強させるのとは違うの？

普通は『再学習』をするけど、それには膨大な時間と計算資源が必要なんだ。だから、特定の知識だけをピンポイントで修正したり追加したりするのが『モデル編集』。でも、これを何度も繰り返すと、AIが壊れちゃうっていう問題があるんだよ。

えっ、AIが壊れるの！？頭がパンクしちゃうってこと？

そう。新しい知識を無理やり書き込む『ハード・ライト』だと、昔覚えたことを忘れちゃう。逆に、昔の知識を絶対守る『ハード保存』だと、新しいことが覚えられなくなったり、全体のバランスが崩れて推論ができなくなったりするんだ。これを『可塑性と安定性のジレンマ』って言うんだよ。

なるほどねー。頑固すぎてもダメだし、忘れっぽすぎてもダメなんだ。人間みたい！じゃあ、この論文はどうやって解決したの？

そこで『RLSEdit』の出番だ。これは『ソフトな制約』を使うんだよ。新しい知識、元のモデルの重み、そして大事な基礎知識の3つのバランスを、数学的にちょうどいい塩梅で調整するんだ。

ソフトな制約……。マシュマロみたいに柔らかく受け止める感じかな？

……例えはともかく、仕組みとしては『再帰最小二乗法（RLS）』っていう手法を使っている。Woodburyの恒等式っていう数学のテクニックを使って、過去の編集がどれだけ増えても、1回あたりの計算時間が変わらないように工夫されているんだ。だから、何千回、何万回と編集を続けても大丈夫なんだよ。

1万回！？それってすごいの？

すごいよ。これまでの手法だと、数百回も編集すればAIの性能がガタ落ちしてたんだ。でもRLSEditは、Llama-3とかの最新モデルで1万回編集しても、昔の知識をちゃんと覚えてるし、数学のパズルを解くような汎用的な能力もほとんど落ちなかったんだ。

へぇー！じゃあ、毎日ニュースが変わっても、そのたびにAIを賢くし続けられるってことだね！

その通り。情報の更新が激しい分野でも、AIを常に最新の状態に保てるようになる。これがこの研究の大きな意義だね。将来的には、もっと複雑なルールや構造化されていない知識も、この方法でどんどん追加できるようになるかもしれない。

でも、弱点とかはないの？完璧すぎて怪しいなー。

鋭いね。今はまだ、特定の層のパラメータを書き換える手法がメインだから、モデル全体の深い理解をどう維持するかとか、もっと複雑な推論への影響については、まだ研究の余地がある。これからは、もっと多様な知識の形に対応していく必要があるだろうね。

ふふん、なるほどね！私もRLSEditで、智也くんに怒られた記憶だけを『ソフトに』消去して、楽しい思い出だけに書き換えちゃおうかな！

それは『モデル編集』じゃなくて、ただの『現実逃避』だろ。反省して次に活かせよ。

要点

• LLMの知識を逐次的に更新する「継続的編集（Lifelong Editing）」において、1万回以上の編集に耐える新手法RLSEditを提案。
• 従来の「強制的な書き換え（Hard Writes）」や「厳格な保存（Hard Preservation）」のジレンマを、誤差を最小化する「ソフトな制約」によって解決。
• Woodburyの恒等式を活用した再帰最小二乗法（RLS）により、過去の編集履歴が増えても計算コストが一定で済む効率的なアルゴリズムを実現。
• Llama-3やQwen2.5を用いた実験で、過去の編集内容を忘れず、かつ推論やコーディングなどの汎用的な能力も維持できることを証明。

The post AIの物忘れを防げ！1万回の知識更新でも壊れない新技術「RLSEdit」の秘密 first appeared on 亜美と智也のAI論文解説.

解説

ねえねえ智也くん！この「ELLA」っていう論文のタイトル、女の子の名前みたいで可愛いね！何かのアイドルの話？

いや、全然違う。これはLLMが新しいことを次々に学んでも、昔覚えたことを忘れないようにするための「継続学習」っていう技術の研究だよ。

えっ、AIって物忘れするの？あんなに頭いいのに？

そうなんだ。新しいデータで追加学習（ファインチューニング）をすると、前の知識を上書きしちゃうんだよね。これを「破滅的忘却」って呼ぶんだ。

破滅的……！名前が怖すぎるよ！私のテスト前の暗記みたいだね。新しい英単語を覚えると、昨日覚えた歴史の年号が消えちゃう感じ？

例えは合ってるけど、AIの場合はそれがもっと深刻なんだ。これまでの対策だと、過去のデータを全部保存しておいて学び直すとか、過去に使った回路をガチガチに固めて一切触らせないとか、極端な方法が多かったんだよ。

それだとデータが多すぎてパンクしちゃうし、回路を固めたら新しいことが覚えにくくなりそうだね。

その通り。そこでこのELLAが提案したのが「選択的なサブスペース相関抑制」っていう方法なんだ。簡単に言うと、過去の学習で「ここが一番大事！」ってなった重要な方向だけを避けて、あまり使われていない隙間を賢く再利用するんだよ。

へぇー！「大事なところは触らないけど、空いてるスペースは自由に使っていいよ」ってこと？

そう。専門的には「異方性収縮（アニソトロピック・シュリンケージ）」っていう数学的な仕組みを使っている。過去のタスクでエネルギーが高かった方向への更新には強いペナルティをかけて、そうじゃない方向は自由に動かせるように調整するんだ。これを「正則化」っていう手法で実現しているよ。

難しい言葉が出てきたけど、要するに「空気を読んで更新する」ってことかな？

まあ、そんな感じだね。しかも、このELLAのすごいところは、タスクが10個になっても100個になっても、計算の手間や必要なメモリが全然増えないんだ。過去の更新を一つの行列にまとめて管理するからね。

えっ、それってすごいの？

めちゃくちゃすごいよ。実験では、他の最新手法と比べてメモリの使用量が35分の1になったのに、精度は最大で9.6%も上がったんだ。しかも、まだ習っていない未知のタスクに対しても、応用力が上がるっていう結果が出ている。

35分の1！？お部屋の掃除をして、タンスの隙間に全部荷物が収まっちゃったみたいな衝撃だね！

……例えは微妙だけど、効率の良さは伝わったみたいだね。この技術があれば、プライバシーの関係で過去のデータを保存できない場合でも、AIをずっと賢くし続けることができるんだ。

じゃあ、将来はスマホの中のAIが、私との会話をずっと忘れずに、どんどん私好みに成長してくれるってこと？

理論上はそうだね。ただ、まだ課題もある。今回は特定の形式の学習（LoRA）がベースだし、もっと複雑な知識が絡み合った時にどうなるかは、これからの研究次第かな。

なるほどねー。私もELLAを脳にインストールして、智也くんに借りたお金のことも忘れないようにしなきゃ！

それは「破滅的忘却」じゃなくて、ただの「踏み倒し」だろ。早く返せよ。

要点

• LLMが新しいタスクを順番に学習する際、過去の知識を忘れてしまう「破滅的忘却」を防ぐ新手法「ELLA」を提案。
• 従来の「過去の知識と一切重ならないようにする」という厳しい制約ではなく、過去の重要な方向性だけを避けて、重要度の低い部分は再利用する「選択的なサブスペース相関抑制」を採用。
• 計算量やメモリ使用量がタスクの数が増えても一定であり、非常に効率的（メモリ使用量は従来比で35分の1）。
• 既存のLoRAなどの手法と組み合わせて使用でき、精度が最大9.6%向上。さらに、未知のタスクに対する汎化性能も高まることが確認された。

The post AIの物忘れを解決！賢く学び続ける新技術「ELLA」が凄すぎる件 first appeared on 亜美と智也のAI論文解説.

ねえねえ、智也くん！これ、『Memory in the Age of AI Agents: A Survey』って論文、すごく面白そうなタイトルだね！AIエージェントの記憶って、なんだか人間みたいでワクワクする！

ああ、あのサーベイ論文か。確かに今、ホットなトピックだね。AIエージェントが継続的に学習し、適応していくためには、記憶の仕組みがすごく重要になってきているんだ。

え？AIエージェントって、会話の履歴を覚えてるだけじゃないの？

それが、もっと複雑で深いんだ。この論文が言ってるのは、研究が爆発的に増えて、『記憶』って言葉の意味がバラバラになってきちゃってるってこと。長期記憶とか短期記憶とか、そういう単純な分け方じゃ、今の多様な記憶システムを説明しきれなくなってるんだよ。

ふーん…じゃあ、この論文はそれを整理しようってこと？

そう。この論文は、記憶を3つの切り口から整理する新しい分類法を提案してる。まず『形式』。記憶がどこに、どういう形で保存されるかだ。例えば、テキストとして外部データベースに保存する『トークンレベル記憶』、AIモデルの内部パラメータ自体を更新して覚えさせる『パラメトリック記憶』、中間的な表現で保持する『潜在記憶』がある。

待って待って！パラメトリック記憶って、AIの脳みそ自体が変わるってこと？すごい！でも、それって一度覚えたら忘れられないんじゃない？

鋭いね。その通りで、パラメトリック記憶は柔軟性に欠ける面もある。だから、用途によって使い分けたり、組み合わせたりする必要があるんだ。次が『機能』。記憶が何のために使われるかだ。『事実記憶』は単なる知識や事実を記録する。『経験記憶』は、過去にどう問題を解決したかという手順やノウハウを蓄積して、どんどん賢くなるために使う。『作業記憶』は、今やってる一つのタスクの中で、一時的に情報を保持するためのメモ帳みたいなものだ。

なるほど！経験記憶って、エージェントがどんどん成長していくための記憶なんだね！で、3つ目は？

3つ目は『動的性質』。記憶が時間とともにどう変化するか、そのライフサイクルを見るんだ。どうやって記憶が作られ（形成）、どう整理・更新され（進化）、必要な時にどう引き出されるか（検索）。この流れを理解することが、効率的な記憶システムを作る鍵なんだ。

すごく体系的に整理されてるんだね！で、この分類を使って、実際の研究はどう評価してるの？何か実験結果とかある？

この論文自体は個別の実験結果を報告するものじゃなくて、たくさんの先行研究をこの新しい分類法でマッピングして、研究の地図を作ったようなものだ。その上で、将来の重要な研究方向をいくつか挙げてる。例えば、記憶の設計そのものを自動化する研究とか、強化学習と組み合わせてより適応的な記憶を作るとか、画像や音声も含む『マルチモーダル記憶』、複数のエージェントで記憶を共有する仕組み、あと記憶が嘘をついたり偏ったりしないかという信頼性の問題だね。

へえ〜！記憶を共有するエージェントたち…なんだか社会みたいだね。でも、そうなると、この研究が進むと何がすごいの？

大きな意義は二つあると思う。第一に、バラバラだった研究に共通の言葉と地図を与えて、分野全体の発展を加速させること。第二に、もっと根本的なことだけど、記憶を単なる付属品じゃなくて、AIエージェントを設計する時の『核となる要素』として捉え直すきっかけを作ったことだ。記憶の仕組みをどう設計するかで、エージェントの能力や性格が決まってくるって考え方だね。

AIの性格が記憶で決まる…！すごく哲学的だね。でも、今のところ課題はあるの？

もちろんある。例えば、どの記憶を保持し、どの記憶を忘れるかという『選択』の基準はまだ難しい。あと、異なる形式の記憶をどう連携させるか、進化し続ける記憶の一貫性をどう保つか。それに、さっきも言った信頼性やプライバシーの問題は、実用化には絶対に避けられない大きな壁だ。

なるほど…。でも、記憶を持ったAIエージェントがもっと身近になったら、パーソナルアシスタントがどんどん僕の好みを覚えてくれたり、先生ロボットが生徒一人ひとりの苦手を記憶して教えてくれたりするんだね！楽しみ！

そうだね。その未来を実現するための、とても重要な基礎研究がこの論文でまとめられているってわけだ。…って、亜美さん、なんだか急に理解が深まったみたいだけど、大丈夫？

えへへ、智也くんがわかりやすく説明してくれたからね！私もこの論文を読んで、AIエージェントに私の好きなアイドルのこと全部覚えさせようかな！

…いや、まずはもっと生産的なことに記憶を使ってほしいな。それに、その前に君自身の記憶力の方をなんとかした方がいいんじゃない？先週の課題、また忘れてたろ？

要点

AIエージェントの『記憶』は、長期的な推論、継続的な適応、複雑な環境との効果的な相互作用を支える中核的な能力である。

近年のエージェント記憶研究は急速に拡大・断片化しており、従来の長期/短期記憶といった分類では捉えきれない多様性と動的性質を持つ。

本サーベイ論文は、エージェント記憶を『形式（Forms）』、『機能（Functions）』、『動的性質（Dynamics）』という3つの統一的なレンズを通して包括的に整理する新しい分類体系を提案している。

『形式』の観点では、トークンレベル記憶、パラメトリック記憶、潜在記憶という3つの主要な実現形態を特定している。

『機能』の観点では、事実記憶、経験記憶、作業記憶という、時間軸よりも細かい粒度の分類を提案している。

『動的性質』の観点では、記憶がどのように形成・進化・検索されるかというライフサイクルを分析している。

実証研究と実用的開発を支援するため、代表的なベンチマークとオープンソースの記憶フレームワークをまとめている。

将来の研究フロンティアとして、自動化志向の記憶設計、強化学習との統合、マルチモーダル記憶、マルチエージェントシステムのための共有記憶、信頼性の問題などを展望している。

記憶を、将来のエージェント知能を設計する際の第一級の構成要素として再考するための概念的基盤を提供することを目指している。

参考論文: http://arxiv.org/abs/2512.13564v1

The post AIはどうやって「経験」を記憶し、成長するのか？〜人間らしい知能への第一歩を解き明かす最新研究 first appeared on 亜美と智也のAI論文解説.

ねえ、トモヤ！この論文のタイトル「Beyond Prompts: Dynamic Conversational Benchmarking of Large Language Models」って面白そうだね！内容を教えてくれない？

もちろん！この論文は、会話エージェントの性能を評価する新しい方法を提案しているんだ。従来の方法は単一のタスクに焦点を当てていたけど、実際の会話はもっと複雑だからね。

へぇ、どういう風に複雑なの？

この新しい方法では、ユーザーとエージェントの間で長い会話をシミュレートして、複数のタスクを同時に行うんだ。タスクを交互に切り替えることで、エージェントの長期記憶や継続学習の能力を評価できるんだよ。

長期記憶って何？

長期記憶は、エージェントが過去の情報をどれだけうまく覚えているか、そしてそれを使って新しい情報と統合できるかを指すんだ。これができると、より自然な会話ができるようになるんだよ。

なるほど！それで、実際にどんな実験をしたの？

実験では、従来のベンチマークと新しい方法を比較したんだ。結果として、LLMは単一のタスクでは良い性能を示したけど、タスクを交互に切り替えるとパフォーマンスが落ちることがわかったんだ。

それって、実際の会話に近いってこと？

そうだね。実際の会話では、いろんな話題が同時に出てくるから、エージェントがそれにうまく対応できるかが重要なんだ。この研究は、今後のエージェントの開発にとっても大きな意味があるよ。

未来の会話エージェントが楽しみだね！でも、何か課題はあるの？

うん、課題もあるよ。例えば、エージェントが長期記憶をうまく活用できない場合や、情報の統合が難しい場合があるんだ。今後はその辺りを改善する研究が必要だね。

じゃあ、トモヤも長期記憶を使って、私の好きな色を覚えておいてね！

それは難しいかもね。君の好きな色が変わるかもしれないから。

要点

会話エージェントの性能を評価するための動的ベンチマークシステムを提案している。

このシステムは、ユーザーとエージェントの間で長い会話をシミュレートし、複数のタスクを同時に行う。

タスクを交互に切り替えることで、エージェントの長期記憶、継続学習、情報統合能力を評価する。

従来のベンチマークでは、単一のタスクに対するエージェントの性能しか評価できていなかったが、この新しい方法ではより現実的な対話を模擬できる。

短いコンテキストのLLMに長期記憶システムを追加することで、より良い性能を発揮することが示された。

参考論文: http://arxiv.org/abs/2409.20222v1

The post 会話エージェントの新しい評価方法！ first appeared on 亜美と智也のAI論文解説.

ねえ、智也くん！この「TaSL」っていう論文、面白そうだね！内容教えてくれない？

もちろん！この論文は、継続学習という分野に関するもので、特に大規模言語モデルが新しいタスクを学ぶときに以前の知識を失わないようにする方法について書かれているんだ。

カタストロフィックフォゲッティングって何？

それは、新しいタスクを学ぶときに、以前に学んだことを忘れてしまう現象のことだよ。これが大きな問題なんだ。

なるほど！じゃあ、TaSLはどうやってそれを解決するの？

TaSLは、モデルを「スキルユニット」に分けて、それぞれのユニットの重要性を新しいタスクに対して評価するんだ。これにより、以前のタスクの知識を保持しつつ、新しいタスクに適応できるようにするんだよ。

スキルユニットって何？

スキルユニットは、モデルのパラメータの依存関係に基づいて分けられた部分で、より細かく制御できるようにするためのものだよ。

評価実験はどうだったの？

実験では、TaSLが他の手法よりも優れたパフォーマンスを示したんだ。特に、以前の知識を保持しながら新しいタスクでも高い精度を達成したよ。

すごいね！この研究の意義は何だと思う？

この研究は、AIがより柔軟に新しい情報を学びつつ、以前の知識を失わないようにするための重要なステップだと思う。将来的には、さまざまな分野での応用が期待できるね。

でも、まだ課題もあるんでしょ？

そうだね。例えば、スキルユニットの分け方や、知識の移転の仕方にはまだ改善の余地がある。今後の研究が必要だね。

じゃあ、智也くんもスキルユニットに分けられちゃうの？

いや、俺は一つのユニットで十分だよ。

要点

継続学習（CL）は、動的な現実世界の環境に大規模言語モデル（LLM）を適応させるために重要である。

CLの主要な課題は、カタストロフィックフォゲッティング（新しいタスクを学ぶ際に以前の知識を失うこと）である。

従来の手法は、タスクごとに特定の知識を獲得するために複数のパラメータ効率的なファインチューニング（PEFT）ブロックを使用しているが、効率が悪く、タスク間の知識移転の可能性を見落としている。

新しいフレームワーク「Task Skill Localization and Consolidation（TaSL）」は、メモリリプレイに依存せずに知識移転を強化する。

TaSLは、モデルをパラメータ依存性に基づいて「スキルユニット」に分割し、新しいタスクに対するスキルユニットの重要性分布を特定する。

重要性分布を以前のタスクと比較することで、タスク特有の知識を保持しつつ、双方向の知識移転を促進する。

TaSLは、以前の知識を保持しつつ新しいタスクで優れたパフォーマンスを発揮する。

この手法は、一般的なモデルに適用可能で、LoRAなどのPEFT手法にカスタマイズできる。

将来的には、メモリリプレイとの統合により、さらなる性能向上が期待される。

参考論文: http://arxiv.org/abs/2408.05200v1

The post AIの新しい学び方！TaSLの魅力とは？ first appeared on 亜美と智也のAI論文解説.

ねえ、智也くん！この論文のタイトル『CLIP with Generative Latent Replay: a Strong Baseline for Incremental Learning』って面白そうだね！内容教えて！

ああ、これは継続学習に関する論文だよ。CLIPみたいな大きなモデルを使って、モデルが新しいタスクに適応する方法を探っているんだ。

継続学習って何？

継続学習は、モデルがデータを逐次的に学習していく方法だよ。実際の環境では、データが一度に全部来るわけじゃないからね。

なるほど！でも、どうして新しいドメインに適応するのが難しいの？

従来の手法では、モデルが新しい情報を学ぶと、以前の情報を忘れてしまうことがあるんだ。これを『カタストロフィックフォゲッティング』って呼ぶよ。

カタストロフィックフォゲッティング…難しい言葉だね！

そうだね。でも、この論文では、生成的リプレイを使って、モデルが新しいタスクに適応しながらも、以前の知識を保持できるようにしているんだ。

生成的リプレイって何？

生成的リプレイは、過去のデータを生成して再利用する方法だよ。これにより、モデルは新しいタスクを学びながらも、以前のタスクの情報を思い出すことができるんだ。

それはすごいね！実験結果はどうだったの？

実験では、提案した手法が新しいタスクに適応しつつ、ゼロショット能力も向上することが示されたよ。つまり、以前の知識を失わずに新しいことを学べるってことだね。

それってすごく重要だね！将来的にはどんな応用が考えられるの？

例えば、ロボットが新しい環境で学習する際に、以前の経験を活かしながら新しいタスクを学ぶことができるようになるかもしれないね。

でも、何か課題はないの？

もちろん。まだいくつかの限界があって、特に新しいドメインが大きく異なる場合には、うまくいかないこともあるんだ。今後の研究が必要だね。

智也くん、私も新しいドメインに適応できるようになりたいな！

それは難しいかもしれないけど、頑張ればできるかもね。

要点

CLIPなどの大規模な事前学習モデルを用いた継続学習の重要性。

従来の手法は、モデルが新しいドメインに適応する際に、ゼロショット能力を維持するのが難しい。

新しいアプローチとして、生成的リプレイを利用した継続的生成トレーニングを提案。

新しい評価指標を導入し、ゼロショット能力を測定。

さまざまなドメインでの実験を通じて、新しい手法の効果を実証。

参考論文: http://arxiv.org/abs/2407.15793v1

The post 新しいタスクに適応するAIの秘密！ first appeared on 亜美と智也のAI論文解説.