AIエージェントの「記憶力」を測る新基準：実世界の行動データで11%性能向上を実現

ああ、亜美さん。これはAIエージェント、つまり自律的に行動するAIの「記憶」について評価するための新しい基準を作った論文だよ。今までの評価方法には大きな問題があったんだ。

似ているけど、もっと複雑なんだ。例えば、ウェブサイトを操作して商品を探したり、コードを書いたりするAIエージェントを想像して。彼らは何百、何千もの行動と結果の連続、つまり「軌跡」を生み出す。その長い一連の経験をどう覚え、必要な時に引き出すかが重要になる。

そこがポイントだ。今までの評価は、ほとんどが人間との会話をベースにしていた。でも、実際のエージェントが扱うのは、HTMLやJSON、プログラムのコードみたいな機械が生成したデータだし、行動には因果関係がある。例えば「検索ボックスをクリックしたから、次の画面が表示された」みたいにね。そういう現実的な要素を考慮した評価基準がなかったんだ。

大きく2つの部分からなるよ。1つは、ウェブ操作やプログラミングなど、6つの実際の分野から集めたエージェントの行動記録と、専門家が作った質疑応答のセット。もう1つは、プログラムで自動生成した、どんなに長くても作れる合成の行動記録と、ルールベースの質疑応答のセットだ。これで、現実の複雑さと、自由に長さを変えられる実験環境の両方を手に入れたんだ。

結果は興味深いものだった。最先端のモデルでも72%くらいの正答率で、結構難しいんだ。そして、既存の記憶システムの多くが、単に長い文脈をそのまま読み込むベースラインよりも性能が悪くなることがわかった。

良い質問だね。原因は主に2つある。1つは、多くの記憶システムが情報を要約して圧縮する時に、重要な情報まで失ってしまう「損失のある圧縮」をしてしまうこと。もう1つは、単語の似ている度合い（類似性）だけで記憶を検索することだ。エージェントの行動には因果関係があるから、「AをしたからBが起きた」という論理的な繋がりを理解しないと、正しい記憶を引っ張り出せないんだ。

そう。この論文では「AMA-Agent」という新しい記憶システムを提案している。中核は2つの仕組みだ。1つは「因果関係グラフ」。行動と観察の因果の流れをグラフの形で残すことで、情報の完全性と論理的な依存関係を保つんだ。もう1つは「ツール拡張検索」。グラフをたどる検索と、キーワードに基づく検索を組み合わせて、より確実に必要な情報を見つけ出す。

うん。AMA-Benchでの平均正答率は57.22%で、既存で最も強力な記憶システムのベースラインを11.16%も上回った。この差は非常に大きいよ。

その通りだ。優れた評価基準を作ることで、記憶システムの本当の弱点が明らかになり、より実用的なAIエージェントの開発につながる。将来は、もっと長期間にわたって計画を立てたり、学習した経験を別のタスクに活かしたりするような、本当に賢いエージェントが作られるかもしれない。

もちろん。例えば、もっと多様な種類の機械生成データへの対応や、グラフを構築・維持するコスト、さらに長い時間スケールでの評価など、解決すべき問題は多い。でも、このAMA-Benchが基礎となって、これからどんどん研究が進んでいくはずだ。

…亜美さん、それは単に自分の記憶力の問題じゃない？