AIの記憶力を本気で測る新基準「AMA-Bench」が、自律エージェントの未来を切り開く

ああ、その論文か。確かに重要な研究だよ。簡単に言うと、今までのAIエージェントの「記憶力」のテストは、実際の仕事とずれていたって話なんだ。

今までの評価は、ほとんどが人間との会話を覚えているかどうか、みたいなテストばかりだったんだ。でも、実際にAIエージェントが仕事をする場面、例えばウェブサイトを操作したり、コードを書いたりするときは、HTMLやJSON、プログラムのコードみたいな機械が生成したデータの流れを記憶しなきゃいけない。

そう。それに、エージェントの行動には因果関係がある。『Aのボタンをクリックしたから、Bの画面が表示された』みたいな繋がりだ。でも、会話の流れはもっと自由だろ？この「因果関係」も記憶には超重要なんだけど、今までのテストではほとんど考慮されてなかった。

まず、新しい評価基準「AMA-Bench」を作った。これには2種類のデータがある。1つは、ウェブ操作やプログラミングなど、現実の6つの分野から集めたエージェントの行動記録と、専門家が作った質疑応答セット。もう1つは、プログラムで自動生成した、いくらでも長くできる合成の行動記録と、ルールベースの質疑応答セットだ。

現実のデータだけだと、どれだけ長い記憶が必要なタスクでもテストできるか分からないだろ？合成データを使えば、記憶の長さや複雑さを自由に調節して、記憶システムの限界をきちんと測れるんだ。

結果は厳しかった。最新の高性能モデルでも72%くらいの正解率で、既存の記憶システムはそれより性能が低いものが多かった。原因は主に2つ。1つは、記憶を要約したり圧縮するときに、大事な情報が失われてしまう「損失のある圧縮」。もう1つは、単に似ている言葉で検索する「類似性ベースの検索」が、機械生成データや因果関係を理解するのに向いてないことだ。

そう。彼らは「AMA-Agent」という新しい記憶システムを提案した。中核は2つの仕組みだ。1つは「因果関係グラフ」。行動と観察の因果の繋がりをグラフ構造で残すことで、情報の完全性を保つ。もう1つは「ツール拡張検索」。グラフをたどって検索する方法と、キーワードで検索する方法を組み合わせて、より正確に必要な記憶を引っ張り出せるようにした。

上がった。AMA-Agentは、AMA-Benchで平均57.22%の正解率を達成して、既存で最強だった記憶システムを11.16%も上回った。

意義は大きいよ。まず、エージェントの記憶を現実に即した形で評価する「ものさし」を初めて提供した点だ。これがなければ、記憶システムの良し悪しを正しく判断できない。将来は、もっと長期間、複雑な仕事を任せられる自律エージェントの開発が加速するはずだ。例えば、何日もかけて大規模なソフトウェア開発を手伝ったり、仮想空間で長い冒険をしたりするエージェントが現実的になる。

もちろんある。AMA-Agentの性能も絶対的な数値としてはまだ高くないし、グラフを構築・維持するコストや、さらに多様な機械生成データへの対応も課題として挙げられている。今後は、より効率的で汎用的な記憶の構造化方法や、動的に変化する環境への適応能力が研究されていくと思う。

…その質問、人間でもまず覚えてないだろ。でも、もしAIが君の全ての操作を記録して、AMA-Agentみたいなシステムで整理してたら、理論上は答えられるかもしれないな。

…その前に、まずは自分で覚えようとする努力をした方がいいんじゃないか？