AIが論文探しで大苦戦！？最新AIエージェントを救う「賢者の検索術」とは

ハーブじゃなくて、賢者を意味する『Sage』と、科学的なエージェントの評価を掛け合わせた名前だよ。これは「ディープリサーチエージェント」っていう、自分でネットや論文を調べて答えを出すAIの能力を測るための研究なんだ。

まあ、役割としては近いかな。でも、今のAI調査員には大きな弱点があることがわかったんだ。特に、たくさんの論文の中から特定の情報を探し出して、それらを組み合わせて考えるのが苦手なんだよ。

それが意外とそうでもないんだ。この論文では20万本の論文データを使ってテストしたんだけど、最新のAI検索技術を使うよりも、昔からある「BM25」っていう単語の一致を見るだけの単純な検索手法の方が30%も成績が良かったんだよ。

いい質問だね。理由は、AIエージェントが検索するときに「キーワード」を並べて検索する癖があるからなんだ。最新の検索器は文章の意味を捉えようとするんだけど、AIがキーワードばかり投げるから、かみ合わなくなっちゃうんだよ。

親近感を持ってる場合じゃないよ。そこでこの論文では、新しい解決策を提案しているんだ。それが「コーパスレベル・テスト時スケーリング」っていう手法だ。

コーパスは検索対象になるデータの集まりのこと。この手法は、検索される側の論文データに、あらかじめAIを使って「この論文のキーワードはこれだよ」とか「こんな内容だよ」っていうメタデータを付け足しておくんだ。

そう、そのイメージで合ってる。論文そのものにAIが理解しやすい「目印」をたくさん付けておくことで、AIエージェントがキーワード検索をしたときに見つけやすくしてあげるんだ。これで精度が最大8%も上がったんだよ。

その可能性はあるね。科学の発展を加速させる大きな一歩になるはずだ。ただ、まだ課題もあって、論文にメタデータを付けるのにコストがかかるし、もっと複雑な推論にはまだ限界があるんだ。

……君の場合はメタデータを付ける前に、その天然な性格をどうにかするアルゴリズムを開発したほうがいいと思うよ。