いや、そうじゃないよ。これはAIがどれくらい「人間みたいに賢いか」を、ゲームを使って正しく測ろうっていう研究なんだ。

そこが問題なんだ。今のAIのテストは、特定のルールが決まった狭い範囲のものばかりなんだよ。しかも、テストの内容がネットに公開されてるから、AIがそれを暗記しちゃう「データ汚染」の問題もある。

「人間のゲームのマルチバース」っていう考え方を使うんだ。人間が楽しむために作ったあらゆるゲームは、現実世界の複雑さを抽象化したものだよね。だから、ありとあらゆるゲームを初見でプレイできれば、それは汎用的な知能がある証拠になるってわけ。

そこで『AI GAMESTORE』の出番だよ。これは、App StoreやSteamにある人気のゲームを元にして、AIが自動で新しいゲーム環境を作り出すシステムなんだ。LLMを使ってゲームの仕組みを解析して、AIが評価しやすい形に変換するんだよ。

正確には、人間もチェックに入る「ヒューマン・イン・ザ・ループ」っていう仕組みだけどね。これで、常に新しくて多様なゲームでAIをテストできる。今回は試しに100種類のゲームを作って、最新のVLM、つまり画像も理解できるAIをテストしたんだ。

それが全然。最新のモデルでも、人間の平均スコアの10%も取れなかったんだ。特に、次に何が起こるか予想する「世界モデル」の構築や、長期的な記憶、計画を立てるのが苦手だってことが分かったよ。

まあ、人間は数分プレイするだけでコツを掴むけど、AIにはそれが難しいんだ。この研究の意義は、AIが「暗記」じゃなくて「学習」して問題を解く能力を、スケーラブルに評価できる場所を作ったことにあるんだよ。

そうだね。ただ、今のAIは1回動かすのに時間がかかりすぎるっていう課題もある。リアルタイムのゲームだと、AIが考えてる間にゲームオーバーになっちゃうからね。今後はもっと高速で、かつ人間みたいに効率よく学ぶモデルが必要になるだろうね。

それはただ遊びたいだけだろ。勉強もしろよ。

お、よく知ってるね。そう、あのガチガチに決まったメニューのことだよ。でも、あれって融通が利かなくてイライラするだろ？だから最近はLLMを使って、もっと自然に会話できるエージェントを作ろうとしてるんだ。

まさにそこが問題なんだ。LLMは柔軟だけど、ビジネス上のルール、つまりSOP（標準作業手順書）を守らせるのが難しい。この論文は、AIがちゃんとルール通りに動いているかを厳しくチェックするためのテストを作ったっていう内容だよ。

『JourneyBench（ジャーニーベンチ）』っていうんだ。カスタマーサポートのやり取りをグラフ構造にして、AIが正しいルートを通って解決までたどり着けるかを評価するんだよ。あと、UJCSっていう新しい採点方法も提案してる。

食べられないよ。User Journey Coverage Scoreの略で、単に『解決したか』だけじゃなくて、『必要な手順を全部飛ばさずにやったか』を測るスコアだね。例えば、本人確認をせずに返金しちゃったら、結果はOKでも手順としては0点になるんだ。

論文では『DPA（動的プロンプト・エージェント）』っていうやり方を推奨してる。普通のAI（SPA）は最初に全部のルールを渡されるから混乱しちゃうんだけど、DPAは『今は本人確認のステップだから、このルールだけ見てね』って、状況に合わせて指示を出し分けるんだ。

面白い結果が出てるよ。DPAを使うと、賢いけど高いGPT-4oよりも、安くて小さいGPT-4o-miniの方がルールをしっかり守れたんだ。仕組みさえしっかりしていれば、モデルの大きさは関係ないってことだね。

実際に1日6,000件以上の電話を処理してる現場でも導入されてるらしいよ。ただ、まだ課題もあって、AIが勝手にユーザーの情報を捏造しちゃう『ハルシネーション』が起きることもあるんだ。そこをどう防ぐかが今後の研究課題だね。