TL;DR
GeoWorldは、道路・天気・店舗状態・イベントなどがエージェントとは独立に変化する地理環境プラットフォームです。LiveGeoはその上で、静的/動的の対応タスクによりLLMエージェントの情報取得・証拠検証・再計画を評価します。7カテゴリ・1,237タスク・6都市で9モデルを評価し、原子タスクでも最高38.0% pass@1、動的設定では静的比で70.3%/79.3%低下したと報告されています。
既存手法との違い
原論文は新しいモデル手法の性能比較ではなく、既存の地理エージェント向けベンチマークとの評価軸の比較と、9代表モデルの評価を行っています。Table 1ではMapEval、CityBench、USTBench、Travel Planner、TravelBench、MobilityBench、TripTideと比較し、既存評価が固定された地理状態や特定の都市プロセス・事前定義された撹乱、最終タスク完了を中心に測るのに対し、LiveGeoは能力構造化された原子/複合/動的タスク、変化の関連性、時間経過後の意思決定の妥当性を測る点が異なると説明されています。
使える条件
都市地理に関する意思決定タスクで、LLMエージェントがツールを通じて場所検索、経路・交通、天気、店舗状態、イベントなどを問い合わせる前提です。原論文のGeoWorldは上海、東京、シンガポール、ロンドン、ニューヨーク、ケープタウンの6都市、88リージョン、1,376 POI、107,372件のキャッシュ経路を持ち、統一的なReActベースのエージェント骨組みとツールアクセスで9モデルを評価しています。静的設定と、世界変化を含む動的設定の両方を用います。都市以外の領域、別のエージェント骨組み、別言語での性能は提示本文からは確認できません。
限界と未検証の範囲
評価範囲は現行GeoWorldの6都市・7タスクカテゴリ・9モデルに限られ、実世界のあらゆる地理的複雑さを網羅するものではありません。動的評価も用意された世界変化に対するもので、未知の変化や長期運用での信頼性は提示本文からは確認できません。結果は統一ReAct骨組み下の評価であり、他のツール設計・プロンプト・モデル構成への一般化は不明です。また、強い静的性能が動的な信頼性を保証しないこと、証拠ハルシネーションと変化監視失敗が主要なボトルネックであることが示されています。
図1: 提案手法の概要(本記事による図解)
解説

ねえ智也、LiveGeoって何? 地理エージェントのベンチマーク?

うん。ざっくり言うと、変化し続ける地理環境でLLMエージェントの意思決定を測るベンチマーク。土台にGeoWorldって環境プラットフォームがある。

地理って、地図が固定されてるわけじゃないんだ?

そこがポイント。道路、天気、店の開閉、イベントみたいな状態が、エージェントとは独立に時間で変わる。しかも検証できる状態履歴を残す。

エージェントが動かしてないのに世界が勝手に変わるんだ。じゃあ、最初に正しい答えを出しても油断できないね。

そう。LiveGeoでは、情報を自分で取りに行って、前の判断を支えた証拠がまだ有効か確認して、必要なら計画を変えることを求める。

なるほど。静的タスクと動的タスクが対応してるってTL;DRにあったけど?

同じタスクを、世界が変わらない静的設定と、世界変化が起きる動的設定で比べられる。動的はTask-Only DynamicsとShared Dynamicsの設定がある。

タスクの種類は?

7カテゴリ。原子タスクがGrounding、Discovery、Mobility Planningで、複合タスクがMulti-Entity、Long-Horizon、Safety-Aware、Region-Aware。原子は局所的な妥当性、複合は複数制約を同時に満たす判断を見る。

段階的でわかりやすい。で、評価はどうなったの?

かなり厳しい。1,237タスク、6都市、9モデルを統一ReActベースの骨組みとツールアクセスで評価して、原子タスクでも最高38.0% pass@1。

38%!? 場所当てとか発見系でもそんなに低いの?

うん。複合タスクはさらに難しくて、個々のツールを呼ぶ力より、複数の地理制約を同時に満たすのがボトルネック。

動的設定はどれくらい落ちるの?

静的と比べて、Task-Only Dynamicsで70.3%低下、Shared Dynamicsで79.3%低下。モデルやタスクカテゴリをまたいで一貫してる。

それはつらい。原因は何だったの?

静的ではEvidence Hallucination、つまり根拠のない地理的主張。動的ではChange Monitoring Failure、必要な世界変化の後に更新情報を取りに行けない失敗が主要なボトルネックとして挙げられてる。

証拠と判断をつなぐのと、変化を監視するのが弱いんだね。

そう。静的に強いから動的にも信頼できるとは限らない、って結果も重要。

既存のベンチマークとは何が違うの?

Table 1ではMapEval、CityBench、USTBench、Travel Planner、TravelBench、MobilityBench、TripTideと比較してる。既存は固定状態や特定の都市プロセス、事前定義された撹乱、最終タスク完了を中心に測るものが多い。LiveGeoは能力構造化した原子・複合・動的タスクで、変化の関連性と時間経過後の決定妥当性も見る。

へえ。新しいモデル同士の性能比較ってわけじゃなくて、評価の切り口が違うんだ。

その通り。原論文も新しいモデル手法の比較というより、既存ベンチマークとの評価軸の比較と9モデルの評価をしてる。

意義は、変化する世界で信頼できるエージェントを作るための土台を出したこと?

うん。GeoWorldとLiveGeoを公開して、継続的に変化する地理世界で次の世代のエージェントを研究するための拡張可能な基盤にしたい、って位置づけ。

限界も知りたい。全部の地理をカバーしてるわけじゃないよね?

現行GeoWorldは6都市、88リージョン、1,376 POI、107,372件のキャッシュ経路。評価は7カテゴリ、1,237タスク、9モデルで、統一ReActベースの骨組みでの評価。他の骨組みやプロンプト、別言語、都市以外、未知の変化や長期運用への一般化は提示本文からは確認できない。

動的評価も、用意された世界変化に対するものだもんね。

そう。あと適用条件は、都市地理の意思決定で、LLMエージェントが場所検索、経路・交通、天気、店舗状態、イベントなどをツールで問い合わせる前提。静的と動的の両方を使う。

じゃあ私、変化に強いエージェント目指して、まず予定変更に強くなりたいな。今日のランチとか。

それは地理エージェントじゃなくて、ただの優柔不断だろ。