TL;DR
EFEは、コーディングエージェントがシミュレータ上の多様なロボットを制御できるかを、直接制御・コード制御・ポリシー学習の選択込みで測る統一評価フレームワークです。1,156タスク・35スイート・47ロボットを対象に、Privileged/Standard/Realtimeの設定で物理世界に近い制約を課します。Core 456タスクでは最强のGPT-6 Astra in CodexがStandardで34%。同一391タスクではPrivileged 77%に対しStandard 30%で、状態・リセット・時間制約で成功率が下がることが示されています。実機ではなくシミュレーション評価で、Realtimeは計算資源の制約から動的タスクのみが対象です。
既存手法との違い
原論文は、既存のロボティクスベンチマークが視覚運動ポリシー学習向けで入出力インタフェースが比較的固定されていること、自動プログラミング系ベンチマークは物理世界の制約を課していないことを課題として位置づけています。EFEの違いは、コーディングエージェントが直接制御・コード制御・ポリシー学習を選べること、同一タスクに対してPrivileged/Standard/Realtimeの設定で観測・リセット・時間の制約を変えられることです。直接の既存手法比較というより、8エージェント、設定間、ハーネス間の比較が中心です。原論文ではCore 456タスクでGPT-6 Astra in CodexがStandard 34%、同一391タスクではPrivileged 77%対Standard 30%と報告されています。
使える条件
対象はシミュレータ上の47ロボット、35スイート、1,156タスクです。エージェントは自然言語の指示を受け、コンテナ内のワークスペースでパッケージ導入、プログラム作成・実行、モデル学習を行えます。Standardでは固有受容感覚やRGB-D画像などのセンサ情報と行動チャンク用APIに限定され、既定ではリセット不可です。Privilegedではシミュレータの完全状態と無制限リセットを利用でき、Realtimeでは環境が停止せずに動き続けます。CPU、メモリ、GPUメモリ、ディスク、時間、トークン、リセット、ステップなどの資源制約がタスクごとに設定されます。Realtimeは計算資源の制約から現時点では動的タスクのみで評価されています。実機環境や提示外のモデル・ハーネスへの適用性は提示された本文からは確認できません。
限界と未検証の範囲
評価はシミュレーション上のロボットが対象で、実機での性能は提示された本文からは確認できません。Realtime設定は計算資源の制約から動的タスクのみに限定されています。Privileged設定はタスク集合全体に対する近似上限であり、個々のタスクの上限を保証するものではありません。評価結果は8エージェント、特定のモデル・ハーネス、核心タスク群に依存するため、他のエージェントや実運用環境へ一般化できるかは未知です。失敗段階のラベル付けは別のコーディングエージェントが行っており、その精度や偏りは提示された本文からは確認できません。
解説
ねえ智也くん、ブログで「EFE」って見たんだけど、コーディングエージェントのロボット制御を測る統一評価基盤なんだって？ そもそもなんでそんなの必要なの？
うん。論文の問題意識は、既存のロボティクスベンチマークが視覚運動ポリシー学習向けで入出力が比較的固定されてる一方、自動プログラミング系のベンチマークは物理世界の制約を課してない、ってところ。だから汎用コーディングエージェントがどんなロボットタスクを、どんな制約下で解けるかが見えにくい。
なるほど。じゃあEFEは、コーディングエージェントをシミュレータのロボットにつなぐ感じ？
そう。論文では、自然言語の指示からエージェントが直接制御、コードで制御、ポリシー学習、あるいは混ぜたアプローチを自分で選べる。コンテナ内のワークスペースでパッケージ導入やプログラム実行、モデル学習もできる。成功判定はエージェントの外のverifierがやる。
自由度高めだね。評価の設定は？
タスクごとに最大3設定。Privilegedはシミュレータの完全状態と無制限リセットが使えて、訓練用のオラクル解探索みたいな近似上限。Standardはロボットのセンサ情報とAPIだけ、既定ではリセット不可。RealtimeはStandardと同じだけど、エージェントが考えてる間も環境が止まらず動き続ける。
現実のロボットに近づけるほど厳しくなるんだ。規模は？
1,156タスク、35スイート、47ロボット。26スイートは既存ベンチマークから適応、9スイートは新規で411タスク。新規はpick-and-place以外の空間パズル、器用な操作、複数ロボット、動的全身制御、sim-to-sim工学とかを狙ってる。
評価結果は？ 強いモデルだとどのくらい？
Core 456タスクで、8エージェント中最強のGPT-6 Astra in CodexがStandardで34%。同じ391タスクだとPrivileged 77%に対してStandard 30%。つまり状態・リセット・時間の制約で成功率がかなり下がる、というのが論文の報告。
へえ、PrivilegedとStandardの差が大きいね。既存手法との比較はどうなってるの？
ここは注意。論文は特定の既存ロボット制御手法と横並びで比較するというより、既存ベンチマークの不足を動機にして、8エージェント、設定間、ハーネス間を比較してる。ハーネス切り替えで最大12ポイント変わる、みたいな報告もある。直接の既存手法比較が中心ではない、って言い方が正確。
なるほどね。使える条件は？
対象はシミュレータ上の47ロボット。エージェントは自然言語指示を受けて、ワークスペースでコード書いたり学習したりする。Standardは固有受容感覚やRGB-D画像、行動チャンクAPIに限定、既定リセット不可。Privilegedは完全状態と無制限リセット。Realtimeは環境が動き続ける。CPU、メモリ、GPUメモリ、ディスク、時間、トークン、リセット、ステップの制約がタスクごとにある。
実機は？ あとRealtimeは全部？
論文の評価はシミュレーション評価で、実機性能は提示本文からは確認できない。Realtimeは計算資源の制約から現時点では動的タスクのみ。Privilegedもタスク集合全体の近似上限であって、個々のタスクの上限を保証するものではない。結果も8エージェントと特定ハーネス、核心タスク群に依存するから一般化はまだ未知。
失敗の分析もしてるんだっけ？
してる。失敗した段階を別のコーディングエージェントがラベル付けして、同じタスクでは同じ段階、しかも最初の段階で失敗しがち、材料変更や体を動かす段階が難しい、みたいな報告。ただラベリング精度や偏りは提示本文からは確認できない。
意義は「物理世界に入る前の最初の試験」って感じ？
そう。論文もfirst exam for code agents to enter the physical worldって位置づけてる。制約を変えたとき成功率がどう落ちるかを測れるのが大きい。僕の理解では、ベンチマークというより評価プロトコル込みの基盤、って見方。
ふーん、じゃあAmiちゃんがロボット操縦するコード書いても、最初の試験で赤点かもしれないね。
いきなり赤点確定にするな。まずはセンサだけでリセットなしをやってみろ。