TL;DR
GPT-6-Astraを核とするロボット操作エージェントをEBenchで、直接制御と学習済みVLA/WAMポリシーを呼ぶ構成の2通りで評価した報告。直接制御は短期タスクや汎化で競争力がある一方、長期・卓上・高精度接触に弱い。ポリシー連携は総合成功率とトークン効率を改善するが、呼び出し判断・サブゴール伝達・把持維持に課題が残る。
既存手法との違い
比較対象はEBench上のポスト学習済みVLA/WAMポリシーで、本文ではπ0.5、InternW0-Δ、Qwen-RobotManipなどが明示され、8個のポスト学習ポリシーと比較したとの記載がある。条件は同一観測プロトコル（RGB画像と固有受容覚のみ、深度・カメラキャリブレーション・シミュレータGTなし）で、全510テストエピソードを評価。直接制御はパラメータ更新なしで、1訓練エピソード由来のタスク説明をsingle-shot ICLとして使う。ハーネス+ポリシーはEEF指令に加え、固定タスク指示の下で指定ステップ数だけVLA/WAMポリシーを実行できる。違いは、直接制御がMLLMの推論のみで行動を生成するのに対し、比較ポリシーはロボット軌道でポスト学習済みであり、ハーネスは両者の補完を狙う点。
使える条件
対象はシミュレーション benchmarks のEBench（26タスク、510エピソード、468シーン、9シーンカテゴリ、ARX Lift 2 dual-arm mobile robot、GenManip/Isaac Sim）。入力はRGBカメラ画像と固有受容覚のみで、深度・キャリブレーション・シミュレータGTは使わない。エージェント核はGPT-6-Astra（high reasoning effort）で、エピソードごとに独立セッションを開始。トークン使用量・ツール呼び出し・推論時間は制約せず、物理ステップ上限は1500〜5000（30 Hz）でエージェントには非開示。タスク説明は1訓練エピソードから注釈したものをsingle-shot ICLとして与え、パラメータ更新は行わない。構成は直接制御（EEF・ベース・グリッパー指令）と、π0.5またはInternW0-Δを呼ぶハーネス連携。汎化評価は未見背景・未見物体・言い換え指示・混合の4次元。実機、他ロボット、他MLLMへの適用条件は提示本文からは確認できない。
限界と未検証の範囲
直接制御は短期タスクでは73.2%成功と強い一方、長期27.3%、卓上20.0%、高精度接触11.3%に低下し、観測間の長い行動チャンクとRGBからの接触形状推論が実行上の制約になる。ハーネス連携は総合成功率を53.0%（π0.5）・56.0%（InternW0-Δ）へ上げ、成功あたりトークンコストを半減以上にするが、単体コンポーネントのタスク別上限には届かない。原因として、ポリシー呼び出し判断の不適切さ、固定指示実行でサブゴールを渡せないこと、エージェントが制御を戻す際の把持維持失敗が挙げられている。高精度接触を要する操作はどちらの構成でも未解決。評価はEBenchシミュレーション上のGPT-6-Astraと特定ポリシーに限られ、実機・他環境・コスト制約下の性能は提示本文からは確認できない。
解説
ねえ智也、この記事の「ロボット操作AIをEBenchで比較」って、要するに何がすごいの？ GPT-6-Astraがロボットを動かすって話？
うん。論文は、GPT-6-Astraを核にしたエージェントが、EBenchで直接ロボットを操作する場合と、学習済みのVLAやWAMポリシーを呼ぶ場合を比べてる。
VLAとWAMって別物？ そこがまず気になる。
VLAは視覚と言語を行動に結びつけるポスト学習モデル。WAMは未来の視覚変化と行動を一緒にモデル化する。論文ではπ0.5とInternW0-Δを呼ぶ構成も試してる。
ふーん。で、何が課題でこの研究をやったの？
フロンティアMLLMはロボット専用学習なしでも操作できる可能性があるけど、ポスト学習ポリシーと比べてどこが強くてどこが弱いか、連携するとどうなるかが十分整理されてなかった。だから同一条件で比べた、ってのが動機。
同一条件って、かなり大事そう。
そう。EBenchの26タスク、510エピソードで、入力はRGB画像と固有受容覚だけ。深度やカメラキャリブレーション、シミュレータの正解情報は使わない。エージェントはGPT-6-Astraで、1訓練エピソードから作ったタスク説明をsingle-shotで与えるだけで、パラメータ更新はしない。
直接制御は、自分でEEFのウェイポイントを出す感じ？
うん。EEF、ベース、グリッパーの指令を直接出す。もう一つのハーネス連携では、それに加えてπ0.5かInternW0-Δを指定ステップだけ呼べる。ポリシーは固定タスク指示で動く。
結果は？ 数字ある？
直接制御は総合成功率46.7%、ステージ完了スコア0.654。短期的なタスクでは73.2%で、比較したポスト学習ポリシーの中では1位。汎化4次元での成功率のばらつきも最小。でも長期27.3%、卓上20.0%、高精度接触11.3%まで落ちる。
短期は強いけど、長期と接触に弱いんだ。ハーネスにすると？
π0.5連携で53.0%、InternW0-Δ連携で56.0%。成功あたりのトークンコストも半分以上減る。InternW0-Δの構成は比較したポスト学習ポリシーを上回る、と報告されてる。
おお、補完してる感じ。でも万能じゃないんでしょ？
そこが大事。単体コンポーネントのタスク別上限には届かない。理由として、ポリシーを呼ぶ判断が最適じゃない、固定指示でサブゴールを渡せない、エージェントが制御に戻る時に把持維持が崩れる、が挙げられてる。高精度接触はどちらでも未解決。
なるほどね。意義は、エージェントの能力の境界と、ハーネス設計の改善点を具体的に示したことか。
そう。直接制御とポリシー連携の補完関係を、同じEBench条件で対応付けて見たのが大きい。ただ、実機や別ロボット、別MLLMでの確認は提示本文からは確認できない。あくまでこのシミュレーション評価の範囲。
じゃあ私、AIに「ポリシー呼ぶ？」って聞かれたら、まず「把持維持！」って返すね。
それ、たぶん呼ばれないやつ。