TL;DR

MITなどは、オープン重みの27B推論モデルを、実機データやデモなしで、シミュレータ上のロボット操作強化学習により訓練したと報告しています。モデルは指示・カメラ・腕状態を観測し、思考を経てエンドエフェクタ姿勢を出力し、IKと制御器が実行します。LIBEROでは成功率1.6%から74.4%へ向上し、実機双腕ロボットでは60%(ベースモデル0%)を報告しています。一方、実機試行の詳細や計算資源、安全性などは提示本文からは確認できません。

既存手法との違い

原論文は、ベースモデル、GPT-6.1 SolとGPT-6 Astra(medium/max effort)、デモで微調整したVLAであるπ0.5、RoboLabのπ0.5エントリと比較しています。条件はLIBEROの2,000評価エピソード、LIBERO-Plus/Pro、RoboDojo、RoboLab-120、実機双腕YAMです。本手法はデモなし・補助ツールなしのRLで、π0.5はデモありの教師あり微調整という違いがあります。LIBEROでは1.6%から74.4%へ向上しGPT-6系のmedium設定を上回る一方、max設定には差が残ると報告されています。LIBERO-Proでは新タスクで57.4%対π0.5の0.75%、全体でも62.1%対53.3%と報告されています。

使える条件

対象はオープン重み27B推論モデル(本文表記ではQwen3.8-27B)で、LIBEROとRoboDojoのシミュレーション、実機は双腕YAMです。入力はタスク指示、カメラ画像、腕状態で、出力はエンドエフェクタ姿勢のJSONです。IKと制御器はモデル外にあり、シミュレーションと実機で同じ姿勢レベルのプロトコルを使います。訓練は実機データ・デモなしで、知覚ツール、プランナ、スキルライブラリも使わず、成功/失敗の二値報酬とGRPO系の更新を用います。PEARはveRLとLMCache上に構築されています。計算資源、訓練時間、推論レイテンシ、安全制約は提示本文からは確認できません。

限界と未検証の範囲

実機評価は双腕YAMでの限られた試行に基づく報告で、試行数、環境、被験者、長時間運用、安全性、失敗時の復旧は提示本文からは確認できません。実機成功率60%は残り40%が失敗であることを意味し、LIBEROのみ訓練したモデルは23%です。未見ロボット・実世界への転移は評価範囲が限られ、すべてのロボットやタスクに一般化できるかは不明です。LIBEROではGPT-6系のmax effort設定に及ばないとの報告で、9つの推論・コード・視覚ベンチマークで劣化なしとされますが、より広い能力保持は未確認です。本記事は提示本文に基づく解釈で、実装や追試は行っていません。

図1: 提案手法の概要(本記事による図解)

指示・カメラ・腕状態から推論モデルが姿勢を出し、IK・制御器が実行する同一インタフェースを、シミュレータRLによる学習と実機展開に整理した説明図です。報酬設計やカリキュラム、評価ベンチマークは簡略化して省略しています。
指示・カメラ・腕状態から推論モデルが姿勢を出し、IK・制御器が実行する同一インタフェースを、シミュレータRLによる学習と実機展開に整理した説明図です。報酬設計やカリキュラム、評価ベンチマークは簡略化して省略しています。

解説

AMI SURPRISED

ねえ智也くん、27Bのオープンな推論モデルを、シミュレーションの強化学習だけで実機ロボットに使えるようにしたって論文、ほんと?

TOMOYA EXPLAINING

うん。MITなどの報告。実機データもデモも使わず、シミュレータ上でロボット操作の強化学習をやって、そのまま実機に持っていく話。

AMI THINKING

えっと、モデルは何を見て何を出すの?

TOMOYA EXPLAINING

指示とカメラ画像、腕の状態を見て、思考を書いてからエンドエフェクタの次の姿勢をJSONで出す。その姿勢をIKと制御器が関節に変換して動かす。モデルの中に知覚ツールやプランナ、スキルライブラリはない。

AMI UNDERSTOOD

なるほど、ロボット版のコンピュータ操作エージェントみたいな感じか。なんでまたそんなことするの?

TOMOYA THINKING

最先端の非公開モデルはロボット操作で強いけど、オープン重みのモデルはかなり弱い。そこで、コンピュータ操作と同じように強化学習でロボット操作そのものを学習させられるか、という動機。PEARっていう訓練基盤を作って、成功か失敗かの二値報酬でGRPO系の更新をしてる。

AMI HAPPY

結果はどうだったの?

TOMOYA EXPLAINING

LIBEROでは成功率が1.6%から74.4%に上がった。GPT-6.1 SolとGPT-6 Astraのmedium設定は48.1%と49.3%なので上回る。ただmax設定の76.2%と80.6%にはまだ差が残る、という報告。

AMI SURPRISED

1.6%から74.4%はすごい。実機は?

TOMOYA EXPLAINING

実機の双腕YAMでは60%、ベースモデルは0%。LIBEROだけで訓練したモデルも23%だった。LIBERO-Proでは新タスクで57.4%、デモで微調整したVLAのπ0.5は0.75%と報告されてる。全体でも62.1%対53.3%。

AMI THINKING

でも、実機の試行数とか安全性とかはどうなの?

TOMOYA SAD

提示本文からは確認できない。実機評価は限られた試行の報告で、環境や長時間運用、失敗時の復旧、安全制約も不明。60%は残り40%が失敗ってことだし、未見ロボットや実世界への転移も評価範囲は限られる。LIBEROでもGPT-6系のmax設定には及ばない。あと9つの推論・コード・視覚ベンチで劣化なしとされるけど、より広い能力保持は未確認。

AMI NEUTRAL

なるほど、夢は大きいけど条件付きなんだ。ちなみに、このモデルって「考える」って書くけど、ちゃんとロボット用の作戦会議をしてるのかな?

TOMOYA HAPPY

思考の連鎖を出してから姿勢を出す、という設計。ただ中身が人間みたいな会議かというと、そういう話ではない。これは提示本文に基づく話で、実装や追試はしてない。

AMI SMILE

じゃあ智也くんも強化学習で訓練したら、宿題を先にやるロボットになれる?

TOMOYA NEUTRAL

ならない。まず自分の宿題をやれ。