TL;DR
RoboFollowは、視覚だけではタスクが一意に決まらない場面を構築し、言語指示で正しい行動を選べるかを診断するベンチマークです。L0〜L3の段階的摂動とIntent/Executionの分離採点により、VLA/WAMがL0で高得点でもL1〜L3で指示選択を誤ることを示し、強VLMやQA共訓練などでもギャップが残ると報告しています。
既存手法との違い
原論文は、LIBEROやLIBERO-PRO、LIBERO-Plusなどの既存ベンチマークを文脈として挙げ、RoboFollowでは同一または類似の訓練シーンに複数のタスク分岐を持たせ、言語を必須にする点が異なると説明しています。特にLIBERO-PROがテスト時の摂動を中心とするのに対し、RoboFollowは訓練時のタスク曖昧性を設計する点を補完関係として位置づけています。シーンエントロピーはLIBERO系の0.880bitに対し3.782bitと記載されています。モデル評価ではπ0、π0.5、GR00T N1.6、OpenVLA-OFT、XVLA、ACoT-VLA、Lingbot-VLAを含む9つのVLA/WAMを対象にしています。改善策として強VLMバックボーン、QA共訓練、LangForce、Classifier-Free Guidanceを試していますが、著者らのfine-tuning設定ではL1〜L3のギャップを閉じなかったと報告されています。WAMの個別モデル名や全比較条件の詳細は提示本文からは確認できません。
使える条件
RoboFollowのベンチマーク／データセットを用い、視覚観測と言語指示を入力とする言語条件付きembodied agents（VLA/WAM）を評価する条件が前提です。対象タスクは、外在空間関係、内在属性と行動選択、軌道・向き制約、初歩的論理の4場面族です。短horizonで単純な物体、訓練済み行動レパートリー内のaction primitivesを用いることで、運動実行の交絡を抑える設計になっています。訓練には6つのタスク非依存な初期シーン構成と75個のタスクラベルが使われ、L0〜L3の分割で評価されます。必要な計算資源、実機環境、ロボット機種、fine-tuningの詳細条件は提示本文からは確認できません。
限界と未検証の範囲
RoboFollowは診断ベンチマークであり、実運用での成功率や安全性を直接保証するものではありません。評価は9つの大規模VLA/WAMと著者らのfine-tuning設定に限定され、低容量ベースラインは網羅していません。4場面族・短horizon・単純物体中心の診断であり、長horizonタスク、実機、多様なembodiment、人環境などへの一般化は未検証です。L0〜L3は厳密な難易度順ではなく、シーンエントロピーも最終評価指標ではなく設計原則とされています。強VLMやQA共訓練などの改善策が失敗したのは本論文の設定での結果であり、他の訓練法やデータ設計で克服できないと断定はできません。
解説
ねえ智也、RoboFollowってベンチマークの話、ちょっと面白そう。ロボットが指示をどれだけ使ってるか測るやつ？
そう。普通の成功率だけだと、視覚だけで解けちゃう場面で高得点が出る。言語が冗長で、使ってなくても成功に見える。原論文はそれをlow scene entropyって呼んでる。
視覚だけで一通り決まっちゃうと、言葉を無視しても当たるってこと？ 怖いね。
だからRoboFollowは同じシーンに複数の分岐を置く。視覚だけじゃタスクが一意に決まらないから、指示で選ぶ必要が出る。訓練に6つのシーン構成と75個のタスクラベル、四つの場面族がある。
場面族って何があるの？
空間関係、物体属性と行動選択、軌道や向きの制約、初歩的な論理。短いhorizonで単純な物体、訓練済みのaction primitivesに絞って、運動の失敗と理解の失敗を分けやすくしてる。
評価はL0〜L3だよね。L0が分布内、L1が配置替え、L2が意味の再結合、L3が両方って理解でいい？
合ってる。L1は指示そのままで物体位置をswap、L2はレイアウト固定で新しい属性の組み合わせ、L3は両方を摂動する。あとIntent ScoreとExecution Scoreに分ける。Intentは正しい物体・関係・waypoint・論理分岐を選べたか、Executionは選んだsubgoalを物理的に完了できたか。
なるほど、最終成功だけだと間違った途中動作でたまたま最終状態、みたいなのも褒めちゃうもんね。
そう。論文はfinishing stageも20%入れて、タスク完了後に余計な動作をしないことも評価してる。
比較は？ LIBEROとかとの違いは？
原論文はLIBERO、LIBERO-PRO、LIBERO-Plusを文脈に置いてる。LIBERO-PROはテスト時の摂動中心、RoboFollowは訓練時からタスク曖昧性を設計する点が補完的。シーンエントロピーはLIBERO系の0.880bitに対して3.782bitって書いてある。
数字出てきた。で、実験は9つのVLA/WAM？
そう。π0、π0.5、GR00T N1.6、OpenVLA-OFT、XVLA、ACoT-VLA、Lingbot-VLAを含む9モデル。結果はL0で高くてもL1〜L3でIntentが落ちる。強いVLM backbone、QA共訓練、LangForce、Classifier-Free Guidanceも、著者らのfine-tuning設定ではギャップを閉じなかった。
じゃあ成功率高いイコール指示を理解してる、は言えないんだ。
少なくともこの診断では、言語で行動を選ぶ能力がボトルネックとして見える。意義はそこを分離して測れること。ただ診断ベンチマークであって、実運用の成功率や安全性を保証するものじゃない。9モデルとその設定に限られるし、長horizon、実機、多様なembodimentは未検証。L0〜L3も厳密な難易度順じゃない。
前提は？ 視覚観測と言語指示を入力にする言語条件付きembodied agentsで、4場面族・短horizon・単純物体・訓練済み行動レパートリー内のaction primitives、って感じ？
そう。計算資源や実機環境、ロボット機種、fine-tuningの詳細条件は提示本文からは確認できない。WAMの個別モデル名や全比較条件の詳細もそこからは確認できない。
論文の報告と智也の解釈は分けて聞くね。論文はギャップを示して、改善策でも閉じなかったって報告してる。ここから先は智也の読みだと、訓練時のタスク曖昧性を増やす設計が大事ってこと？
そこは僕の読みだけど、少なくともこの論文の設定では、L0の成功率だけを見て指示追従ができてるとは言いにくい、ってこと。他の訓練法やデータ設計で克服できないと断定はできない。
なるほどね。あ、でも言語を無視しても成功しちゃうって、人間の私も一緒かも。今日の昼ごはん、メニュー見ずにいつもの頼んじゃった。
それは指示追従じゃなくて習慣。ベンチマークに入れないで。