TL;DR
VLAの履歴記憶は「過去フレームを増やす」より「フレーム間の動きを一貫した形で渡す」ことが重要という論文です。MotionVLAは過去のみの短い動画を時間連続な軌道場トークンに変換し、現在の視覚トークンで必要な動きを検索してVLAに再結合します。RoboTwin2.0とLIBERO、予備的実機で長距離操作と滑らかさ・直進性の改善を報告しています。
既存手法との違い
原論文はπ0を基盤とし、離散的な4D注入を行うVLA変種や、単純な履歴集約・単純な4Dトークン注入との比較・ablationを報告しています。提示本文では、LIBEROのpath-efficiency解析で4D注入VLA変種が専門家デモやπ0ベースラインより迂回したと述べられています。MotionVLAの違いは、履歴を独立に3D化した疎なフレーム集合ではなく、時間連続の軌道場トークンをキー・バリュー記憶として持ち、現在の視覚トークンで検索してから再結合する点です。提示された本文抜粋には具体的な成功率やpath efficiencyの数値がないため、数値比較は確認できません。
使える条件
言語条件付きのロボット操作（特に長距離マニピュレーション）が対象です。入力は多視点RGB観測、固有感覚、言語指示で、頭部カメラの過去のみの短い履歴窓を使います。実装では凍結した事前学習済み軌道抽出器（TraceAnything）とπ0系のVLA・flow-based action expertを用い、学習時には履歴窓に対応する履歴行動列を補助監督に使います。評価はRoboTwin2.0の6タスク（長・中・短距離）とLIBEROの4スイート、および予備的実機ロールアウトです。計算資源や実機詳細、他 embodiment への適用条件は提示本文からは確認できません。
限界と未検証の範囲
提示本文の評価範囲はRoboTwin2.0、LIBERO、予備的実機ロールアウトに限られ、実機はpreliminaryと明記されています。具体的な成功率・path efficiencyの数値は抜粋にないため確認できません。軌道抽出器への依存、履歴長やストライドの感度、推論レイテンシ、計算コスト、他ロボットや他視覚入力への一般化は提示本文からは確認できません。path efficiencyは成功エピソード平均で報告されるため、手法ごとに成功集合が異なると比較にバイアスがあり得ると本文も述べています。
解説
MotionVLAって、VLAに動きの履歴を入れる話？過去フレームをいっぱい見せるだけと何が違うの？
そこが肝で、論文の問題意識は「過去を覚える」より「過去と現在をつなぐ動きを一貫した形で渡す」こと。離散的にフレームを3D化すると幾何ズレや時間の断片化が起きて、行動が不安定になったり迂回したりする可能性があるって見てる。
へえ、履歴を増やすほど良いわけじゃないんだ。じゃあMotionVLAはどうやって動きを取り出すの？
頭カメラの過去だけの短い窓を、凍結した軌道抽出器で時間連続な軌道場トークンにして、キー・バリュー記憶として持つ。今の視覚トークンがそれをクエリで検索して、必要な動きだけ取ってくる。さらに検索したトークンを履歴行動列で補助監督して、見た目じゃなく制御に関係する動きを残すようにしてる。
現在の視覚で過去を検索して、その後でVLAに戻すってことか。名前のDecouple-then-Recoupleっぽいね。
そう。で、評価はRoboTwin2.0の長・中・短の6タスクとLIBEROの4スイート、あと予備的な実機ロールアウト。成功率に加えてpath efficiencyも見てて、成功だけでなく直進性や滑らかさも主張してる。ただ抜粋には具体的な数値がないから、数値比較は確認できない。
比較はπ0ベースラインや、離散4D注入のVLA変種、単純な履歴集約や単純な4Dトークン注入のablationだよね。意味としては、履歴の「量」より「使いやすい一貫性」が大事ってこと？
論文の主張としてはそこ。原論文は、改善は履歴を整列・検索・再結合して制御に使える形にしたことから来る、と報告してる。こちらの解釈だと、履歴を保存する記憶というより、現在の観測が読む動きのインターフェースとして設計してる感じ。
制限は？実機は予備的って書いてあったけど。
評価範囲はRoboTwin2.0とLIBERO、予備的実機に限られる。軌道抽出器への依存や履歴長・ストライドの感度、推論レイテンシ、計算コスト、他のロボットや視覚入力への一般化は提示本文からは確認できない。path efficiencyも成功エピソード平均だから、成功集合が違うと比較にバイアスがあり得る、と本文が言ってる。
なるほどね。つまり「過去をたくさん覚える」より「動きをいい感じに通す」ってことか。私の記憶もフレームを増やすんじゃなくて、動きを一貫させたいな〜。
それ、まず現在の観測をちゃんと入れるところからだろ。