TL;DR
動画生成モデルをロボット動作学習に使うと、学習内では強くても見慣れない物体・容器・操作の組合せで汎化しにくい「video-action generalization gap」が生じる。論文は、行動ヘッドが現在フレームより未来予測潜在にどれだけ注意を向けるかをTemporal Ratio（TR）として測り、TRが構成的汎化の予測子になり、計画時には上がり精密操作時には下がることを示す。TRが高いときに言語・計画ガイダンスを強めるTR-Adaptive Guidanceを提案し、LIBEROと実機双腕タスクでOODとIDの差を緩和した。ただし評価は特定の潜在VAM構成と限られたタスクに基づく。
既存手法との違い
原論文は、未来映像/潜在を予測して逆動力学で行動するWAM/VAMや、映像と行動トークンを統合Transformerで同時モデル化する手法を背景に、潜在VAMの設計空間を比較している。比較軸は全微調整 vs LoRA、Joint vs Two-Stage、動画特徴抽出のノイズレベルσv、予測ホライズンT。提案のTR-Adaptive Guidanceは標準の条件付き速度に対し、言語ガイダンスと計画ガイダンスをTRで重み付けする推論時手法。本文ではJoint-LoRAがOODで強い、Two-Stage LoRAがσvとT平均で頑健、性能は中間σvでピークなどの定性傾向が示されるが、詳細数値や全比較条件は提示本文だけでは確認できない。
使える条件
対象は、事前学習済み動画生成バックボーン（Cosmos-2.5 2B DiT、28ブロック中20ブロック目）から部分ノイズ除去した潜在特徴を抽出し、Gemma Transformerベースの行動ヘッド（固有感覚とノイズ付き行動トークンを入力）で行動をフローマッチング学習する潜在VAM。入力は現在画像、言語指示、固有感覚、行動トークン、動画潜在特徴。TRは通常の順伝播の注意からオンライン計算できる。評価はLIBERO構成的タスクと実機双腕YAMのマルチタスク（皿置き、菓子仕分け、ボトルピックアンドプレース、キャップ開け）。計算資源、推論レイテンシ、他バックボーン・他行動ヘッドでの成立条件は提示本文から確認できない。
限界と未検証の範囲
TRは現在フレームをアンカーし未来潜在を使う潜在VAMの注意に依存するため、統合Transformer型WAMなど他設計への一般化は未検証。実機評価は限られたタスク群に留まる。長い予測ホライズンは映像レベルの汎化を良くしても行動成功に直結しない場合があり、アーティファクトも増える。ガイダンスはTR0や重みなどの調整が必要で、計算コストや失敗時の安全性は提示本文から確認できない。
解説
ねえ智也くん、動画生成モデルをロボットの動作学習に使うのって、なんか未来を想像して動く感じで面白いよね。でも論文タイトルに「汎化ギャップ」ってあるの、なんで？
動画生成モデルは構成要素の組合せに強いのに、ロボット行動データで微調整すると、その強さが消えやすい。論文はこれをvideo-action generalization gapと呼んでる。見た物体や容器、操作の組合せが未見だと失敗しやすいんだ。
学習中はできるのに、組合せが変わると弱いってことか。原因は？
論文の主張は、行動ヘッドが予測した未来の潜在表現を実際に使ってるかが鍵ってこと。未来映像が正しくても、行動ヘッドが現在フレームだけ見てたら構成的な汎化は出ない。逆に未来を無視する例もある。
じゃあ「未来をどれだけ見てるか」を測るのがTemporal Ratio、TRだ？
そう。TRは行動トークンから未来フレームの潜在トークンへの注意量を、現在フレームへの注意量で割ったもの。普通の順伝播の注意からオンラインで計算できる。TRが高いほど未来予測に依存してる。
TRが高いほど汎化するの？
論文では、TRが構成的汎化の予測子になるって報告してる。しかもタスク局面で変わる。計画みたいに物体や置き場所を決める時は上がって、把持や配置の精密操作では下がる。低いTRが常に悪いわけじゃない。
なるほど。で、それをどう使うの？
TR-Adaptive Guidanceという推論時の方法。TRが高い計画局面では言語ガイダンスと計画ガイダンスを強めて、TRが低い精密操作では弱める。標準の条件付き速度に、言語を落とした反実仮想方向と、長いホライズンで作った計画方向を足すイメージだね。
評価は何でやってるの？
LIBEROの構成的タスクと、実機の双腕YAMマルチタスク。皿置き、菓子仕分け、ボトルピックアンドプレース、キャップ開けを学習して、未見の物体・容器の組合せで試してる。論文ではOOD成功を上げつつID性能を保ったと報告してる。ただ具体的な数値や全条件は提示本文だけでは確認できない。
比較は？ 既存手法とバーンと比べた感じ？
本文で確認できる比較の中心は潜在VAMの設計空間のスイープ。全微調整vs LoRA、Joint vs Two-Stage、動画特徴のノイズレベルσv、予測ホライズンTを比べてる。定性傾向だとJoint-LoRAがOODに強く、Two-Stage LoRAがσvとT平均で頑健、性能は中間σvでピーク。既存WAM/VAM全体との同一条件の横並び数値は提示本文からは確認できない。
使える条件は？ どんなVAM限定の話？
対象は、事前学習済み動画生成バックボーンから部分ノイズ除去した潜在特徴を取って、行動ヘッドでフローマッチングする潜在VAM。具体的にはCosmos-2.5 2B DiTの28ブロック中20ブロック目、Gemma Transformerベースの行動ヘッド。入力は現在画像、言語指示、固有感覚、行動トークン、動画潜在特徴。TRは通常のforwardで取れるのが利点。
限界は？
TRは現在フレームをアンカーして未来潜在を使う潜在VAMの注意に依存するから、統合Transformer型WAMみたいな別設計への一般化は未検証。実機も限られたタスク群。長い予測ホライズンは映像レベルの汎化を良くしても行動成功に直結しない場合があるし、アーティファクトも増える。ガイダンスはTR0や重みの調整が必要で、計算コストや失敗時の安全性は提示本文から確認できない。
つまり、未来を見る注意力をランタイムで測って、計画時だけ後押しするのがポイントだね。なんかTRってロボットの「やる気メーター」みたいじゃん？
違う。やる気じゃなくて、未来の潜在にどれだけ注意を向けてるかだ。