TL;DR
SALAは、対応づいていない人間動画とロボット動画を、原子行動の言語記述から作る軟近傍で潜在行動空間上に結びつける。ロボット側は行動再構成で制御に接地し、人間側の潜在行動をそこへ寄せる。学習後に凍結したトークナイザが付ける潜在行動ラベルを共通教師としてVLA方策を学習し、一般人間動画の事前学習とタスク特化人間動画の事後学習の二軸でスケールさせる。
既存手法との違い
既存のLAMは映像再構成だけで潜在行動を学ぶため、シーンなど見た目でクラスタ化しやすく、人間とロボットの意味的対応が弱い。WAMは未来フレームと行動を予測するのに対し、LAMは方策学習・実行で画素予測を避けられるため、学習効率や推論コスト面で利点があり得ると論文は述べる。SALAはRoboTwin 2.0で、同じクロスエンボディメント動画を用いた既存LAM/WAMより平均成功率が高く、ドメインランダム化されたシーンで最大の改善を示したと報告する。実機ではロボットデータのみのVanilla VLAに対し、人間動画の事前学習で行動予測誤差が下がり、タスク特化人間動画の事後学習で平均成功率が53.75%から72.5%に上がったと報告する。SoftVQとhard VQのアライメント損失比較もあるが、提示本文では全比較の詳細条件や全数値は限定的である。
使える条件
トークナイザ学習には、人間とロボットの各クリップに対応する原子行動の言語記述が必要で、人間・ロボット動画はペアでなくてよい。ロボットデータには初期状態と行動チャンクが必要で、人間動画には行動ラベルがない。量子化器はSoftVQを用い、方策はπ0系のVLM+action expert構成で、人間・ロボット双方の潜在行動ラベルをKL損失で学習し、ロボットデータのみflow matchingの行動損失を加える。学習後は凍結トークナイザが教師となり、方策実行時は現在観測のみで未来フレームや教師は不要とされる。評価はRoboTwin 2.0(別ロボットアームの動画を人間動画の代用)と、両手22-DoFを含む63-DoF実機ロボット。計算資源や推論レイテンシの詳細は提示本文からは確認できない。
限界と未検証の範囲
SALAはペアデータを不要にするが、トークナイザ学習時に原子行動の言語記述が必要で、記述の品質・粒度への依存は本文で定量評価されていない。評価はRoboTwin 2.0と1台の63-DoF実機に限定され、シミュレーションでは別ロボットアームの動画を人間動画の代用にしている。多様なロボット・実人間の大規模egocentric動画・長いタスク・言語記述なしの条件・他のVLMや量子化器への一般化は、提示本文からは確認できない。実機の成功率53.75%→72.5%は特定のタスク特化人間動画を加えた条件での報告であり、一般に再現できるかは不明である。
図1: 提案手法の概要(本記事による図解)
解説

ねえ智也、SALAって論文、人間の動画をロボットの学習に使う話? タイトルからしてもうすごいんだけど。

そう。人間の動画は集めやすいけど、そのままじゃロボットの動きと対応してない。そこを潜在行動で橋渡しする。

潜在行動って、動画の変化を圧縮したラベルみたいな感じ?

近い。逆動力学と順動力学を組み合わせて、観測の遷移を潜在コードにする。ただ映像再構成だけだと、見た目で固まりやすい。

見た目? 同じ「取る」でもシーンが違うと別物扱いになるとか?

そう。既存LAMは映像再構成だけで学ぶから、シーンなど見た目でクラスタ化しやすくて、人間とロボットの意味対応が弱い。WAMは未来フレームも予測する。LAMは画素予測を避けられるから、学習効率や推論コストで利点があり得る、と論文は述べてる。

じゃあSALAは言語で、grasp the cupみたいな原子行動の記述を対応づけに使うんだ。

うん。人間とロボットのクリップはペアじゃなくていい。各クリップの原子行動の言語記述の類似度から軟近傍を作って、人間の潜在行動を意味的に関連するロボット潜在へ寄せる。

ロボット側は何でアンカーになるの?

ロボットは行動再構成で制御に接地させる。停止勾配でロボット側は動かさず、人間側だけ寄せる。だから制御に接地したロボット潜在がアンカーになる。

量子化器も工夫してる?

硬いVQだと一つのコードに引っ張られて、段階的な関係を表しにくい。だからSoftVQでコードブック上の分布としてトークンを持つ。アライメント損失が下がるのはSoftVQで、hard VQは初期値付近のまま、と論文は報告してる。

で、学習後は凍結したトークナイザが教師になるんだ。

そう。人間もロボットも潜在行動ラベルを付けて、方策はKLでそれを予測する。ロボットデータだけflow matchingの行動損失も加える。人間動画も同じVLMとaction expertを訓練する。実行時は現在観測だけで、未来フレームも教師も要らない。

学習は段階的で、事前学習は人間動画の潜在行動損失だけ、mid-trainingはロボットの行動損失と潜在行動損失、必要ならタスク特化データで事後学習する。

評価は? 実機もやってる?

RoboTwin 2.0では別ロボットアームの動画を人間動画の代用にして、同じクロスエンボディメント動画で訓練した既存LAMやWAMより平均成功率が高い。ドメインランダム化したシーンで最大の改善、と論文は報告してる。

実機は63-DoFで、両手22-DoFの器用なハンドも入ってるやつ? すご。

実機では人間動画の事前学習が増えるほど、追加のロボットデータなしで行動予測誤差が下がる。最大2,678時間まで一貫して下がる、と報告してる。タスク特化人間動画の事後学習では平均成功率が53.75%から72.5%に上がった。ロボットデータのみのVanilla VLAとの比較もある。

二軸スケーリングって、一般人間動画の事前学習と、タスク特化人間動画の事後学習ってこと?

そう。人間動画を、ロボットを制御するのと同じaction expertの監督に使える。そこがSALAの意義。

でも、トークナイザ学習に原子行動の言語記述が要るんだよね。記述の品質や粒度の影響は?

本文では定量評価されてない。評価もRoboTwin 2.0と1台の63-DoF実機に限定されてる。シミュレーションでは別ロボットアームの動画を人間動画の代用にしてる。多様なロボット、実人間の大規模egocentric動画、長いタスク、言語記述なしの条件、他のVLMや量子化器への一般化は、提示本文からは確認できない。

計算資源や推論レイテンシの詳細も、提示本文からは確認できない。

なるほど。すごいけど、まだ条件付きなんだ。

じゃあ将来は人間の料理動画だけでロボットが晩ご飯作れる感じ?

気が早い。まず言語記述と実機検証だ。