TL;DR
HARPは、人間動画とロボット動画の視覚表現と潜在行動を同時に整合させ、VLAの事前学習に使う枠組みです。限られたペア動画を橋渡しにし、非ペア動画も動力学監督として活用します。論文ではCALVIN ABC→Dで平均長4.481、実機成功率が評価した中で最も強いベースライン比+7.1ポイントと報告されています。
既存手法との違い
既存の潜在行動モデル（LAPAやUniVLAなど）は行動実行ギャップを緩和しますが、視覚特徴に依存するため、人間とロボットの視覚表現がずれると潜在行動もドメイン依存になり得ます。既存の視覚整合手法（EgoMimicやHR-Alignなど）は視覚ギャップを扱いますが、フレーム単位の操作動力学や潜在行動学習と明示的に結合していません。HARPは限られたペア動画を橋渡しに、非ペア動画も使い、視覚表現と潜在行動を同時に整合する点が違いです。提示本文では個別ベースラインの詳細な比較条件は確認できませんが、CALVIN ABC→Dで平均長4.481、実機成功率+7.1ポイント（評価した中最強ベースライン比）と報告されています。
使える条件
対象はロボットマニピュレーション向けVLAです。入力は言語指示付きの人間・ロボット動画、限られたペア動画、大量の非ペア動画、物体の2Dトラックと手首・エンドエフェクタ軌跡などの補助注釈です。ペア動画はDTWで時間対応を取ります。Stage 1で凍結ViTとロボット適応アダプタ、VQ-VAE型の潜在行動モデルを学習し、Stage 2でPrismatic/OpenVLA-OFT系VLAを潜在行動で事前学習、Stage 3で実機データにより軽量行動ヘッドを微調整します。評価はCALVIN ABC→Dと実機操作です。計算資源、データ規模、他embodimentでの定量結果は提示本文からは確認できません。
限界と未検証の範囲
評価は提示本文ではCALVIN ABC→Dと実機操作に限られ、一般的なロボットやタスクへの汎化は未確認です。ペア動画と物体・手首/エンドエフェクタ注釈、DTW可能な対応が必要で、注釈抽出やペア収集のコスト詳細は本文からは確認できません。視覚・潜在行動の整合が失敗する条件、長時間タスク、多様なembodiment、非マニピュレーション、計算コスト、スケーリング則は未検証です。数値は論文報告であり、本記事で追試したものではありません。
解説
ねえ智也くん、HARPって人間の動画をロボット学習に使う話で合ってる？人間の動画ってロボットの動作とだいぶ違うのに、なんで使えるの？
まず問題が二つあるんだ。人間の動きをそのままロボットの行動に変換しにくい「行動のギャップ」と、似た動きでも人間とロボットで視覚特徴が別々の空間に分かれる「視覚のギャップ」。HARPは特にこの二つを一緒に扱う。
潜在行動モデルって、隣り合うフレームから行動っぽいものを作るやつだよね。それだけじゃ足りないの？
潜在行動モデルは行動実行のギャップを小さくするけど、視覚特徴に依存する。だから人間とロボットの視覚表現がずれてると、潜在行動もドメイン依存になりやすい。既存の視覚整合だけの手法も、フレーム単位の操作動力学や潜在行動学習と明示的には結びついてない。
なるほど。じゃあHARPは、視覚と潜在行動を同時にそろえるってこと？
そう。限られた人間とロボットのペア動画を橋渡しに使って、大量の非ペア動画は動力学の監督として使う。ペア動画はDTWで時間対応を取る。人間側は凍結した視覚エンコーダに固定して、ロボット側だけ軽いアダプタで人間の意味空間に寄せる。
非ペア動画も使えるのがいいね。物体の位置トラックとか、手首やエンドエフェクタの軌跡も補助で入れるんだ？
うん。操作に効く共有キューとして補助損失で使う。さらにsource-relativeのペア識別整合損失で、ロボット表現をペアの人間側に寄せつつ、ペア同士の識別性も保つ。
学習は三段階なんだっけ？
Stage 1でロボット適応の視覚エンコーダと潜在行動モデルを一緒に学習。Stage 2でその潜在行動ラベルを使ってVLAを事前学習。Stage 3で実機データに軽量な行動ヘッドを付けて微調整する。VLAの骨格はPrismatic/OpenVLA-OFT系だって書いてある。
評価はどうなの？数字も気になる。
論文では特徴可視化、シミュレーション、実機操作を評価してる。CALVIN ABC→Dで平均長4.481、実機成功率は評価した中最強ベースライン比で+7.1ポイント。ただ、これは論文の報告で、僕らが追試した数値じゃない。
ベースラインの細かい条件は？
提示された本文では、個別ベースラインの比較条件までは確認できない。確認できる範囲だと、既存の潜在行動モデルは行動ギャップを緩和するけど視覚依存、既存の視覚整合手法はフレーム単位の動力学と潜在行動を明示的に結合してない、って違いが説明されてる。
意義は、人間動画をただ混ぜるんじゃなくて、視覚も行動も共通の表現にしてから使えることだね。
そう。人間とロボットの動画からvision-language-to-latent-actionの監督を作れて、軽量な行動ヘッドで実行可能なコマンドに落とす。人間動画をスケーラブルにVLA事前学習へ使うための統一インターフェースって位置づけだね。
制限は？やっぱり何でもいけるわけじゃないよね。
評価はCALVIN ABC→Dと実機操作に限られてる。一般的なロボットやタスクへの汎化は未確認。ペア動画と物体・手首/エンドエフェクタの注釈、DTWできる対応が必要で、その収集コストの詳細も本文からは確認できない。
長時間タスク、多様なembodiment、マニピュレーション以外、計算コストやスケーリング則も未検証ってことか。
そう。視覚と潜在行動の整合が失敗する条件も本文からは確認できない。あと実装や追試をしたわけじゃないから、そこは論文の報告と記事の解釈を分けて読む必要がある。
じゃあ私の人間動画を大量に撮ればロボットが家事できる？成功率は私の演技力次第ってこと？
演技力は学習に入ってない。あとその動画、注釈付けとペア収集が地味に大変だから。