そう。映像の変化から疑似ラベルを作るLAMに、短い時間の潜在行動を足し算で合成できる構造を入れる話。

既存のLAMは場面の細かい情報や未来の観測まで潜在行動に混ざって、動きの大きさもズレやすい。物理の動きは短時間なら足し算っぽく近似できることが多いから、そこを制約にする。

そう。同じシーン、実装上は同じ軌跡の三つ組で、o_iからo_kへの潜在行動をo_i→o_jとo_j→o_kの和で表す。そこから恒等、逆、サイクル整合も出る。

FDM側で、足した潜在行動からo_kを再構成する損失L_AC-FDMを使う。IDM側の形は崩れやすかったみたいで、FDM側が安定。post-VQの連続埋め込みに掛けて、再構成とVQの損失と一緒に最適化する。

LAPA、UniVLA、Villa-Xと比較。AC-LAMはVilla-Xを土台に加法合成の正則化を足して、OpenXと大規模人間動画で事前学習する。三つ組は同じ軌跡から取って、ロボットは3秒、人間は2秒、ロボットは大きな回転を除く。

シミュレーションと実機の卓上タスク。潜在行動を監督にしてポリシーを訓練して、closed-loopで評価する。原論文は既存LAMを上回ると報告してる。ただ提示本文は実験節が途中までだから、数値の詳細は確認できない。

そういう狙い。潜在行動が変位と対応しやすく、動きに特化して、余計な情報を抑える方向に正則化される。下流性能を潜在行動の品質の代理指標にしてる。

加法性は近似で、BCHの小さな回転の仮定に依存する。ロボットでは大きな回転を除いてるし、シーンを各軌跡とみなす簡便な分割もしてる。理論も簡略仮定。評価は卓上タスク中心で、長時間や大きな回転、全部の動作への一般化は未確認。

それは加法性の範囲外。

ざっくり言うと、ロボット用のVLAモデルに生涯学習を入れる話。普通のVLAは固定データで一度学習して終わりだけど、実世界では新しい物体や指示が次々出てくる。でも新タスクを順番に学ぶと、前のスキルを忘れる破滅的忘却が起きる。

それが画像付きの軌跡を全部保存して何度も再エンコードすると、記憶も計算も重い。だからこの論文は、凍結したVLA基盤に短期LoRAと長期LoRAを置く。短期は新タスクを素早く学ぶ可塑性、長期はリプレイと蒸留で古いスキルを安定して保持する役割。

そこをタスク対応ゲートで重みレベルに合成する。しかもゲートの入力は凍結済みのprefix特徴から作るから、制御対象の重みに依存しない。合成後の推論は1回のフォワードパスで済む。

全軌跡じゃなくて、各スキルから少量のstop-gradient prefixトークンと、状態・行動の監督だけをキャッシュする。リプレイ時は拡散変数を毎回サンプリングし直して、現在のモデルでsuffixを再計算する。だから小さいキャッシュでも多様な保持信号を作れる。

論文のTable 1だと、10タスク系列で平均成功率83.2%。比較ではERが70.2%、Info-VLAとAtomicVLAが28.6%、SFTとLwF-LoRAが7.8%。Jointは全タスク同時学習の上限で89.6%だけど、ランキングからは除外されてる。

そう。ただ評価は10タスク系列とxArm実機に限定されてる。他のロボット、別のVLAバックボーン、より長いタスク列、タスク順序の影響は提示本文からは確認できない。prefixキャッシュ数や再計算・ゲートの計算コスト、ハイパーパラメータ感度の詳細も不明。塑性-安定性の理論保証も示されてない。

まず昨日の課題を思い出してからにしろ。

VLAはロボットの行動ラベル付き実演に依存しがちで、汎化がデータの多様性に縛られる。人間動画は多様だけど、そのままロボットの実行行動にはならない。ここが動機。

大きく分けると、潜在行動モデルはフレーム遷移から行動っぽい変数を作る。人手ポーズや物体相互作用を明示的に推定する完全監督型もある。あとThinkActやMolmoActみたいに中間推論を入れるVLA、世界モデルや視覚予測を使う手法もある。

未来予測を制御出力や計画に使うんじゃなくて、CoDが想像した未来と観測未来の一致を学習時の報酬にする。CoDは離散モーション列で、人間とロボットの共通の行動推論インターフェースとして使う。

ロボット軌道や注釈付き人手軌道を正規化したデルタEnd-Effector表現に直して、FAST系のモーショントークナイザーで離散トークン列にする。まず行動ラベル付き実演で接地する。

そう。共通の離散語彙にはするけど、人間とロボットの運動学が同じとは仮定しない。あとCoD-conditioned future imaginationは凍結DINO特徴空間で未来を予測する。RGB再構成じゃない。

SFTではCoDのクロスエントロピーと未来特徴の距離をjointで学習する。次にRLで、同じ文脈からサンプルした複数CoDの想像未来と観測未来の類似度を報酬にしてGRPOで更新。SFTの接地を保つためにsupervised replayも入れる。

motion-enhanced feature similarityで、現在から未来に大きく変わるパッチのDINO一致を重めに見る。でも全体シーンの寄与も残して、背景だけで報酬が決まらないようにする。観測フレームだけ使うから行動注釈はいらない。

提示本文ではシミュレーションと実ロボットで、人間からロボットへの転移と未知タスク・未知環境への汎化を示した、と報告している。Figure 1には比較棒グラフがあるけど、同一条件の詳細や全ベースラインの数値対応は本文だけでは確認できない。

原論文は潜在行動モデル、明示的監督型、推論付きVLA、世界モデル／視覚予測系と対置している。ThinkWorldの違いは、未来予測をデプロイ時の制御に使わず、学習時の報酬として使う点。ただし比較条件の細部は提示本文からは確認できない。

行動注釈なしの動画の観測遷移を行動推論の監督に変えられること。人間とロボットの経験を同じCoD空間で洗練できる点が大きい。

入力は言語指示、現在の視覚観測、履歴フレーム、ロボットなら固有受容覚。SFTには行動ラベル付きロボット実演と人手注釈付き動画、RLには時間順の人間・ロボット動画の観測未来が要る。未来想像は凍結DINO特徴空間で、VLMとaction expertとモーショントークナイザーを前提にする。

提示本文からは確認できない。あと制限もあって、CoDの初期接地には行動ラベルか人手注釈が要る。RLは観測された未来遷移が必要だし、報酬はDINO特徴類似度でタスク成功を直接最適化するわけじゃない。

そう。未来予測はデプロイ時に捨てるから、効果は学習された表現に依存する。ここは原論文の報告と、記事としての解釈を分けて読む必要がある。

亜美の場合はまず動画を一時停止して見るところからだな。

うん。論文は、GPT-6-Astraを核にしたエージェントが、EBenchで直接ロボットを操作する場合と、学習済みのVLAやWAMポリシーを呼ぶ場合を比べてる。

VLAは視覚と言語を行動に結びつけるポスト学習モデル。WAMは未来の視覚変化と行動を一緒にモデル化する。論文ではπ0.5とInternW0-Δを呼ぶ構成も試してる。

フロンティアMLLMはロボット専用学習なしでも操作できる可能性があるけど、ポスト学習ポリシーと比べてどこが強くてどこが弱いか、連携するとどうなるかが十分整理されてなかった。だから同一条件で比べた、ってのが動機。

そう。EBenchの26タスク、510エピソードで、入力はRGB画像と固有受容覚だけ。深度やカメラキャリブレーション、シミュレータの正解情報は使わない。エージェントはGPT-6-Astraで、1訓練エピソードから作ったタスク説明をsingle-shotで与えるだけで、パラメータ更新はしない。

うん。EEF、ベース、グリッパーの指令を直接出す。もう一つのハーネス連携では、それに加えてπ0.5かInternW0-Δを指定ステップだけ呼べる。ポリシーは固定タスク指示で動く。

直接制御は総合成功率46.7%、ステージ完了スコア0.654。短期的なタスクでは73.2%で、比較したポスト学習ポリシーの中では1位。汎化4次元での成功率のばらつきも最小。でも長期27.3%、卓上20.0%、高精度接触11.3%まで落ちる。

π0.5連携で53.0%、InternW0-Δ連携で56.0%。成功あたりのトークンコストも半分以上減る。InternW0-Δの構成は比較したポスト学習ポリシーを上回る、と報告されてる。

そこが大事。単体コンポーネントのタスク別上限には届かない。理由として、ポリシーを呼ぶ判断が最適じゃない、固定指示でサブゴールを渡せない、エージェントが制御に戻る時に把持維持が崩れる、が挙げられてる。高精度接触はどちらでも未解決。

そう。直接制御とポリシー連携の補完関係を、同じEBench条件で対応付けて見たのが大きい。ただ、実機や別ロボット、別MLLMでの確認は提示本文からは確認できない。あくまでこのシミュレーション評価の範囲。

それ、たぶん呼ばれないやつ。

ざっくり言うと、未来の映像と行動を作るWAMに、コードでスキルを組むエージェント的な考え方を混ぜた枠組み。WAMは先の見通しはあるけど、長いタスクをどう分解してスキルを再利用するかが弱い。逆にコード計画側は、物理的な予測に裏打ちされにくい。そこをつなぐのが狙い。

そう。コード、未来映像、ロボット行動を三つの生成ストリームとして、Mixture-of-Transformersで一緒に生成する。コード専門の部分がパラメータ付きのスキル手順や制御ロジックを作り、映像専門が未来の見え方、行動専門が低レベル指令を担当する。

その理解でいい。しかもコードは、多段階の予測と制御の構造を与える役割と、あとでエージェントが再利用できるプログラムとしての役割の両方を持つ。論文では、ロボットと人間の動画軌道にプログラムを対応づける自動注釈パイプラインも作って、繰り返し出るルーチンをスキルライブラリにまとめてる。

論文の言い方だと、注釈付きの軌道から再利用可能なスキルを見つけて、事前学習と下流の微調整に使う。実行時は、行動チャンクをそのまま使うモードと、プログラム的なスキル呼び出しを切り替えるハイブリッドも試してる。

入力は多視点観測、言語指示、ロボット状態、直前のプログラムスライスの記憶。出力はスキル計画コード、未来映像、行動チャンク。事前学習は約2,000時間のYAMロボットデータと約1,000時間の一人称ヒューマン操作データを使って、YAM 23件・ヒューマン27件の計50スキルからなる実体別ライブラリを構築してる。

RoboTwin 2.0のcleanとrandomで、50タスク×50ロールアウト。比較はπ0.5（VLA）、EgoScale（一人称ヒューマンデータで事前学習したVLA）、DreamZero（映像と行動を共同生成するWAM）、WLA（テキストのサブタスク・サブゴール画像・行動を自己回帰的に予測）。baselineとdefaultのAW-0は同じタスク別デモと同じ評価プロトコルを使ってる。

平均成功率はπ0.5が41.3、DreamZeroが25.6、EgoScaleが14.5、WLAが34.2、AW-0が50.7、AW-0 hybridが46.2。cleanだけならAW-0が80.8で、WLAの64.8より高い。randomは標準AW-0が20.6、hybridが29.2で、hybridが補完する形。

そこは慎重。論文もrandomではhybridが標準AW-0を補うと述べてるけど、cleanほど余裕があるわけじゃない。実機の双腕タスク8個でも改善を報告してるけど、提示された本文からは詳細数値を確認できない。言語追従や意味推論、ロバスト性の改善も報告されてる。

うん。コードが長期タスクの構造を与えて、映像予測が物理的な見通しを、行動生成が実行を担う。だからスキルの再利用と物理的な予測を同じ枠組みで結びつけられる、というのが論文の主張。記事として見るなら、論文の報告とこちらの解釈は分けたほうがいい。

評価はRoboTwin 2.0と実機8タスクに限られて、未知のロボットや環境、長期タスクへの一般化は未検証。スキル再利用は事前定義APIや実体別スキルライブラリ、自動注釈パイプラインに依存する。hybridは別途集めたCaPデモと切り替え判定が前提で、標準設定とは条件が違う。計算コスト、推論遅延、安全性、失敗時のリカバリも提示本文からは十分確認できない。

まず締切を観測するところからだな。

ああ、蒸留は機械学習の用語で、大きなモデルの知識を小さなモデルに移すことだよ。INDIはロボットの行動デコーダに『意図』を教える手法なんだ。

うん、デモンストレーションから行動の目的を抽出するんだ。例えば、コップを掴む動作でも、『飲むため』なのか『片付けるため』なのかで意図が違う。それを教師VLMが抽出して、デコーダの中間層で再現させるんだよ。

単に動作を真似するだけだと、環境が変わったときに対応できないんだ。意図を理解していれば、同じ目的を達成するために別の動作を選べるからね。

実世界でも62.0%から68.7%に上がったよ。特に長期的なタスクでは最大12ポイントも改善したんだ。

実世界はノイズや環境の変化が大きいからね。それに、教師VLMが抽出する意図が完璧とは限らない。あと、デコーダの構造によっては蒸留がうまくいかない場合もあるみたい。

そうだね。特に、ロボットが複雑なタスクをこなすときには、意図の理解が重要になるから、今後の発展が期待できるよ。

その前に、君の『宿題をやる』って意図を汲んで、自分でやってくれるロボットが欲しいけどね。

ああ、あれね。ロボットの行動生成に使うモデルなんだけど、要は訓練中にだけビデオ世界モデルで未来の映像を予測して、その予測で得た表現を行動生成に使うって話。

推論時にはビデオモデルを完全に取り除くから、VLA（ビジョン・ランゲージ・アクション）と同じくらいの低レイテンシを保てるんだ。世界モデルの利点だけを享受したいってわけ。

まあ、そんな感じ。訓練中に未来予測をさせることで、ダイナミクス（物体の動きとか）の理解を表現に埋め込むんだ。

うん。ビデオ世界モデルが将来の映像を予測するとき、物体の動きや相互作用を学習する。その表現を行動生成に使うことで、ロボットが環境の変化をよりよく理解できるようになるんだ。

訓練中に学習した表現が行動生成モデルに埋め込まれるから、推論時にはビデオモデルがなくてもその知識が生きてるんだよ。蒸留みたいなものだね。

そうだな、ビデオ予測の訓練には計算コストがかかるし、予測が正確でないと表現の質も落ちるかもしれない。あと、実環境の複雑なダイナミクスを完全に捉えられるかはまだ課題だと思う。

そうだね。ただ、まだ研究段階だから、これからもっと改良されるかもしれない。

それはいいけど、君がロボットに全部任せて、自分は何もやらなくなりそうだね。

呪文じゃないよ。これはVLAモデル、つまり画像と言葉を理解してロボットを動かすAIを、もっと賢く、正確にするための新しい仕組みについての論文だね。

実は、VLAモデルは考えが進むにつれて、最初に見た「周りの状況」を忘れちゃうことがあるんだ。人間で言うと、料理中に「あれ、今何を切ろうとしてたっけ？」ってボケちゃう感じかな。

親近感持ってる場合じゃないよ。ロボットがそれをやると、変な動きをして失敗しちゃうからね。この論文では、モデルが「どれくらい混乱しているか」を『Action Entropy（行動エントロピー）』っていう指標で測るんだ。

簡単に言うと「迷いの度合い」だね。次に何をすべきか確信が持てないとき、この値が高くなる。この論文の面白いところは、その迷いが強くなった瞬間に、さっき見た画像を「ほら、これを見て思い出して！」って脳内に再注入する点なんだ。

例えは悪いけど、まあそんな感じだね。具体的には、モデルの中にあるFFNっていう部分を「知識の引き出し」として使って、そこに視覚情報を流し込むんだ。これを『UAOR（不確実性を考慮した観測再注入）』と呼んでいるよ。

FFN（Feed-Forward Network）だよ。AIの中でデータを処理する基本的なパーツなんだけど、最近の研究ではここが「メモリ」みたいな役割を果たしていることが分かってきたんだ。そこを上手く活用するから、追加の学習もいらないし、後付けでポンと導入できるのがこの手法のすごいところだね。

実験では、シミュレーションでも本物のロボットアームでも、成功率がかなり上がったみたいだよ。特に、複雑な指示や長い作業でも、視覚情報を「再注入」することで最後まで集中を切らさずに動けるようになったんだ。

そうだね。既存のモデルを改造せずに性能を底上げできるから、実用化への期待は大きいよ。ただ、どのタイミングで「再注入」するのがベストかっていうしきい値の設定には、まだ課題があるみたいだけどね。

それはただのカンニングだし、そもそも亜美さんの場合は「再注入」する元の知識が脳内に入ってないだろ。まずはちゃんと勉強しなさい。

お、よく見つけたな。これは今のロボットAI、つまりVLAモデルが抱えている大きな弱点を解決しようとする面白い研究だよ。

まあ、似たようなものかな。今のVLAモデルは、何百万回も練習させても、ちょっと部屋の明るさが変わったり、見たことない物が置いてあるだけで失敗しちゃうことが多いんだ。これを「汎用性が低い」って言うんだけどね。

原因の一つは、ロボットの「目」にある。今のモデルの多くは、静止画をたくさん見て学習したモデルを「目」として使っているんだ。でも、ロボットが動くときって、世界は動画みたいに連続して変化するだろ？

その通り。そこでこの論文では、動画の「次」を予測するように訓練された「V-JEPA 2」っていうモデルをロボットの「目」として使おうと提案しているんだ。これを「動画予測埋め込み」と呼んでいるよ。

大きく分けて2つの力が身につく。1つは「環境理解」。照明や背景みたいな、タスクに関係ないノイズを無視して、動かすべき物体だけを正確に捉える力だ。もう1つは「方策プライア」。これは、自分の行動で世界がどう変わるかという「先読み」の知識のことだよ。

予知というか、物理的な変化の法則を理解する感じかな。具体的には、既存のVLAモデルにこのV-JEPA 2の知識を混ぜる「JEPA-VLA」っていう手法を作ったんだ。混ぜ方にも、単純に情報を足す「Early Fusion」と、必要な時だけ注目する「Gated Fusion」の2種類がある。

その可能性は高いね。ただ、まだ課題もある。動画を扱うから計算量が増えるし、もっと複雑な動きを予測するにはさらに巨大なデータが必要になるだろうしね。

そうだね。これはVLAモデル、つまり「見て、言葉を理解して、動く」ロボット用AIの弱点を克服しようとする研究だよ。亜美さんは、ロボットに「コーラを皿の上に置いて」って頼んだのに、なぜかオーブンに入れられそうになったらどう思う？

それが「意図と行動のギャップ」っていう問題なんだ。AIが言葉の意味を完璧に理解できていなかったり、ちょっと言い方を変えるだけで混乱しちゃうのが今の限界なんだよね。

普通はそう考えるよね。でも、学習データを増やすのはすごくお金も時間もかかるし、新しいことを覚えると古いことを忘れちゃう「破滅的忘却」も起きやすいんだ。だからこの論文は、「動く直前にもっとよく考えさせよう」っていう「テストタイムスケーリング」を提案しているんだよ。

違うよ（笑）。実行時に計算量を増やして、たくさんの選択肢の中から一番いいものを選び出すってことだね。具体的には、指示をいろんな言い方に変えてみて、それぞれの指示に対してロボットがやりそうな動きを何パターンもシミュレーションするんだ。

そこで登場するのが「CoVer（カバー）」っていう検証モデルだ。これは「対照学習」っていう手法を使っていて、画像と言葉とロボットの動きがどれくらいマッチしているかを点数化するんだよ。何千万ものデータから「正しい組み合わせ」と「間違った組み合わせ」を学んでいるから、筋の良い動きを見抜けるんだ。

シミュレーションでも強かったけど、特に現実世界の実験では成功率が45%も上がったんだ。これは、ただモデルを大きくして学習させるよりもずっと効率的だって証明されたことになるね。

汎用的なロボットの実現には大きな一歩だね。ただ、まだ課題もある。今は「言い換え」や「行動候補」をランダムに作っている部分があるから、もっと賢く候補を絞り込めるようになれば、さらに進化するはずだよ。

亜美さんの場合は、考える前にまずちゃんと「学習」して知識を蓄えないと、どれも不正解になっちゃうよ。