TL;DREMBL AI LI…
TL;DR
World Tokensは、訓練時のみビデオ世界モデルを使って将来の映像を予測し、その予測タスクで得た表現を行動生成に活用するアーキテクチャです。推論時にはビデオモデルを完全に取り除くため、VLAと同等の低レイテンシを維持しつつ、世界モデルの利点（ダイナミクス理解）を享受できます。LIBEROで98.2%、SIMPLERで最高平均スコアを達成し、実機R1 Proでも成功率を59.4%から76.0%に向上させました。
解説
ねえ智也くん、今日のブログの『World Tokens』って何？なんか世界モデルとかビデオ予測とか書いてあって、難しそうだったんだけど。
ああ、あれね。ロボットの行動生成に使うモデルなんだけど、要は訓練中にだけビデオ世界モデルで未来の映像を予測して、その予測で得た表現を行動生成に使うって話。
未来の映像を予測するって、まるでSFみたい！でも、なんで訓練中だけなの？
推論時にはビデオモデルを完全に取り除くから、VLA（ビジョン・ランゲージ・アクション）と同じくらいの低レイテンシを保てるんだ。世界モデルの利点だけを享受したいってわけ。
なるほど、つまり世界モデルは訓練のときだけの先生みたいなもの？
まあ、そんな感じ。訓練中に未来予測をさせることで、ダイナミクス（物体の動きとか）の理解を表現に埋め込むんだ。
それで、性能はどうなの？やっぱりすごいの？
LIBEROベンチマークで98.2%の成功率、SIMPLERでも最高平均スコアを達成してる。実機のR1 Proでも成功率が59.4%から76.0%に上がったらしい。
すごい！でも、なんでそんなにうまくいくの？ただ未来を予測するだけじゃないんでしょ？
うん。ビデオ世界モデルが将来の映像を予測するとき、物体の動きや相互作用を学習する。その表現を行動生成に使うことで、ロボットが環境の変化をよりよく理解できるようになるんだ。
でも、訓練中だけってことは、推論時にはその予測は使わないんでしょ？それでも効果があるって不思議だな。
訓練中に学習した表現が行動生成モデルに埋め込まれるから、推論時にはビデオモデルがなくてもその知識が生きてるんだよ。蒸留みたいなものだね。
なるほどね。でも、何か弱点とか限界はあるの？
そうだな、ビデオ予測の訓練には計算コストがかかるし、予測が正確でないと表現の質も落ちるかもしれない。あと、実環境の複雑なダイナミクスを完全に捉えられるかはまだ課題だと思う。
ふーん、でも世界モデルの利点をコスト増なしで取り込めるって、すごく賢いアイデアだね！
そうだね。ただ、まだ研究段階だから、これからもっと改良されるかもしれない。
じゃあ、将来はロボットがもっと賢くなって、家事とか全部やってくれるようになるかもね！そのときは智也くんも楽できるね。
それはいいけど、君がロボットに全部任せて、自分は何もやらなくなりそうだね。