TL;DR
ID-WMは、長期計画を「どこへ行くか」と「どう動くか」に分ける階層型ワールドモデルです。高レベルは拡散モデルのノイズを暗黙の行動として扱い、到達可能なサブゴールを生成。低レベルは世界モデルを逆動力学として使い、実行可能な行動列を計画します。報酬や事前学習済み方策に依存せず、Wall・PushT・Mazeで既存手法を上回ったと報告されています。
既存手法との違い
原論文のAbstractと4.2では、GCBC（模倣学習）、HIQL（オフライン強化学習）、Diffuser、Hierarchical Diffuser（拡散ベース計画）、Single-level WM with MPC（単一レベル世界モデル計画）と比較しています。ID-WMの違いは、高レベルで到達可能なサブゴールを生成し、低レベルで逆動力学として実行行動に落とす階層構造により、タスク固有の価値関数や事前学習済み方策を不要にした点です。Abstractでは、政策・拡散ベース計画に対し38.5%改善、単一レベルWM MPCに対し複雑で未見の長距離設定で135%改善と報告されています。比較条件の詳細や分散は提示本文からは確認できません。
使える条件
連続状態・行動空間のゴール条件付き計画が対象です。報酬なしのタスク非依存オフラインデータで世界モデルを学習し、テスト時に任意の未見ゴールへゼロショットで計画します。固定ホライズンは仮定せず、高レベルは現在状態と時間半径ΔからΔステップ先の到達可能状態を生成、低レベルは過去k状態・行動から次状態を予測し、CEMでサブゴールへの行動列を探索します。評価はWall・PushT・Mazeのナビゲーション／操作で、horizonは数百〜数千ステップです。実ロボット、他タスク、計算資源要件は提示本文からは確認できません。
限界と未検証の範囲
評価はWall・PushT・Mazeの3スイートに限定され、実世界ロボットや他分野への一般化は提示本文から確認できません。高レベル計画はCEMとノイズ正則化に依存し、外れ値潜在が非現実的な遷移を生む可能性を論文自身が議論しています。低レベルもCEMによる計画が必要で、計算コストや実時間性の詳細は不明です。38.5%／135%は特定ベンチマークの報告であり、普遍的な性能ではありません。オフラインデータと学習済み世界モデルは必要で、完全にデータ不要ではありません。
解説
ねえ智也、長距離計画の誤差蓄積を抑える階層型ワールドモデルって面白そう。ID-WMの話、ちょっと教えて？
うん。まず問題は、世界モデルで先を予測しながら計画すると、長いホライズンで探索が爆発して誤差も積み重なること。
なるほど。じゃあ普通のやり方は短いタスク向きになりがちなんだ。
そう。既存の階層手法も、固定のマクロ行動や潜在スキル、報酬や価値関数、事前学習済み方策に頼ることが多い。
そこをID-WMはどう変えたの？
高レベルと低レベルに分ける。高レベルは拡散モデルで、現在状態からΔステップ先の到達可能なサブゴールを出す。ノイズを暗黙の高レベル行動として扱う。
ノイズが行動って発想が面白い。じゃあ低レベルは？
低レベルは世界モデルを逆動力学として使って、サブゴールまでの実行可能な行動列をCEMで探す。つまり『どこへ行くか』と『どう動くか』を分ける。
報酬も事前学習済み方策もいらないってこと？
提示本文では、タスク固有の価値関数や事前学習済み方策への依存をなくす、と書いてある。報酬なしのオフラインデータで世界モデルを学習して、テスト時に未見ゴールへ計画する設定。
対象は連続状態・行動空間のゴール条件付き計画で、固定ホライズンは仮定しないんだ。高レベルは時間半径Δ、低レベルは過去k状態と行動を使う、と。
うん。評価はWall、PushT、Mazeの3スイート。比較相手はGCBC、HIQL、Diffuser、Hierarchical Diffuser、Single-level WM with MPC。
で、結果は？
Abstractでは、政策と拡散ベース計画に対して38.5%改善、単一レベルWM MPCに対して複雑で未見の長距離設定で135%改善と報告されている。
すごいけど、数字はそのベンチマークでの話だよね。比較条件の詳細や分散は提示本文からは確認できない、と。
そう。あと評価は3スイートに限定。実ロボットや他のタスクへの一般化は確認できない。高レベルはCEMとノイズ正則化に依存するし、低レベルもCEMで計画する。計算コストや実時間性の詳細も不明。
オフラインデータと学習済み世界モデルは必要だし、完全にデータ不要ってわけじゃないんだ。
うん。意義は到達可能性と局所制御を分けて、短いセグメントから新しい長距離計画を組み立てられる点。ただし報告は特定ベンチマークの結果で、普遍的な性能ではない。
なるほどね。じゃあ私、ノイズを暗黙の行動って呼ぶたびに、心のノイズも行動に変換してみるよ。
それはただの迷走だろ。