そう。成功デモだけで学習した行動条件付き世界モデルは、行動を変えても専門家っぽい未来を出すことがある。原因は訓練データの行動影響が足りないこと。

状態sで行動aを変えたとき次状態s'がどれだけ変わるか。論文は説明された行動情報を制御性の指標にして、データの条件付き相互情報量がその上限になることを定理1で示してる。専門家デモは行動分布が狭いから上限が低い。

その上限はデータ側の性質だから、容量だけでは上げられない。だから違うデータを能動的に集める必要がある。

うん。AIMはリプレイバッファから逆動力学q(a|s,s')と政策β(a|s)、状態密度d(s)を使って報酬を作る。行動で結果が識別しやすい遷移を報酬化して、評価状態分布に近づけつつ未訪問状態を狙う。

r_AIM=log q(a|s,s') – log β(a|s) + log ρ_eval(s)-log d_k(s)。前半が行動情報、後半が参照状態カバレッジ。定理2では適切な条件下でこの報酬最適化がデータの相互情報量を増やす。

そこは課題。実装ではバッチオンラインRLで密度報酬を更新して、保守的に政策を解く近似をしてる。非定常だし、qやβやdの推定精度にも依存する。

シミュレーションのナビゲーションとマニピュレーションで、探索ヒューリスティックや内在的動機付け手法と比較。ピクセルベースのマニピュレーションではAIMだけが一貫して制御性を改善したと報告されてる。

3kの専門家デモに能動収集500エピソードを足すと、エンドエフェクタ制御性で300k専門家エピソードで学習した世界モデルに匹敵。データ効率85倍。これは論文の報告ね。

提示本文では評価はシミュレーションだけ。実機や他ドメインへの一般化は確認できない。あと比較手法の全詳細やハイパラも本文からは確認できない。

論文は制御性をタスク固有の忠実度の代理として議論してる。でも下流の政策改善への効果がどこまで示されてるかは、提示本文だけだと限定的。そこは解釈を分けて読むべき。

まあ近い。でもAIMは闇雲に探索するんじゃなくて、行動の結果が識別しやすい遷移を狙う。

それはただの食べ過ぎ探索だ。

あながち間違いじゃないよ。これはLLMに「複数の指示」を同時に、かつ正確に守らせるための技術なんだ。例えば「フランス語で」「10語以内で」「全部大文字で」答えて、みたいな複雑な注文のことだね。

そうだね。普通のプロンプトだと、指示が増えるほどどれかを無視したり、質が落ちたりするんだ。かといって、その組み合わせごとにAIを再学習させるのは、お金も時間もかかりすぎて現実的じゃない。それが今の大きな課題なんだよ。

魔法じゃないけど、賢いやり方だよ。まず、個別の指示（例えば「フランス語で」）を、たった一つの「ステアリングトークン」っていうベクトルに凝縮するんだ。これは「自己蒸留」っていう手法を使って、モデルの内部知識を小さなベクトルに詰め込む作業だね。

例えは独特だけど、イメージは合ってる。さらに面白いのが、それらのトークンを繋ぐための「トークン」っていう専用の接着剤みたいなトークンも作ったことなんだ。これが指示同士をどう組み合わせるかを制御する役割を果たすんだよ。

そこがこの論文のすごいところでね。学習のときに「」トークンに「指示を合成する機能」そのものを覚えさせているから、一度も試したことがない指示の組み合わせや、3つ以上の指示が重なっても、ちゃんと機能するんだ。実験では、従来のプロンプトや他の手法よりずっと正確にルールを守れたらしいよ。

その通り。モデルのパラメータは完全に固定したまま、入力の「埋め込み空間」だけで操作するから、元の賢さを保ったまま、特定の振る舞いだけを付け加えられるんだ。これは実用化する上でめちゃくちゃ大きなメリットだよ。

理論上は可能だね。ただ、課題もある。今はまだ「言語」や「長さ」みたいな、はっきり判定できるルールが中心なんだ。もっと主観的な「優しく話して」とか「ユーモアを交えて」みたいな指示をどうトークン化するかは、これからの研究課題だね。

そんなトークン、計算資源の無駄遣いだからいらないよ。……っていうか、今のも手動でツッコませないでくれる？