TL;DR
PixVidは、事前学習済みの潜在動画拡散モデルのDiTを保ったまま、VAEデコーダを畳み込みのDetailerヘッドに置き換え、各フレームを画素空間で直接生成する。x予測と大きめのノイズシフトが品質の鍵。Wan2.1-14Bからの微調整でVBench品質は同等以上、960×1664を480×832と同じフレーム当たりトークン数で生成し、深度条件編集の高速運動追従と次フレーム応答も実現する。ただし単一フレームブロックはスループットとのトレードオフで、評価は短尺・限定的。
既存手法との違い
主な比較対象は、潜在空間で生成するWan2.1-T2V-14Bと、同時期の画素空間モデルPixelUMM（8B MoT）。VBenchでは各プロンプト5本を生成し、最初の1.3秒を採点している。PixVidの総合スコアは480pで84.78、960pで85.09、Wan2.1が84.05、PixelUMMが83.72で、原論文はPixVidが両解像度で総合的に上回ると報告する。最大の改善はdynamic degree、spatial relationship、scene、imaging qualityで、最大の低下はcolor。編集では同一制御分岐を使い、深度条件の高速運動保持がPixVid 98%対同一微調整の潜在モデル83%。遅延は自己回帰蒸留後、中央値495msから34msに短縮したと報告される。
使える条件
前提は、DiTを持つ事前学習済み潜在動画拡散モデルを画素空間へ微調整できること。実験はWan2.1-14Bからの微調整で、1.3Mクリップ（64K動画）と約4K B200 GPU時間を使用している。画素パッチ埋め込みはVAEエンコーダを近似する線形写像Aと時刻校准で初期化し、Detailerヘッドはランダム初期化。高解像度化ではパッチサイズを2倍にしてDetailerにアップブロックを追加し、トークン数を増やさない。編集はVACEの制御分岐、低遅延化はSelf Forcingによる自己回帰蒸留を用いる。評価対象は480×832/960×1664、VBenchの短尺1.3秒、深度条件編集、カメラ制御の遅延。それ以外のデータ・解像度・長尺動画・条件での一般化は提示本文からは確認できない。
限界と未検証の範囲
品質は競合するが全VBench次元で最良ではない（colorは低下）。評価はVBenchの短い1.3秒区間、特定解像度、深度条件編集、カメラ制御の遅延に限定される。単一フレームブロックは応答性と引き換えにスループットを犠牲にする。学習には1.3Mクリップと約4K B200 GPU時間が必要で、ゼロからの学習ではなくWan系モデルへの微調整である。長尺動画、多様なジャンル、深度以外の条件、実運用時の負荷やコストは提示本文からは確認できない。
図1: 提案手法の概要（本記事による図解）
解説
ねえ智也、PixVidってVAEを使わずに潜在動画モデルを画素空間で動かすって話、最初「え、VAE外すの？」ってなった。なんでそんなことするの？
潜在動画モデルはVAEで空間も時間も圧縮してる。だから解像度を2倍にするとトークンが4倍、注意計算が16倍。条件も数フレームまとめてかかるし、応答もブロック単位で待つ。その制約を外すのが狙い。
なるほど。高解像度・編集・インタラクティブの三つがVAEの圧縮で苦しくなってるんだ。
そう。PixVidは事前学習済みのDiTはそのまま使って、VAEのデコーダを畳み込みのDetailerヘッドに置き換える。各トークンが1×p×pで1フレームだけを覆うから、条件や操作がフレーム単位で揃う。
DiTは残すんだ。じゃあゼロから画素動画モデルを訓練するわけじゃない？
そこが大事。Wan2.1-14Bから微調整する。入力側はVAEエンコーダを近似する線形写像Aと時刻キャリブレーションでパッチ埋め込みを初期化して、出力側はランダム初期化のDetailerが画素を描く。
入力は潜在に近いところから始めて、出力だけ画素に替える感じか。品質の鍵は？
原論文はx予測、つまり速度じゃなくてきれいな動画を予測するのが重要って報告してる。あとノイズシフトを大きめにして、Eulerサンプラーを使う。v予測だと画素ノイズを全部モデル化することになって高周波のちらつきが出る、って説明。
へえ。細部をDetailerに任せるから、DiTは構造に集中できるってことだね。
比較はWan2.1-T2V-14Bと同時期の画素空間モデルPixelUMM。VBenchは各プロンプト5本、最初の1.3秒を採点。総合はPixVidが480pで84.78、960pで85.09、Wan2.1が84.05、PixelUMMが83.72。原論文は両解像度で上回ると報告してる。
960×1664でも480×832と同じフレーム当たりトークン数って話もあったよね。どうやって？
パッチサイズを2倍にして、Detailerにアップブロックを1個足す。トークン数を増やさずに解像度だけ上げる。編集ではVACEの制御分岐を同じように使って、深度条件の高速運動保持が98%、同一微調整の潜在モデルが83%。
遅延もすごいんだっけ？
Self Forcingで自己回帰蒸留すると、単一フレームブロックで次のフレームに反応できる。中央値495msから34msに短縮、って報告。ただし単一フレームブロックはスループットとのトレードオフ。
limitationsは？評価が短尺だけとか？
そう。VBenchの1.3秒、特定解像度、深度条件編集、カメラ制御の遅延に限られる。長尺や多様なジャンル、深度以外の条件、実運用コストは提示本文からは確認できない。学習も1.3Mクリップ、約4K B200 GPU時間で、ゼロからじゃなくWan系への微調整だ。
なるほどね。VAEを外したら画素に戻るって、なんか眼鏡を外して素の顔を見るみたいでいいじゃん。
その比喩は微妙だけど、外してるのはVAEだ。