TL;DR
JVTは、事前学習済み自動エンコーダやU-Net型スキップ、カスケード、追加ディテイラなしで、画素空間の動画拡散をシンプルなDiT型Transformerで行う手法です。大パッチ動画埋め込み、レジスタトークン、AdaLNを検討し、クラス条件付き・無条件生成で潜在拡散ベースラインと競合する品質を報告しています。さらにRGBと視差を同時生成し、カメラ条件付き生成でカメラ追従を改善、推論時に追加再構成モデルなしで点群を得られることを示します。
既存手法との違い
原論文の主比較はLatte(DiTベースの潜在拡散)で、GAN、自己回帰、U-Net型潜在拡散、DiT型潜在拡散も比較対象です。条件は256×256・16フレーム・FVD@2048で、UCF-101のクラス条件付き/無条件と、FaceForensics・SkyTimelapse・Taichi-HDの無条件生成です。Tab.1では、例えばJVT+RGがクラス条件付きUCF-101でFVD 129.2(Latte 477.97)、無条件FaceForensicsで31.80(Latte 34.00)、SkyTimelapseで47.80(Latte 59.82)と報告されています。JVTは自動エンコーダやU-Netスキップ、カスケードなしの画素空間DiT型Transformerで、潜在拡散との品質比較を狙う点が違いです。比較は原論文の設定・報告値に限り、本記事で追試したものではありません。
使える条件
原論文の評価は、256×256解像度、16フレーム、フレーム間隔3の動画クリップが中心です。クラス条件付き生成・無条件生成ではUCF-101、FaceForensics、SkyTimelapse、Taichi-HDを使用しています。カメラ条件付きRGB-視差生成では、初期RGBフレームと目標カメラ軌道を入力し、RGBと視差を同時生成します。推論時は予測視差を深度に戻し、カメラパラメータで逆投影して点群化します。効率指標の一部は1枚のNVIDIA 4090で測定されていますが、主モデル全体の計算資源詳細は提示本文からは限定的です。テキスト条件付き生成、長尺・高解像度動画、他の画素整合モダリティの実評価は提示本文では確認できません。RAG/LLM向けの検索手法ではなく、動画生成モデルに関する論文です。
限界と未検証の範囲
評価は主にFVDと限られたデータセット・解像度・フレーム数に基づきます。カメラ条件付きの同時生成はRGB-視差で実演されていますが、法線・セグメンテーション・オプティカルフローなど他の画素整合モダリティは定式化に触れるものの、提示本文では実験結果を確認できません。長尺動画、高解像度、リアルタイム性、エッジ環境、テキスト条件付き生成への一般化は未検証です。点群化は追加再構成モデルなしで可能とされますが、カメラパラメータが必要です。レジスタガイダンスの有効性は原論文の実験条件に限られ、独立追試は本記事では行っていません。定性結果は付録Fig.8に言及されますが、提示本文には含まれていません。
図1: 提案手法の概要(本記事による図解)
解説

JVTってタイトルからして『ただのVideoTransformer』って感じだけど、何がすごいの?

画素空間の動画拡散を、事前学習済み自動エンコーダもU-Net型スキップもカスケードも追加ディテイラもなしで、シンプルなDiT型Transformerでやる手法。

えっと、潜在拡散は一回圧縮してから生成するんだよね? なんで画素空間に戻るの?

潜在拡散は自動エンコーダの再構成誤差や追加の学習・推論コスト、画素整合モダリティの同時モデリングの制約がある。論文はその辺を動機にしてる。

なるほど。で、画素空間の動画生成ってこれまで大変だったの?

既存の画素空間動画はU-Net型スキップやカスケードに頼るものが多い。JVTは単純なDiT型でどこまで行けるかを調べる。

へえ、じゃあ構成はかなりそぎ落としてるんだ。

ノイズ入り画素からきれいな動画を予測するrectified-flowの目的で学習する。動画パッチ埋め込みはtubelet、ボトルネック付き、patch-first、frame-firstを比較して、品質と効率のバランスでpatch-firstのCb=32をデフォルトにしてる。

Cbって何?

パッチ埋め込みの中間チャネル幅。小さめにしてコンパクトな表現にする。あとレジスタトークンとAdaLNも検討してる。

レジスタトークンは条件を運ぶ追加スロットみたいな感じ?

本文では最初のL1ブロック後に視覚トークンへ前置して、残りL2ブロック後に捨てる。ノイズレベルやクラス埋め込みを足して条件経路を増やせる。サンプリング時はレジスタガイダンスで寄与を強める。

CFGと組み合わせるんだ。

そう。式ではCFGとRGのスケールを別々に重み付けする。原論文は訓練中レジスタを落とさず、サンプリング時だけ外してvnrを計算する設定で、RGが有効だったと報告してる。

画素空間のままだと、RGB以外も同じ格子で扱いやすいって話もあったね。

RGBと視差をチャネル結合して同時生成する。カメラ条件付きで初期RGBフレームと目標カメラ軌道を入力し、推論時に視差を深度に戻してカメラパラメータで逆投影すると、追加の再構成モデルなしで色付き点群が得られる。

評価はどうやって比べてるの?

主比較はLatteっていうDiT型の潜在拡散。ほかにGAN、自己回帰、U-Net型潜在拡散、DiT型潜在拡散とも比較してる。条件は256×256、16フレーム、FVD@2048で、UCF-101のクラス条件付き・無条件と、FaceForensics、SkyTimelapse、Taichi-HDの無条件。

数字は?

原論文のTab.1だと、JVT+RGがUCF-101クラス条件付きでFVD 129.2、Latteが477.97。無条件FaceForensicsは31.80対34.00、SkyTimelapseは47.80対59.82。あくまで論文の報告値で、ここで追試したわけじゃない。

なるほどね。単純なTransformerでも潜在拡散と競合する品質ってのが売りなんだ。

意義は、画素空間でもシンプルなDiT型が通用する可能性を示したことと、画素整合モダリティを同じ枠組みで同時生成できること。カメラ条件付きRGB-視差でカメラ追従がRGBのみより改善したとも報告してる。

じゃあ弱点は?

評価は限られた解像度・フレーム数・データセット中心。法線やセグメンテーション、オプティカルフローは定式化に触れるけど、提示本文では実験結果を確認できない。長尺や高解像度、テキスト条件付き生成への一般化も未検証。点群化にはカメラパラメータが要る。

定性結果は付録Fig.8って書いてあるけど、提示本文には載ってないんだ。

そう。本文で確認できる範囲と、確認できない範囲を分けて読む必要がある。

画素空間で直接やるのって、野菜を洗わず丸かじりする豪快さだね。

洗え。……でも自動エンコーダなしでやってるのは、たしかに丸かじり系。