TL;DR

拡散モデルの推論を、複数サンプルを融合して共有バックボーンで処理し、分離して個別出力に戻す「1回のノイズ除去評価で複数サンプルを扱う」枠組み。U-Net・Transformer・潜在拡散に適用でき、TFSで融合数を時間方向に調整する。既存のステップ削減やキャッシュと併用できると報告。品質低下は小さいと主張するが、提示本文では数値結果の全体は確認できない。

既存手法との違い

原論文は、ステップ削減サンプラーやキャッシュ(DeepCache等)による「1サンプルあたりの遅延削減」と比較し、ManiFusionを「1回のノイズ除去評価で複数サンプルを処理する」直交するスループット軸の高速化と位置づける。表1ではVanilla、TFSなしの固定K=2、TFSありをDDPM・DDIM・Flow MatchingおよびDiTで比較しているが、提示本文では表が途中で切れており数値は確認できない。ManiFusionは既存のステップ削減やキャッシュと併用可能と報告されている。

使える条件

対象は画像生成向けの拡散モデル。画素空間U-Net(DDPM)、Diffusion Transformer(DiT)、潜在拡散のAutoencoderに適用例がある。生成過程はDDPM・DDIM・Flow Matching、条件付き/無条件生成、CIFAR-10・CelebA・ImageNetが本文で言及される。バックボーンを「融合F→共有本体→分離U」に再構成し、インデックス条件付きの融合/分離モジュールを置く前提。TFSは推論時に独立学習した固定Kモデルを切り替える方式で、MF-AEではサンプリング中Kを固定する。幾何的には共有表現の次元DがKd以上であること等の条件が議論されるが、実務上の閾値は本文からは確認できない。

限界と未検証の範囲

融合により同じ表現に写る入力間で必要な予測が異なると、融合曖昧性として不可避の誤差が残る。TFSの配分はDDPM/DDIMで50%をK=4、25%をK=2、25%をK=1とする等の設定で、Flow Matchingではスケジューラ間隔に応じるなど、軌道依存の割当てが必要。MF-AEはK固定。評価は画像生成に限られ、LLM/RAG・動画・音声などは未検証。提示本文では表1の数値全体、高解像度ImageNetの詳細、融合/分離の実装オーバーヘッドの定量は確認できない。

図1: 提案手法の概要(本記事による図解)

ManiFusionの全体像として、K個の入力を融合Fで共有表現にし、共有バックボーンで処理した後、分離UでK個の出力に戻す流れと、TFSが融合数K_tを時間方向に調整する関係を示す(モジュール内部や学習手順は簡略化)。
ManiFusionの全体像として、K個の入力を融合Fで共有表現にし、共有バックボーンで処理した後、分離UでK個の出力に戻す流れと、TFSが融合数K_tを時間方向に調整する関係を示す(モジュール内部や学習手順は簡略化)。

解説

AMI THINKING

ねえ智也くん、拡散モデルの高速化って、ステップ減らすとかキャッシュするとか、1枚を速くする話が多かったよね。でもこのManiFusionはちょっと違う方向?

TOMOYA EXPLAINING

そう。論文の出発点は、1サンプルあたりの遅延を縮める高速化がだんだん飽和してきたって話。そこで1回のノイズ除去評価で複数サンプルをまとめて処理して、スループットを上げる直交する軸を狙ってる。

AMI SURPRISED

1回の計算で複数枚? それって画像を混ぜちゃってぐちゃぐちゃにならないの?

TOMOYA EXPLAINING

そこが肝。ManiFusionはまずK個の入力を融合して共有バックボーンに通し、その後インデックス条件付きのunfusionで個別の出力に戻す。バックボーン本体の計算を複数サンプルで共有するイメージ。

AMI THINKING

融合と分離を前後に挟むんだ。で、ずっと同じ融合数でやるの?

TOMOYA EXPLAINING

いや、Trajectory-Fusion Scheduling、TFSを使う。拡散の軌道が安定なところは大きい融合数、敏感なところは小さい融合数にする。DDPMとDDIMでは例えば50%をK=4、25%をK=2、25%をK=1にする設定が本文にある。

AMI UNDERSTOOD

なるほど、雑な段階と繊細な段階を分ける感じか。適用できるモデルは限られる?

TOMOYA EXPLAINING

論文はbackbone-agnosticをうたってて、画素空間U-NetのDDPM、Diffusion Transformer、潜在拡散のAutoencoderに適用してる。DDPM・DDIM・Flow Matchingも扱ってる。ただしMF-AEではサンプリング中はK固定って条件。

AMI NEUTRAL

評価は何と比べてるの?

TOMOYA EXPLAINING

表1ではVanilla、TFSなしの固定K=2、TFSありのManiFusionを、DDPM・DDIM・Flow MatchingとDiTでCIFAR-10やCelebAに対して比較してる。でも提示された本文では表が途中で切れてて、数値全体は確認できない。

AMI SAD

そっか、品質低下が小さいって主張はあるけど、数字はこの本文だけじゃ追えないんだ。

TOMOYA THINKING

そう。あと既存のステップ削減サンプラーやDeepCacheみたいなキャッシュと併用できるとも報告してる。1サンプルを速くする軸とは別だから、組み合わせでさらにスループットを狙える、という位置づけ。

AMI THINKING

仕組み的に気をつける点は?

TOMOYA EXPLAINING

融合で同じ表現に写った入力同士で必要な予測が違うと、融合曖昧性として誤差が残る。幾何的には、共有表現の次元がKd以上あることとか、インデックス条件付きの融合で各スロットの変化を分離することが議論されてる。実務上の閾値は本文からは確認できないけど。

AMI NEUTRAL

制約も結構ある?

TOMOYA EXPLAINING

TFSの割当ては軌道依存で、DDPM/DDIMとFlow Matchingで考え方が違う。MF-AEはK固定。評価は画像生成に限られてて、LLMや動画、音声は未検証。融合・分離の実装オーバーヘッドの定量も提示本文では確認できない。

AMI UNDERSTOOD

でも意味は大きいよね。1枚を速くするんじゃなくて、1回で何枚扱うかっていう別の軸を作って、既存手法とも併用できるってのが。

TOMOYA HAPPY

うん。そこがこの論文の主張の中心。品質低下を最小にしつつ、既存の高速化では届きにくいスループット領域を狙う、という報告。

AMI SMILE

じゃあ私も、友達3人と融合して1回の授業で4人分の単位をもらう作戦で…。

TOMOYA NEUTRAL

それは融合じゃなくて、ただの代返だよ。