TL;DR
ASAPは、ViTの自己注意をLazy Random Walkとして累積し、注意シンクを幾何学的なアンカーとして使う学習不要のトークン削減手法です。シンクまでの拡散距離でトークンを放射状にクラスタリングし、背景側を重み付きプーリングで圧縮します。画像・動画・VLMで既存の学習不要手法より良い精度保持と最大48%のスループット向上を報告していますが、評価範囲と条件依存性には注意が必要です。
既存手法との違い
原論文は学習不要のトークン削減手法を主な比較対象にしています。画像ではToMe、PPT、DynamicViT、ATS、Zero-TPruneなど、動画ではToMe/PPT、VLMではSparseVLM、VisionZip、PruneSIDと比較しています（Table 1, 3, 4）。既存法は単層の注意スコアやコサイン類似度などの局所指標、または層ごとの定常分布に依存し、注意シンクの影響を受けやすいと論じています。ASAPは累積遷移行列P(t*)上のシンクへの拡散距離を単一基準に、放射状クラスタリングとTransition Weight Poolingを1回実行します。比較条件はImageNet-1KのDeiT/ViT-AugReg/LV-ViT-S、Kinetics-400のCLIP ViT-Large、LLaVAで、同一予算付近の精度保持とスループットで優位と報告されています。数値の一般化はできません。
使える条件
原論文で評価されているのは、ViTの注意マップにアクセスでき、残差をLazy Random Walkとして累積できる設定です。追加学習なしのトークン削減として、ImageNet-1Kの画像分類、Kinetics-400の動画理解、LLaVAのVision-Language Modelで検証されています。実験環境は画像・動画がRTX 4090、VLMがA100と記載されています。ハイパーパラメータK、τ、αと、注意シンクが現れる層t*の検出に依存します。極端な圧縮では既存のプラグイン pruning を併用します。RAGやテキスト検索への適用、その他のアーキテクチャや学習あり設定での有効性は提示された本文からは確認できません。
限界と未検証の範囲
評価範囲はImageNet-1K、Kinetics-400、LLaVAに限定されており、他のタスクやモデルへの一般化は提示本文からは確認できません。比較は学習不要手法が中心で、学習あり手法との比較は確認できません。K、τ、αやt*検出の閾値に対する感度、注意シンクが安定して検出できる条件は追加検証が必要です。最大48%のスループット向上は特定条件での報告であり、全設定に当てはまる主張ではありません。動画ではフレームごとにシンクが移動し、再計算が必要です。極端なトークン予算では既存のプラグイン pruning に依存します。RAG/テキストLLMへの適用やコード公開・再現性は提示本文からは確認できません。
解説
ねえ智也くん、このASAPってViTのトークン削減の話、タイトルからして難しそう。何が問題なの？
ViTは高解像度になるとトークン数が増えて自己注意が重くなる。で、既存の削減は単層の注意スコアやコサイン類似度みたいな局所指標を使うから、attention sinkに引っ張られやすい。
attention sinkって、背景とかに妙に注目が集まるやつ？
そう。論文では、意味的に大事じゃないトークンに注意が偏る現象として扱ってる。既存法は大きな注意＝重要とみなしがちで、小さな前景物体を落とす危険がある。
そこでASAPはそのシンクを逆に使うんだ？
うん。ViTの情報流をLazy Random Walkとして累積し、P(t)を作る。シンクが現れる層t*を列和の閾値τで検出して、[CLS]の注意のargmaxをシンク位置の代理にする。
なんか急にマルコフ連鎖って感じ。で、シンクまでの距離でトークンを分ける？
そう。累積遷移行列の空間で、各トークンとシンクの拡散距離Dを計算する。それを正規化してK個の放射状クラスタに分けるのがRadial Diffusion Clustering。シンクに近いC1を背景側として、Transition Weight Poolingで1トークンに圧縮する。
前景は残すの？
C2以降はそのまま保持。極端に圧縮したい時は既存のプラグインpruningを後段で使える。全部一回のforward、早期層t*でやるのがミソ。
評価は？画像だけ？
画像はImageNet-1KでDeiT、ViT-AugReg、LV-ViT-S。動画はKinetics-400のCLIP ViT-Large、VLMはLLaVA。比較は主に学習不要のトークン削減手法で、表ではToMe、PPT、Zero-TPrune、SparseVLM、VisionZip、PruneSIDとか。
数字はどれくらいすごいの？
論文の報告だと、DeiT-Baseのpooling版で精度低下0.12%、スループット最大48%向上。動画でも精度低下を抑えてる。ただしこれは提示された条件での報告で、全部に一般化できる数字じゃない。
なるほど。意義はシンクを消すんじゃなくて幾何学的なアンカーとして使うこと？
そこが面白いところ。局所指標じゃなく累積情報流の距離で前景と背景を分ける。学習不要で、距離計算はO(N^2)、クラスタ割当はO(N log N)って整理されてる。
でも注意点もあるよね？
ある。評価はImageNet-1K、Kinetics-400、LLaVAに限られてる。K、τ、αやt*検出への依存もある。比較の主眼は学習不要手法で、学習あり手法全般との比較は本文からは確認できない。RAGとかテキストLLMへの適用も不明。極端な予算ではプラグインpruning依存。動画はフレームごとにシンクが動くから再計算が要る。
シンクを錨にするって、沈むのに頼もしいね！
沈むsinkと混ぜるな。