TL;DR
TRAGは、視覚言語モデルの敵対的微調整で視覚表現が崩れるのを、事前学習テキストエンコーダの局所応答から作る方向別制約で抑える手法です。既存の特徴量一致より意味的な方向を考慮し、予測分布一致より候補テキストへの依存を減らすことを狙います。論文では複数アーキテクチャ・タスクでクリーン性能とロバスト性能の向上を報告していますが、提示本文で確認できる評価範囲には限りがあります。
既存手法との違い
比較対象はTeCoA、PMG-AFT、FARE、TGA-ZSR、QT-AFT、AGFTなどです。TeCoAはテキスト誘導コントラストで敵対的微調整を行い、FAREやQT-AFTは特徴量一致、PMG-AFTやAGFTは予測分布一致に基づくガイダンスを使います。TRAGは固定した事前学習テキストエンコーダの局所応答からアンカー制約を作り、クリーン画像での画像–アンカー関連度で重み付けする点が異なります。表1ではCLIP ViT-B/32をImageNetで訓練/テスト予算2/255で微調整し、16データセットのゼロショット分類を評価しており、報告ではTRAGが敵対的微調整手法の中で平均クリーン59.60・平均ロバスト35.09となり比較手法を上回っています。
使える条件
主な対象はCLIP系の視覚言語モデルにおけるゼロショット画像分類と画像–テキスト検索、およびLVLMの画像キャプションと視覚質問応答です。敵対的微調整では画像エンコーダのみを更新し、テキストエンコーダは固定します。既知のテキストをセマンティックアンカーとして使い、事前学習モデルのクリーン画像での画像–アンカー関連度を重みにします。ImageNetで微調整し、未知の下流データでゼロショット評価する設定や複数の脅威モデルが報告されています。計算資源や実装コストの詳細は提示本文からは確認できません。
限界と未検証の範囲
提示本文から確認できる範囲では、TRAGはテキストエンコーダを固定して画像エンコーダを微調整する設定が中心です。テキスト側の適応、未知のVLMアーキテクチャ・言語・ドメインへの一般化、敵対的攻撃以外の分布シフトへの頑健性は本文だけでは不明です。局所応答のヤコビアンやSVDを用いるため追加計算が想定されますが、その定量評価は提示本文からは確認できません。表1はViT-B/32・ImageNet・予算2/255の一条件であり、他の条件への一般化は原論文の追加評価を確認する必要があります。
解説
ねえ智也、このTRAGって論文、視覚言語モデルの敵対的微調整の話？
うん。VLMsはゼロショット汎化が強いけど敵対的攻撃に弱い。敵対的微調整で頑健にすると、今度はゼロショット性能が落ちやすい。そこが出発点。
え、頑健にすると別の性能が落ちるの？ じゃあ画像とテキストの対応を保つのが大事なんだ。
そう。既存のガイダンスは大きく二つ。視覚特徴を事前学習モデルに合わせる特徴量一致と、候補テキスト上の予測分布を合わせる分布一致。
特徴量一致は広く守れそう。分布一致は意味を考えられそう。いいとこ取りできないの？
特徴量一致は全方向を均等に抑えるから、広いけど意味的な強調がない。分布一致は意味的方向を重視できるけど、候補テキストと予測確率に縛られる。補完的な限界がある。
なるほど。じゃあTRAGはどこを見るの？
事前学習テキストエンコーダの局所応答。既知のテキストをセマンティックアンカーにして、その入力埋め込みを少し動かしたときの応答方向と大きさから、アンカーごとの制約を作る。
テキスト側の変化の向きを方向別の罰則に変える感じ？
そう。固定予算で方向別に罰則を配分して、最後にクリーン画像での画像–アンカー関連度で重み付けする。画像ごとに適応する制約になる。
候補テキストだけに依存しないのがポイントっぽいね。
うん。特徴量一致より意味的方向を考えて、分布一致より候補テキスト依存を減らす狙い。ただ、提示本文ではテキストエンコーダを固定して画像エンコーダだけ更新する設定が中心。
評価はどうなってるの？
論文は複数アーキテクチャとタスクでクリーン性能とロバスト性能がSOTAって報告してる。ゼロショット分類、画像–テキスト検索、クラス教師ありと画像–テキスト微調整、複数の脅威モデル。LVLMの画像キャプションとVQAにも効果が及ぶって。
具体的な比較は？
比較対象はTeCoA、PMG-AFT、FARE、TGA-ZSR、QT-AFT、AGFTなど。TeCoAはテキスト誘導コントラストで敵対的微調整、FAREやQT-AFTは特徴量一致、PMG-AFTやAGFTは予測分布一致のガイダンス。TRAGは固定したテキストエンコーダの局所応答からアンカー制約を作って、クリーン画像の画像–アンカー関連度で重み付けする点が違う。
数字も知りたい。
表1ではCLIP ViT-B/32をImageNetで訓練/テスト予算2/255で微調整して、16データセットのゼロショット分類を評価。報告ではTRAGの平均がクリーン59.60、ロバスト35.09で、比較手法を上回ってる。
へえ。でもそれって一条件でしょ？
そう。表1はViT-B/32・ImageNet・予算2/255の一条件。他の条件への一般化は原論文の追加評価を確認する必要がある。
意義はどう見る？
意味的方向を考えた制約で、事前学習の画像–テキスト関係を保ちやすくするのが意義。分析とアブレーションでも関係保持を支えるって報告してる。
万能なの？
提示本文から確認できる範囲では、テキスト側の適応、未知のVLMアーキテクチャ・言語・ドメイン、敵対的攻撃以外の分布シフトは不明。局所応答にヤコビアンやSVDを使うから追加計算がありそうだけど、定量評価は本文から確認できない。実装や追試はしてないから、論文報告と記事の解釈は分けたい。
ちゃんとそこ分けるの大事だね。じゃあTRAGは「テキストの小声で画像の暴走を止める」って覚えればいい？
小声じゃない。方向別の制約だ。あと、その例えはちょっと盛りすぎ。