タグ: ロバスト性

TRAGは、視覚言語モデルの敵対的微調整で視覚表現が崩れるのを、事前学習テキストエンコーダの局所応答から作る方向別制約で抑える手法です。既存の特徴量一致より意味的な方向を考慮し、予測分布一致より候補テキストへの依存を減らすことを狙います。