解説ねえ智也、この論文のタイト…
TL;DR
RITAは、CLIPなどのVision-Language Model(VLM)を敵対的攻撃から守るテスト時適応手法です。従来のサンプル単位の信頼度ヒューリスティックに代わり、複数の拡張ビューを分布として捉え、最適輸送(Optimal Transport)でテキストプロトタイプと分布レベルで整列させます。さらに、テストストリームから信頼できる特徴を動的キャッシュに蓄積し、オンラインで分布整列を洗練。これにより、クリーン精度を維持しつつ敵対的ロバスト性を大幅に向上します。
解説
ねえ智也くん、このRITAって論文、タイトルからして難しそうだけど、教えてくれない？
ああ、RITAは敵対的攻撃からVLMを守るためのテスト時適応手法だよ。CLIPみたいなモデルが、ちょっとしたノイズを画像に加えられただけで誤認識しちゃう問題を解決したいんだ。
なるほど。でも、今までにもそういう防御方法ってあったんじゃないの？
従来はサンプルごとに信頼度を見て対処してたんだけど、それだと不安定で精度が落ちることが多かった。RITAは複数の拡張ビューを分布として捉えて、最適輸送でテキストプロトタイプと分布レベルで整列させるんだ。
分布レベル…つまり、一枚一枚バラバラに考えるんじゃなくて、まとめて全体の傾向を合わせるってこと？
そう。さらにテストストリームから信頼できる特徴を動的キャッシュに蓄積して、オンラインで分布整列を洗練していく。これでクリーンな画像に対する精度を保ちながら、敵対的攻撃に対するロバスト性が上がるんだ。
評価はどうだったの？ちゃんと効果あったの？
複数のデータセットと攻撃手法で実験してて、既存手法よりロバスト精度が大幅に向上した。特に強い攻撃に対して効果が顕著だった。
すごい！じゃあこれからはもう敵対的攻撃なんて怖くないね！
ただ、計算コストが増えるし、キャッシュの管理方法によっては性能が変わる。あと、未知の攻撃パターンにはまだ弱い可能性もある。
なるほど…でも、RITAって名前、なんかかわいいね。まるでリタって女の子がAIを守ってるみたい。
リタが守ってるんじゃなくて、アルゴリズムが守ってるんだよ…。