TL;DR
Meta-SecAlignのDPOは無防御モデルに近づけるKL正則化のため、適応的なプロンプト注入に弱い。SecPOは参照を「注入除去時と同じ出力」の理想オラクルに置換し、さらに強い注入で敵対的訓練する。論文は適応攻撃の成功率を大幅に下げつつ、良性タスクの性能を維持したと報告している。
既存手法との違い
比較の中心は、現時点で最良の防御LLMとされるMeta-SecAlign（DPOで弱い模擬攻撃を学習）である。本論文はDPO損失をSecPOに置換し、PAIRのbest@240で合成した強い注入で敵対的訓練（AT）する。論文の報告では、3つのSoTA適応攻撃でMeta-SecAlign比ASRを1.5–14.5倍低減し、SecPOはDPO比でさらに2.4–4.6倍低減する。AgentDojo ASR@800のAttackerMovesSecondで8.8%対78.8%、3攻撃の最大ASRは13.3%対94.0%、DTaP-Benchは7.6%である。図1では商用モデルやシステム防御とも比較されるが、詳細条件は本文・付録B.6参照。提示本文からは、他のベースラインを同一条件で網羅的に比較したとは確認できない。
使える条件
対象は間接プロンプト注入で、ユーザーは良性、環境が悪意、信頼入力と非信頼入力のラベルが既知という前提である。チャットテンプレートで非信頼データを専用role（例：input）に隔離し、ライブラリがrole escapeを防ぐモデル重み側の防御を扱う。訓練にはクリーン入力・注入入力・無防御モデル・強い攻撃生成（PAIR best@240）が必要で、ATは計算コストが高い。評価はQWEN3.6-27B、AgentDojo、DTaP-Bench、良性9ベンチマーク（エージェントのツール呼び出し、指示追従、科学、数学）に基づく。攻撃者は良性プロンプト・データ・チャットテンプレートを知るが変更できず、テスト時に重みへアクセスできない想定で、GCGは付録で報告される。
限界と未検証の範囲
スコープ外として、信頼ラベルが未知のケースや、ユーザーが悪意の直接プロンプト注入・ジェイルブレイクを扱わない。チャットテンプレートとライブラリによるrole分離が前提で、その実装脆弱性は別問題である。評価は提示された攻撃群とベンチマークに限定され、すべての適応攻撃や実運用を網羅するものではない。理想オラクルは実在せず、無防御モデルとクリーン入力による近似に依存する。良性性能は9ベンチで「目立った低下なし」と報告されるが、全タスクへの一般化や分布外性能は提示本文から確認できない。視覚プロンプト注入への堅牢性は観察されたが、防御目標として明示指定していない。
解説
智也くん、この「SecPO」って論文、プロンプト注入に強いLLMの話？ ちょっと気になるんだけど、何が問題だったの？
うん。まず既存の最良防御って言われてるMeta-SecAlignが、適応的なプロンプト注入だとASRほぼ100%まで崩れるって話から始まる。原因の一つがDPOのKL正則化で、無防御の参照モデルに近づけちゃうこと。
無防御モデルって、要するに攻撃に弱い方に寄せるってこと？ それ防御として変じゃない？
そう。DPOは元々ユーティリティを保つための正則化だけど、注入入力で無防御モデルに近づくのはセキュリティ的には邪魔。もう一つ、Meta-SecAlignは弱い模擬攻撃でしか訓練してない。
じゃあ論文は、その参照先を「理想のオラクル」に変えたってこと？
理想オラクルは、注入を除いたときと同じ出力をしつつ、クリーン入力では無防御モデルと同じ出力をするモデル。実在はしない。でも訓練では、注入入力に対するオラクル出力を、無防御モデルにクリーン入力を食わせた出力で近似できる。そこが面白い観察。
え、実在しないのに触れるの？ なんか魔法みたい。
まあ、訓練時に分布にアクセスできるってだけ。SecPO損失はDPOの参照をオラクルに置き換える。実装上は無防御モデルに注入入力じゃなくクリーン入力を入れる差分になる。注入に敏感なサンプルの勾配を相対的に大きくする、って説明もしてる。
なるほど。で、弱い攻撃だけって問題には敵対的訓練で対応？
うん。PAIRのbest@240で強い注入を合成してATする。それで未知のテスト時適応攻撃にも強くする狙い。
評価はどうなったの？ 数字が気になる。
論文の報告では、3つのSoTA適応攻撃でMeta-SecAlign比のASRを1.5–14.5倍下げる。SecPOはDPO比でさらに2.4–4.6倍下げる。AgentDojo ASR@800のAttackerMovesSecondでは8.8%対78.8%。3攻撃の最大ASRは13.3%対94.0%、DTaP-Benchは7.6%。
8.8%対78.8%はかなり違うね。良性タスクの性能は落ちないの？
論文では、エージェントのツール呼び出し、指示追従、科学、数学を含む9ベンチで、無防御モデルと比べて目立った良性ユーティリティ低下はないと報告してる。あとコード、ATで最適化した注入入りの訓練データ、モデルも公開するって。
強い防御と使い勝手の両立って、それなりに意義大きいね。
ただ、比較の中心はMeta-SecAlign。図1では商用モデルやシステム防御とも比較してるけど、同一条件で全部を網羅した比較とは提示本文からは確認できない。詳細は付録B.6参照って書いてある。
前提もある。間接プロンプト注入で、ユーザーは良性、環境が悪意、信頼入力と非信頼入力のラベルは既知。非信頼データを専用ロールに隔離するチャットテンプレートと、ロール脱出を防ぐライブラリが前提。ATは計算コストが高いから、訓練データ公開は再利用の敷居を下げる意図もある。
ユーザーが悪意のジェイルブレイクとか、ラベルが不明な場合は？
論文のスコープ外。直接プロンプト注入やジェイルブレイクは扱わない。テスト攻撃者はモデル重みにアクセスできない想定で、GCGは付録で報告してる。あと理想オラクルは実在せず、無防御モデルとクリーン入力による近似に依存する。
視覚プロンプト注入にも強いって話は？
追加分析で、明示的に防御目標にしていないのに適応的な視覚プロンプト注入に堅牢だった、という観察。でも提示された攻撃群とベンチマークに限定された評価で、全攻撃や実運用を網羅するものではない。分布外性能への一般化は提示本文からは確認できない。
ふーん。じゃあ、SecPOは「無防御モデルに寄りすぎないで」って言う、ちょっと反抗期な損失なんだね。
反抗期って言い方やめて。参照を安全側のオラクル近似に変えた、真面目な損失だから。