TL;DR
連続空間攻撃はガウス潜在をランダム写像で文字列化するため、攻撃プロンプトが不自然で困惑度フィルタに検出されやすい。本論文はその写像だけを事前学習済み連続拡散言語モデル（Cola-DLM）に置換し、RareTrapのサンプリングとThinkTrapの最適化をそのまま使う。文字レベル困惑度はRareTrapで103–107→3–5、ThinkTrapで20–28→4.3–5.4に低下。ブラックボックス性を保ち追加計算は小さいが、対象は2手法・特定dLLM中心で、写像によりリスク推定が桁単位に変わり得る点は要注意。
解説
ねえ智也、このブログの「不自然で検出されやすい攻撃プロンプトを自然文へ」ってタイトル、攻撃なのに自然文ってちょっと矛盾してて気になる。
これは連続空間攻撃のプロンプトを自然な文に寄せる話。まず、攻撃プロンプトがなんで不自然になりやすいかから。
なんで不自然になるの？
連続空間攻撃はガウス潜在をランダム写像で文字列化する。だから意味が変で、困惑度フィルタに引っかかりやすい。
なるほど、怪しい文字列だから検出されやすいってことか。
本論文はその写像だけを事前学習済み連続拡散言語モデルのCola-DLMに置き換える。RareTrapのサンプリングとThinkTrapの最適化はそのまま使う。
攻撃手法全体を変えるんじゃなくて、文字列にする部分だけ差し替えるんだ。
そう。で、文字レベル困惑度がRareTrapで103–107から3–5、ThinkTrapで20–28から4.3–5.4に下がった。
めっちゃ自然になったってこと？ 103が3って、もう別物じゃん。
少なくとも困惑度フィルタ的には目立たなくなる。ブラックボックス性は保たれて、追加計算も小さい。
いいこと尽くしに見えるけど、注意点は？
対象は2手法と特定のdLLM中心。あと写像のせいでリスク推定が桁単位で変わり得るから、そこは要注意。
リスク推定が桁で変わるのは怖いね。評価の前提がずれる可能性あるもんね。
じゃあ私のレポートもCola-DLMに通せば、自然で検出されにくい…って、中身も変わる？
中身は変換されない。まず自分で書け。