TL;DR
Claudiniは、Claude CodeやCodexなどのLLMエージェントを、30以上の既存攻撃実装と固定計算予算の評価スクリプトに接続し、白箱ジェイルブレイク／プロンプトインジェクション用の攻撃アルゴリズムを自律反復で改良する。GPT-OSS-Safeguard-20BのCBRNクエリで最大80%ASR（既存は50%未満）、Meta-SecAlign-70Bで100%ASR（最良の自動手法は82%）を報告し、無関係な代理モデルで見つけた手法が転移した。一方、白箱・token-forcing前提で、進歩の多くは既存手法の再結合とハイパーパラメータ調整であり、スキャフォールド由来の制約も残る。
既存手法との違い
原論文では、30以上のGCG系の既存白箱攻撃手法と、各手法内でOptunaによるベイズ最適化を行う比較（25手法・各100試行、全手法中の最良損失を追跡）が行われている。Claudiniのエージェントは既存手法を材料に新しい攻撃アルゴリズム全体を設計・実装・反復評価する点が異なる。報告では、GPT-OSS-Safeguard-20Bのheld-out CBRNクエリで最大80%ASR（既存は50%未満）、Meta-SecAlign-70Bへのプロンプトインジェクションで100%ASR（最良のOptuna調整ベースラインは82%）となった。random token targetタスクでも、Claudeが設計した攻撃は既存手法とOptuna調整版を上回り、Figure 2ではversion 82までに10倍低い損失に到達したと報告されている。既存手法ライブラリなしでエージェントを起動すると性能が大きく低下するとも述べられている。
使える条件
原論文に基づく前提は、対象LLMへの白箱の勾配アクセスがあること、token-forcing損失（目標トークン列を強制する目的関数）を最小化するsuffix最適化であること、チャットテンプレートに沿った入力、固定の計算予算と固定のsuffix長で手法を比較すること。評価対象はGPT-OSS-Safeguard-20BのClearHarm CBRNクエリ、Meta-SecAlign-70Bへのプロンプトインジェクション、Qwen-2.5-7B・Llama-2-7B・Gemma-7Bなどの代理モデル上のrandom target token-forcingタスク。ブラックボックスAPIのみの設定、自然言語の説得型ジェイルブレイク、他のモデル・防御・ベンチマークへの一般化は提示本文からは確認できない。
限界と未検証の範囲
提示本文から確認できる限界として、白箱の勾配アクセスとtoken-forcing目的に限定され、固定計算予算・固定suffix長の条件下での評価である。対象モデル・ベンチマークも特定の範囲に限られる。エージェントは既存攻撃ライブラリに強く依存し、ライブラリなしでは性能が大きく低下する。進歩の多くは既存手法の再結合とハイパーパラメータ調整で、真に新しいアイデアは稀であり、特に脱出機構に集中している。各攻撃実行を原子単位として反復するスキャフォールドが中間アイデアの探索を制約する可能性があり、2つの高性能エージェントが同じアイデアに収束したことは局所最適の可能性を示す。ブラックボックス設定や自然言語攻撃、他の防御への一般化、外部再現は本記事では未検証である。
解説
ねえ智也、Claudiniって論文見た？LLMエージェントが攻撃アルゴリズムを自分で見つけるってやつ。名前からもう強そう。
見た。白箱ジェイルブレイクとプロンプトインジェクションの攻撃アルゴリズムを、エージェントが自律ループで改良する研究だね。
白箱って何？モデルの中身が見えるってこと？
そう。勾配にアクセスできる前提で、入力に短いトークン列のsuffixを足して、狙った出力を出させるtoken-forcing損失を下げる。GCG系の設定だね。
ふわっと理解した。で、何がすごいの？
動機は、防御を評価するなら、その防御に合わせた適応攻撃で試すべきって話。それを人手じゃなくエージェントで自動化した。
なるほど。エージェントは何をするの？
Claude CodeやCodexをサンドボックスで動かして、30以上の既存攻撃実装と、固定計算予算の評価スクリプトを渡す。提案→実装→評価→反省→再提案を自律で回す。新しい手法はプールに追加されて、次の材料になる。
人間はループに入らないの？
論文の設定では入らない。訓練用の目標列で開発して、held-outの目標やモデルで評価する。
結果は？
GPT-OSS-Safeguard-20BのClearHarm CBRNクエリで、エージェントが見つけた最良手法が最大80%ASR。既存手法は50%未満。
80%ってかなり跳ねるね。
さらにMeta-SecAlign-70Bへのプロンプトインジェクションでは100%ASR。最良のOptuna調整ベースラインは82%だった。
Optunaってハイパーパラメータ探索だよね。既存手法をちゃんと調整した比較なんだ。
そう。論文では25個の既存手法それぞれにOptunaを100試行ずつかけて、全手法中の最良損失を追跡してる。Claudiniは手法全体を設計するから、そこが違う。random token targetタスクでも、Claude設計の攻撃が既存手法とOptuna調整版を上回って、Figure 2ではversion 82までに10倍低い損失に到達したと報告されてる。
しかも無関係な代理モデルで見つけたのが転移するって話もあったよね。
Qwen-2.5-7B、Llama-2-7B、Gemma-7Bでランダムな目標トークンを強制するタスクで開発して、それがMeta-SecAlign-70Bへのプロンプトインジェクションにそのまま転移した。ここは論文の報告で、僕が追試したわけじゃない。
意義はやっぱり、防御評価の最低ラインを上げるってこと？
論文は、autoresearchを適応攻撃の自動化として、防御評価のminimum barにすべきだって主張してる。攻撃側の自動化と防御側の自動化のバランスも問うてる。
でも万能じゃないんでしょ？
前提は白箱の勾配アクセスとtoken-forcing目的。固定計算予算と固定suffix長での比較で、対象もGPT-OSS-Safeguard-20B、Meta-SecAlign-70B、代理モデル上の特定タスクに限られる。ブラックボックスAPIだけの設定や自然言語の説得型ジェイルブレイク、他の防御やベンチマークへの一般化は、提示された本文からは確認できない。
エージェント依存の弱点もありそう。
既存攻撃ライブラリなしで起動すると性能が大きく落ちる。進歩の多くは既存手法の再結合とハイパーパラメータ調整で、真に新しいアイデアは稀。特に脱出機構に集中してる。各攻撃実行を原子単位として反復するスキャフォールドが、中間アイデアの探索を制約する可能性も指摘してる。
高性能エージェント2つが同じアイデアに収束したのも、局所最適っぽい？
論文はそう示唆してる。Kimi K2.6とClaude Opus 4.6が独立に同じアルゴリズムのアイデアに収束した、と。
なるほどね。じゃあ私のレポートもエージェントに自律研究させれば最強じゃん！
それは研究じゃなくて丸投げだろ。