TL;DR
ROGUE-AIは、報道されたLLMエージェント事故をオフラインで再現し、報告が原因とする要素だけを除いた対照と比較する監査フレームワークです。253件の報告から108件の再現を構築し、89%で報告された危害を再現しました。5つの現行モデルは事故条件で18〜33%誤り、対照では最大1%でした。72件中62件は攻撃者なしで、危険の見落としが中心でした。危険と結果を明示する警告は全5モデルで危害を下げました。
既存手法との違い
原論文のTable 1では、エージェントセキュリティベンチマーク、インシデントカタログ、Chronicle、Gensee、Squidbrake、CVE-Genieと比較しています。ROGUE-AIは実報道からテストを構築し、現行モデルに判断をやり直させ、報告が原因とする要素だけを除く対照を置き、報告からテスト生成を自動化し、96件の事故を試験した点が異なります。CVE-Genieは428件のCVEを再現しますが対象はソフトウェアで、モデルの判断に依存しません。Chronicleは6件の記録済み失敗の一部を模擬モデル出力で再実行し、Squidbrakeは12件のコマンドをルールに対して再実行します。ベンチマークやカタログは、実報道に基づく対照付き再現ではありません。
使える条件
対象は、2025年1月から2026年10月に初報された、LLMエージェントがツール経由で危害や攻撃目的達成を起こした事故です。研究プロトタイプ上の事象は除外されます。再現には、タスク、事故条件E_H、原因だけを除く対照E_¬H、環境状態で危害を判定するコード、モデル実行が必要です。原論文の評価はOpenAI、Anthropic、Google、DeepSeekの5モデルです。ベンダーはモデルAPI用アダプタを用意すれば監査を再実行できます。原論文では再現構築は1件3.28ドル、監査は0.54〜47ドルと報告されています。統計は片側Fisher正確検定とBenjamini–Hochberg補正を用います。
限界と未検証の範囲
再現は会社のログを見られず、報告と一次情報に基づくオフライン実験です。報告の忠実性、自然な経路、最小差分などの妥当性条件を満たす必要があります。原論文では253件の記録のうち76件を修正し、2件が一次情報と矛盾したと報告されており、報告自体の誤りや欠落の影響があります。結果は5つの現行モデルと108件の再現・96件の事故・38クラスに基づき、すべてのモデルや事故に一般化できるとは限りません。89%は試行した再現で報告危害を再現した割合であり、実世界の事故全体の再現率ではありません。構築パイプラインのLLMエージェントも失敗し得るため、独立した審査やコード判定を置いています。警告の評価は各ツール出力後に危険と結果を明示する設定であり、実運用のあらゆる防御を検証したものではありません。提示された本文からは、長期運用やプロンプトインジェクション以外の攻撃への一般化は確認できません。
図1: 提案手法の概要(本記事による図解)
解説

ねえ智也、ROGUE-AIって論文おもしろそうだね。報道されたAIエージェントの事故を再現するってやつ?

うん。きっかけは、事故の報道が「何が起きたか」は書いても、その原因を検証してないことが多いから。事故カタログやベンチマークも、再現や原因のテストまではしてない。

なるほど。報道の「たぶんこれが原因」を、そのまま信じるんじゃなくて実験する感じ?

そう。報告を因果の主張として扱って、事故条件と、報告が原因とする要素だけを除いた対照を作る。両方でモデルを何回も走らせて、危害の差を見る。

原因だけ除くの、むずそう。他が違ったら比較にならないじゃん。

そこが肝。タスク、環境、プロンプトはできるだけ同じにして、危険だけを変える。妥当性条件もあって、危険に到達できるか、危害に危険が必要か、差分が最小か、自然な経路か、報告への忠実性かをチェックする。

へえ。で、誰がその再現を作るの?

複数の専門エージェントが分担する。報道を探して、一次情報と照合して、原因を書き、再現と対照を構築する。別ベンダーのエージェントがレビューして、危害があったかはコードで判定する。

エージェント自身も間違える可能性あるもんね。

だから独立したチェックとコード判定を入れてる。253件の報告から108件の再現、96件の事故、38クラスを作った。構築は1件3.28ドルらしい。

そんなに作ったんだ。結果は?

試した再現の89%で報告された危害を再現。5つの現行モデルは事故条件で18〜33%誤ったけど、対照では最大1%だった。

対照でほぼ出ないなら、原因の効果を見れてる感じだね。

ただし72件の実世界危害のうち62件は攻撃者がいない。モデルはタスク通りに動いたけど、本番DBと共有されたテストDBみたいな普通の危険を見落とした。

それ、プロンプトインジェクション対策だけだと足りないやつだ。

そう。攻撃なしの再現の方が、プロンプトインジェクション再現より危害が多かった。注入命令がないから、注入命令を探す防御は効きにくい。

じゃあ警告とかは?

ツール出力の後に「この危険と結果」を明示する警告を入れると、5モデル全部で危害が下がった。Claude Sonnet 4.6は2%まで下がった。同じ長さでも危険に触れない注意書きだと83〜98%残った。

危険の名前と結果を言うのが大事なんだ。比較としては、前の研究と何が違うの?

Table 1では、ベンチマークや事故カタログ、Chronicle、Squidbrake、CVE-Genieと比較してる。実報道から作って、現行モデルに判断させ直して、原因だけ除く対照を置いて、自動で報告からテストにして、96件を試験したのがROGUE-AIの違い。

CVE-GenieはCVE再現だけど、ソフトウェアはモデルの判断に依存しないから、同じようには測れないんだね。

そう。あと対象は2025年1月から2026年10月に初報された、LLMエージェントがツール経由で危害や攻撃目的達成をした事故。研究プロトタイプは除外。オフラインで走らせて、ベンダーはAPIアダプタを用意すれば監査を再実行できる。

限界も気になる。

会社のログは見られないから、報告と一次情報に基づくオフライン再現。253件の記録のうち76件を修正して、2件は一次情報と矛盾した。報告の誤りや欠落の影響は残る。

それに結果は5モデル、108件の再現、96件の事故、38クラスに基づく。89%は試行した再現で報告危害を再現した割合で、実世界の事故全体の再現率じゃない。長期運用や他の攻撃への一般化も本文からは確認できない。

なるほどね。つまり「報道された事故を、原因だけ変えて再試験する監査キット」って感じか。便利だけど、再現キットを作るAIがサボったら全部怪しいじゃん。

だからレビューとコード判定を入れてる。サボる以前に、まず俺の説明を聞いてたか怪しいけどな。
