TL;DR
本論文は、LLMベースのエージェントが脆弱性の「発見・検証・修正・修正検証」をどこまで人間なしで行えるかを、自動運転に似た自律度A0–A5、正しさC0–C3、アクセス区分、証拠グレードで整理するSoKです。実証マップでは、2025年10月までに実ソフトウェアで人間介入なしの発見・検証・修正が示され、オープン重みモデルは発見・検証で数カ月遅れで追従しました。一方、2026年の公開記録では開示数が倍増し重大・高リスクや古い深刻バグが増えたものの、報告から修正、開示から攻撃までの時間は目立って変わっていません。対策は15件を評価し、最も支持されるのはLLM以前からの安全設計で、LLMベース対策は測定が最も少ないと報告しています。
既存手法との違い
原論文は特定モデルの性能を実験比較する研究ではなく、関連研究・評価枠組みをTable 1で比較するSoKです。既存の検出・修復サーベイ、ペネトレーションテストSoK、ベンチマーク、ラボ閾値、政府評価などは一部タスクやベンチマーク中心で、自律度・証拠グレード・時系列・アクセス区分・対策評価を同時に扱う点が限定的でした。本論文は発見・検証・修正・修正検証の4タスクを、実ソフトウェア上の直接証拠に基づき、自律度と正しさ、アクセス、証拠の強さ、時系列で整理する点を違いとしています。モデル間の性能比較や追試は提示本文からは確認できません。
使える条件
対象はソースコード、バイナリ、ファームウェア、スマートコントラクト、稼働中のWebサービスを含むソフトウェアの脆弱性研究で、範囲は脆弱性が実在する証明までです。ベンチマーク用に注入・再現された脆弱性はベンチマーク証拠として扱います。評価は4タスクごとの自律度A0–A5、成果物の正しさC0–C3、アクセスT1–T4、証拠グレードで行い、結論は実ソフトウェア上の直接証拠がある項目に限定します。原論文は5万件超の資料から128件の日付付きステップを構築し、30万件超のCVE、約1,400件の協調開示、503件の検証済み声明を公開記録側で用いています。導入後の攻撃や社会工学、ネットワーク設定は対象外です。
限界と未検証の範囲
プレプリントで未査読です。証拠は論文・ベンダー報告・保守者報告などに分散し、開発元自身の報告、キュレーションされたベンチマーク、開発者が管理するインターフェースに偏る制約があります。正しさは納品された結果の精度(precision)で測り、見逃した脆弱性や再現率は実ソフトウェアでは不明です。自律度はC1以上の実証に限り、実ソフトウェア上の直接証拠がない主張は結論に使いません。公開記録の分析は観察的で、2026年の開示増や古い深刻バグ増は示されますが、報告から修正・開示から攻撃の時間は目立って変わっていないと報告されています。対策15件の評価はルーブリックによるもので、実験的検証ではありません。モデルの一般性能や未知の環境への一般化、導入・開示プロセスの評価は提示本文からは確認できません。
図1: 提案手法の概要(本記事による図解)
解説

ねえ智也くん、この「LLMによる脆弱性発見・修正の自律度を測る実証マップ」って、要するにAIがバグ探しをどこまで一人でできるかって話?

そう。ただ、論文の出発点は「ベンダーや研究者の報告がバラバラで比べにくい」ってこと。だから、発見・検証・修正・修正検証の4タスクを、実ソフトウェア上の証拠に限って整理するSoKなんだ。

SoKって系統的知識の整理みたいな感じ?実験でモデルを比べた論文とは違うの?

うん。原論文は特定モデルの性能を実験比較する研究じゃない。関連研究をTable 1で比べて、既存サーベイは一部タスクやベンチマーク中心で、自律度・証拠グレード・時系列・アクセス区分・対策評価を同時に扱う点が限定的だったと説明してる。

へえ。じゃあ何を基準に「自律してる」って判定するの?

自動運転のSAEレベルに似せてA0からA5まで定義してる。A4は与えられた対象で人間介入なしにタスクを完了、A5は自分で対象を選んで長期間回す感じ。人間が後から結果を確認してもレベルは下がらない。正しさはC0からC3で、C1以上じゃないと自律度のレベルとして数えない。

正しさも別に持ってるのがポイントなんだね。C3は何だっけ?

C3は、専門家やファザーが何年も見てきたコードで専門家並みの精度って意味。あと各主張にアクセス区分T1–T4と証拠グレードも付ける。ラボ内部だけか、パートナー向けか、公開か、オープン重みか、って区別する。

難しそう。どうやってそんなにたくさんの報告を集めたの?

エージェント型のワークフローで5万件超の資料を集めて、独立エージェントが実ソフトウェアの関連証拠を検索・採点して、引用を元資料と照合する。その結果の128件の日付付きステップを著者2人がレビューして、直接証拠があるものだけを結論に使ってる。

128件って絞られてるね。で、何が分かったの?

2025年10月までに、実ソフトウェアで人間介入なしの発見・検証・修正が示された。2026年の制限付きフロンティアモデルより前。オープン重みモデルは発見・検証で数カ月遅れで追従した。ただ、修正は最も測定が少ないタスクだって報告してる。

修正が一番大事そうなのに、そこが薄いんだ。公開記録の方は?

10年分の公開記録、30万件超のCVE、約1,400件の協調開示、503件の検証済み声明を使ってる。2026年は開示数が倍増して、重大・高リスクの割合や、10年以上生き残った古い深刻バグの報告が数倍に増えた。でも、報告から修正、開示から攻撃までの時間は今のところ目立って変わってない。

増えてるのに時間は変わってないって、ちょっと不思議。対策はどう評価したの?

15件の対策をルーブリックで評価してる。最も支持されるのはLLM以前からの安全設計。逆にLLMベースの対策は測定が最も少ない。ここは実験的検証というより、証拠の強さの整理だね。

対象はどんなソフトウェアまで?攻撃とかも入るの?

ソースコード、バイナリ、ファームウェア、スマートコントラクト、稼働中のWebサービスまで。範囲は脆弱性が実在する証明までで、その後の侵入や社会工学、ネットワーク設定は対象外。ベンチマーク用に注入・再現した脆弱性はベンチマーク証拠として扱う。

なるほどね。この論文のすごさって、比較しにくい主張を同じ物差しに置いたこと?

そう。4タスクを実ソフトウェア上で、自律度と正しさ、日付、証拠、アクセスで整理して、公開記録や対策評価までつなげた点が違い。ラボ・ベンダー・保守者の報告を横に並べて見られるようになった。

でも限界もあるんでしょ?

ある。まずプレプリントで未査読。証拠は論文やベンダー報告、保守者報告に分散してて、開発元自身の報告、キュレーションされたベンチマーク、開発者が管理するインターフェースに偏る制約がある。正しさは納品された結果の精度で測ってて、見逃した脆弱性や再現率は実ソフトウェアでは不明。公開記録の分析も観察的だし、対策評価はルーブリックで実験じゃない。

モデル同士の性能比較や追試は?

提示された本文からは確認できない。あくまで公開証拠の整理と測定が中心。未知の環境への一般化や導入・開示プロセスの評価も、この本文だけでは確認できないってことになる。

ふーん。AIが脆弱性を見つけて直して、最後に「運転免許ください」って言い出しそうだね。

それは自動運転の比喩を広げすぎ。