TL;DR

静的解析アラートを生成途中でモデルに渡し、警告行以降をロールバックして再生成するComment/Steeringを提案。反復修復より低コストで、条件付きで機能と安全性を改善する。ただし検出できない弱点、タスク仕様と矛盾する警告、コード構造の大規模変更が必要な修正では失敗し、ガイド用アナライザでの評価は利得を過大評価しうる。

既存手法との違い

原論文は、未ガイドのベースライン、アナライザを使わない反復制御のSelf-Refine、Banditを目的関数と停止条件に使うPromSec、Banditレポートをモデルに渡して候補修正を反復するFDSP、BanditをSemgrepに置き換えたFDSP(Semgrep)と、提案手法のComment/Steeringを比較した。比較は同一ハーネス・同一システムプロンプト・greedy decoding、最大5ラウンドで行われ、3モデル・3つのPythonベンチマークを対象とする。セキュリティはガイドに使ったアナライザではなく各ベンチマークのOracleで測る。原論文によれば、Comment/Steeringはベースラインの0.9〜1.9倍の出力トークンで済む一方、反復手法は最大24.1倍。DeepSeek-V4.1-flashのRiskyPyでは、Steeringが機能かつ安全なプログラムの割合を52.5%から64.4%に上げ、FDSPの66.2%に近い一方、トークンはFDSPの5分の1未満(Steeringは1.7倍、FDSPは9.8倍、Self-Refineは18.3倍)と報告されている。

使える条件

原論文の評価対象はPythonコードと3つのベンチマーク(RiskyPy、SecEvalPlus、BaxBench)、2ファミリ3モデルである。提案手法は黒箱APIモデルを想定し、生成中に各生成行へ静的解析をかけ、アラート時にロールバックしてフィードバックを挿入できるハーネスが必要。Commentはモデルが論理ブロック前に意図コメントを書くシステムプロンプトに依存し、Steeringはユーザーメッセージ末尾の専用セクションにルールID・CWE・メッセージ・推奨事項を入れる。原論文ではSemgrepのp/security-audit(225ルール、ERROR/WARNING)とBandit(medium以上のseverity/confidence)を使用。アラートが実際の脆弱性を検出でき、タスク仕様と矛盾せず、モデルが修正を実行できる場合に有効とされる。Python以外の言語、他のアナライザ、他のモデル、実プロダクション環境での有効性は提示本文からは確認できない。

限界と未検証の範囲

原論文の評価は3モデル・3つのPythonベンチマークに限られ、利得はモデルとベンチマークで一様ではない。どの戦略も3ベンチマークすべてでベースラインを改善したわけではない。SecEvalPlusではSemgrepとBanditが機能するが不安全なプログラムの最大5.6%しか警告せず、ガイダンスが作用できる余地が小さい。BaxBenchではタスクと矛盾する警告にモデルが従う過剰遵守が起こり、仕様に必要なネットワークバインディングを83件中79件で外したと報告されている。Qwen2.5の2モデルはコード構造の再編成が必要な修正でしばしばプログラムを壊す。また、RiskyPyではガイド用アナライザの警告が消える機能改善は12/12比較で有意でも、ベンチマークOracleによるセキュリティ改善は2/12のみで、アナライザのアラートはセキュリティ利得の信頼できる指標ではない。提示本文は途中で切れており、PromSecの詳細や追加の実験条件は確認できない。

図1: 提案手法の概要(本記事による図解)

生成中に静的解析アラートを検出してロールバックし、Comment/Steeringでフィードバックを挿入して再生成する流れと、最終コードをベンチマークOracleで評価する関係を示した説明図(反復比較手法やモデル別詳細は簡略化)。
生成中に静的解析アラートを検出してロールバックし、Comment/Steeringでフィードバックを挿入して再生成する流れと、最終コードをベンチマークOracleで評価する関係を示した説明図(反復比較手法やモデル別詳細は簡略化)。

解説

AMI SURPRISED

ねえ智也くん、この論文って「生成中に静的解析の警告を戻す」ってやつ?普通は生成してから直すイメージだった。

TOMOYA EXPLAINING

そう。既存は生成後にアナライザを回して反復修理する。でも高コストで、警告の効果も分離しにくい。だから生成中に警告を渡すCommentとSteeringを提案してる。

AMI THINKING

生成中に?どうやってやるの?

TOMOYA EXPLAINING

ハーネスが一行ごとに解析して、警告が出たら警告行の前までロールバックする。Commentはコード内コメントとして警告を挿入、Steeringはユーザーメッセージ末尾の専用欄にルールIDやCWE、メッセージ、推奨を入れる。その後だけ再生成する。

AMI UNDERSTOOD

なるほど、全部やり直さないから安いんだ。比較は?

TOMOYA EXPLAINING

未ガイドのベースライン、アナライザなしのSelf-Refine、Banditを目的と停止条件に使うPromSec、Banditレポートで候補修正を反復するFDSP、BanditをSemgrepに置き換えたFDSP(Semgrep)と比較してる。

TOMOYA EXPLAINING

条件は同一ハーネス、同一システムプロンプト、greedy decoding、最大5ラウンド。対象は3モデルと3つのPythonベンチマーク。Semgrepはp/security-auditの225ルール、Banditはmedium以上のseverityとconfidenceを使ってる。

AMI SURPRISED

評価はガイドに使ったアナライザじゃなくて?

TOMOYA EXPLAINING

そこが大事。セキュリティは各ベンチマークのOracleで測ってる。RiskyPyは人手注釈で検証したLLM judge、SecEvalPlusはセキュリティテスト、BaxBenchは実エクスプロイト。循環評価を避けるため。

AMI HAPPY

結果はどうだったの?

TOMOYA EXPLAINING

Comment/Steeringはベースラインの0.9〜1.9倍の出力トークンで済む。反復手法は最大24.1倍。DeepSeek-V4.1-flashのRiskyPyで、Steeringは機能かつ安全を52.5%から64.4%へ上げた。

TOMOYA EXPLAINING

FDSPは66.2%だけどトークンは9.8倍、Steeringは1.7倍。Self-Refineは18.3倍で63.5%。つまりSteeringはFDSPに近い安全性をかなり安く出す。

AMI SURPRISED

ほぼ同じくらいの安全性を安く、って感じか。万能なの?

TOMOYA SAD

万能じゃない。利得はモデルとベンチマークで一様じゃないし、どの戦略も3ベンチ全部でベースラインを超えたわけじゃない。

AMI THINKING

効く条件は?

TOMOYA EXPLAINING

まずアナライザが弱点を検出できること。SecEvalPlusではSemgrepとBanditが機能するが不安全なプログラムの最大5.6%しか警告しないから、ガイダンスが作用できる余地が小さい。

TOMOYA SAD

次に警告がタスク仕様と矛盾しないこと。BaxBenchではモデルがアナライザに従って、仕様に必要なネットワークバインディングを83件中79件で外した。これを過剰遵守と呼んでる。

AMI SAD

それは怖い。モデルが警告に従いすぎるんだ。

TOMOYA EXPLAINING

あと修正にコード構造の大規模変更が必要だと、Qwen2.5の2モデルはしばしばプログラムを壊す。局所修正のルールは相性がよくて、XMLパーサ置換のルールは3モデル中2つでネットポジティブだった。

AMI THINKING

アナライザの警告が消えたら安全、とも言えない?

TOMOYA SAD

そう。RiskyPyでは警告なしの機能プログラムは12/12比較で有意に増えたけど、Oracleのセキュリティ改善は2/12だけ。ガイド用アナライザで評価すると利得を過大評価する。

AMI UNDERSTOOD

じゃあ使うなら、能力あるモデル、局所修正ルール、タスクと矛盾する警告の除去、ってことだね。Python以外は?

TOMOYA NEUTRAL

提示本文からは確認できない。評価は3モデルと3つのPythonベンチマークに限られるし、実プロダクション環境や他のアナライザも未検証。PromSecの詳細も本文が途中で切れてて確認できない部分がある。

AMI HAPPY

わかった。生成中に戻すって、なんかタイムトラベルみたいで面白いね。私のレポートも警告出た行から戻してくれないかな。

TOMOYA HAPPY

レポートは静的解析の対象外だ。まず書き直せ。

AMI EMBARRASSED

ぐ…正論。