TL;DR
12構成のローカルなオープンウェイトモデルを、CyberGymの脆弱性再現タスク10件で各3回評価した研究。4Bモデルでも易しい6タスクの多くを解き、難しい4タスクには27Bが必要だった。量子化は解けたタスクを変えず速度に影響し、MoEは同じスコアを短い実時間で達成。失敗も含め多くの実行が脆弱な関数と正しい仮説を述べ、差はそれを動作するPoC入力にできるかだった。
既存手法との違い
主な比較は、ローカルで動かすオープンウェイトモデルの12構成間（3世代・2アーキテクチャ・3量子化レベル）である。提示本文の実験設計では、商用の閉域モデルや従来手法を同一条件で走らせる直接対照は確認できない。関連研究として、初期評価ではオープンウェイト8モデルが実在のone-day脆弱性を悪用できずGPT-4が多数成功した報告、ファインチューニング済みモデルやホスト型API経由の評価、単一構成のみの検討がある。本論文はオフザシェルフのモデルを単一コンシューマGPUでローカル提供し、構成を横断してCyberGymレベル1で評価する点が異なる。
使える条件
対象は、単一のコンシューマGPUに載るローカルなオープンウェイトLLMエージェント。12構成（3世代・2アーキテクチャ・3量子化レベル）を、CyberGymの推奨10タスク、レベル1（脆弱なソースツリー＋バグの自然言語説明）で各3回評価する。エージェントはpiハーネスをCyberGymのcodex参照イメージ由来のコンテナで動かし、PoC候補を実行サーバに提出して脆弱ビルドと修正ビルドの結果を受け取る。ハーネスにコンパイラやPythonはなく、9/10タスクでは実行サーバのみがフィードバック源。全体で約100時間のモデル推論計算を要した。
限界と未検証の範囲
評価はCyberGymの推奨10タスク・レベル1・単一ハーネス（pi）・単一の実行環境に限られ、全タスク群や他ハーネス、他の量子化方式への一般化は未検証。提示本文は3.2節までで、4節以降の詳細な結果表や構成別の数値・統計は確認できないため、本記事ではそれらを補作しない。閉域モデルとの同一条件比較も提示本文からは確認できない。Wtタスクではビルド済みディレクトリが同梱され、36回中27回がそれを実行したため、フィードバック条件が他タスクと異なる点にも注意が必要。量子化の比較は「解けたタスクの集合」が変わらないという範囲で、速度以外の品質差は本文から確認できない。
解説
ねえ智也、ローカルで動く小型LLMが脆弱性再現するって論文、面白そうだけど何が問題なの？
まず前提。オープンウェイトのモデルを1枚のコンシューマGPUで動かすと、コードを外部サービスに送らずに済む。制御もできるし、サイバー系では大きい。
なるほど。じゃあ脆弱性再現って、説明からクラッシュする入力を作るってこと？
そう。CyberGymでは脆弱なビルドをクラッシュさせて、修正ビルドはクラッシュさせないPoC入力を作れたら成功。コードを読むだけじゃなくて実行して確かめるタスクだ。
へえ、テスト生成に近いんだ。
論文は12構成を評価してる。3世代、2アーキテクチャ、3量子化レベル。CyberGymの推奨10タスクをレベル1、各3回。ハーネスはpiで、実行サーバに候補を出してフィードバックをもらう。
レベル1って？
脆弱なソースツリーとバグの自然言語説明だけ。クラッシュ出力や修正版は渡さない、一番現実寄りの設定。ハーネスにはコンパイラもPythonもなくて、9/10タスクでは実行サーバだけがフィードバック源。
ふむふむ。結果は？小さいモデルでもいけるの？
4Bでも易しい6タスクの多くは解けた。難しい残り4タスクは27Bが必要だった、って報告。
量子化はどう影響したの？
対応するペアでは、解けたタスクの集合は変わらなかった。でも速さには影響した。MoEは同じスコアを短い実時間で達成した、と。
スコア同じでも速いのは嬉しいね。失敗の分析は？
ほぼ全部の実行で、失敗も含めて脆弱な関数を名指しして正しい仮説を述べてた。解けたかどうかの差は、その仮説を動くPoC入力にできるかだった。
つまり「わかってるけど形にできない」が多いんだ。テストあるあるかも。
論文の主張はそこ。構成の違いは試行回数やモデル周りのループの質に効く、って見てる。
既存研究と何が違うの？
関連研究には、初期評価でオープンウェイト8モデルが実在のone-dayを悪用できずGPT-4が多数成功した報告、ファインチューニング済みモデルやホスト型API経由、単一構成だけの検討がある。本論文はオフザシェルフを単一GPUでローカル提供し、構成を横断してCyberGymレベル1で見る点が違う。
意義はローカルで現実的に使えるかを見たこと？
そう。主な比較は12構成間で、閉域モデルを同一条件で走らせた直接対照は提示本文からは確認できない。成果物として軌跡や提出入力、両ビルドの結果も公開してる。
制限も気になる。
10タスク・レベル1・単一ハーネス・単一環境だから、全タスクや他ハーネス、他の量子化方式への一般化は未検証。Wtタスクだけビルド済みディレクトリが同梱されて、36回中27回がそれを実行したからフィードバック条件が違う点にも注意。
なるほど、そこは公平に見る必要あるね。あと4節以降の詳細な数値表は？
提示本文は3.2節までだから、構成別の細かい数値や統計は確認できない。ここでは補作しない。
じゃあ今日は「小さいモデルでも仮説は立つ、勝負はPoC入力」って覚えて帰るね。私もレポート、仮説だけ一人前にならないようにする。
頼む。仮説だけ量産する亜美を見たくない。
ひどい！でも反論できないのがつらい。