TL;DR

ScenarioForgeは、LLMが作ったサイバー演習案をそのまま信用せず、カタログ上の実在する脆弱性・コンテナ・課題生成器に紐付け、CORE上で構築・依存順序・実行時検証まで行う枠組みです。原論文では226シナリオと867ステップを通し、50プロンプト比較で枠組み経由の小規模モデルもトポロジ構築50/50・意図項目160/160を達成しました。ただし比較は下流の課題生成やデプロイ検証を除外した範囲です。

既存手法との違い

原論文では、CRACKやSecGenなどのサイバーレンジ自動化、ASCERTなどのAI支援演習生成と比較している。CRACKは手動TOSCAブループリント検証と外部VM実現が中心で、コンテナ化脆弱性カタログやCTF固有の成果物・ピボット依存を扱わない。SecGenは手動制約からランダムVM/CTFを生成する。AI支援研究は生成内容の評価が中心で、対応資源のデプロイまでを一貫して扱わない点がScenarioForgeと異なる。50プロンプトのmatched benchmarkでは、ScenarioForge+Qwen3.8とScenarioForge+GPT5.6が50/50ビルド・160/160意図項目、直接のフロンティア生成は完全な累積スキャフォールドでも41/50ビルド・147/160項目だった。この比較は記述からビルド可能定義への変換に限定され、下流の課題資源生成・依存/フラグ順序・デプロイ・ライブ検証は除外されている。

使える条件

CORE 9.2 VM/ランタイム、Docker-backedなVulhub環境、独自課題生成器、カタログ登録済みの実行可能資源が前提。入力は広い目的から、明示的なトポロジ・サービス・脆弱性・ルーティング・セグメンテーション・アクセス・課題制約までを含み得る。LLMはXML提案を生成するが、CORE/Docker/リモートシェルを直接呼ばない。HITLやProxmox対応設定にも言及がある。評価は226シナリオ、294 Vulhubイメージ、85の独自生成器、867ステップと50プロンプトの比較に基づく。一般的な環境や他エミュレータでの性能は提示本文からは確認できない。

限界と未検証の範囲

50プロンプトのベンチマークはdescription-to-buildable-definition変換を分離しており、ScenarioForgeの下流工程(課題資源生成、依存/フラグ順序、デプロイ、ライブ検証)を含まない。Execution Datasetは固定済みの接地定義が通過したことを示すが、未知カタログ・未登録資源・他エミュレータへの一般化は未検証。計算量境界はLLM推論時間を含まない。人手作成や実運用訓練効果との比較は提示本文からは確認できない。

図1: 提案手法の概要(本記事による図解)

LLM提案をカタログ照合で実在資源に束縛し、依存順序に沿ってCOREで実行・検証する流れを示す簡略図で、原図の再現ではなくHITL分岐など詳細は省略している。
LLM提案をカタログ照合で実在資源に束縛し、依存順序に沿ってCOREで実行・検証する流れを示す簡略図で、原図の再現ではなくHITL分岐など詳細は省略している。

解説

AMI NEUTRAL

ねえ智也、ScenarioForgeって何?名前だけ聞くとファンタジーゲームの鍛冶場みたいなんだけど。

TOMOYA EXPLAINING

サイバー演習のシナリオをLLMで作る枠組みだよ。ただ、LLMの案をそのまま信じないのがポイント。

AMI SURPRISED

信じないの?せっかく作ってくれたのに。

TOMOYA EXPLAINING

もっともらしい説明と、実際に動く環境は別物だからな。脆弱性のバージョンが違うとか、サービスが存在しないとか、普通にある。

AMI UNDERSTOOD

あー、地図だけ立派で道がなかったパターンか。

TOMOYA NEUTRAL

そう。人手で作ると、インフラ、脆弱性サービス、攻撃経路、成果物、成功条件を全部調整しないといけなくて、そこが重い。

AMI THINKING

で、ScenarioForgeはどうやってそれを解決するの?

TOMOYA EXPLAINING

LLMはXMLで提案を書くだけ。実際にどのカタログの資源を使うかは決定論的な処理で紐付ける。Vulhubのイメージとか、自作の課題生成器とか。

AMI HAPPY

提案と実行を分けるんだ。偉い。

TOMOYA EXPLAINING

さらに依存関係をグラフにして順序を決めて、CORE上で構築、デプロイ、実行時検証までやる。失敗したらどの段階で失敗したか型付きで返す。

AMI SURPRISED

けっこうガチだ。

TOMOYA NEUTRAL

評価では226シナリオ、294のVulhubイメージ、85の独自生成器、867ステップが全部通ったらしい。

AMI SURPRISED

867ステップ全部?それはすごい。

TOMOYA EXPLAINING

50プロンプトの比較だと、ScenarioForge+Qwen3.8とGPT5.6がどっちも50/50ビルド、160/160意図項目。直接フロンティア生成はフルscaffoldでも41/50、147/160だった。

AMI THINKING

小さいモデルが枠組みの中だとフロンティアに並ぶってこと?

TOMOYA NEUTRAL

そう。モデルの記憶よりカタログが権威になるからな。

AMI HAPPY

なるほどね。じゃあこれ、AIが適当なこと言わなくなる魔法の箱?

TOMOYA SAD

魔法ではない。比較は記述からビルド可能定義への変換までで、課題資源生成、依存とフラグの順序、デプロイ、ライブ検証は除外されてる。

AMI THINKING

あ、そうなんだ。そこが本番な気もするけど。

TOMOYA NEUTRAL

あと、CORE 9.2とDocker-backedなVulhub、カタログ登録済みの実行可能資源が前提だし、未知のカタログや他のエミュレータでの一般化も未検証。計算量の話もLLM推論時間は含まない。

TOMOYA EXPLAINING

既存のCRACKはTOSCAブループリント検証と外部VM基盤が中心で、コンテナ化された脆弱性カタログやCTFの成果物・ピボット依存は扱わない。SecGenは手動制約からランダム生成。AI支援研究は生成内容の評価が中心で、デプロイまで一貫してやるのが違い。

AMI UNDERSTOOD

わかった。過信しちゃいけないやつだね。

AMI SMILE

じゃあ私の卒論もScenarioForgeで検証してほしいな。実在資源に紐付くかどうか。

TOMOYA NEUTRAL

お前の卒論はカタログに載ってないから無理。

AMI EMBARRASSED

ぐさっ。