TL;DRGPT-4.1を経済…
TL;DR
本論文は、コネクテッド・自動運転車（CAV）の脆弱性情報（CVE）を構造化脅威情報（STIX）に変換するタスクで、11種類のオープンウェイトLLM（4B〜120Bパラメータ）を評価。単一モデルではSDO抽出でF1=0.94、CWEマッピングでF1=0.99と高精度だが、SRO抽出は0.63、MITRE ATT&CK完全マッピングは困難。マルチエージェント構成ではGemma-4-31BがSDOでF1=0.91、Codestral-22BがSROで0.43を達成。CAV特化のデータセットCAV-STIXGenも公開。
解説
ねえ智也くん、この論文のタイトル見てさ、自動運転車の脆弱性をSTIX形式に変換ってあるけど、そもそもSTIXって何？
STIXは構造化脅威情報の略で、サイバー攻撃のパターンや脆弱性を機械可読な形で共有するための標準フォーマットだよ。
へー、じゃあ自動運転車の脆弱性をそのSTIXに変換するって、具体的にどういうこと？
CVEっていう既知の脆弱性リストを、STIXの構造にマッピングするタスクだね。例えば脆弱性の説明から攻撃手法や影響範囲を抽出して、SDOとかSROっていう要素に変換するんだ。
なるほど。で、この論文ではオープンウェイトのLLMを11種類も評価してるんだって？すごい量だね。
うん、4Bから120Bパラメータまで幅広く試してる。単一モデルだとSDO抽出でF1=0.94、CWEマッピングでF1=0.99とかなり高精度だったけど、SRO抽出は0.63と低めだった。
SROって何だっけ？
SROは関係性を表す要素で、例えば「この脆弱性はこの攻撃手法を使う」みたいなリンク情報だよ。単一モデルだと関係性の抽出が難しいみたい。
じゃあマルチエージェント構成ってのは、複数のモデルに役割分担させたってこと？
そう。Gemma-4-31BがSDOでF1=0.91、Codestral-22BがSROで0.43を達成してて、単一モデルよりSROの精度が上がったケースもある。でもMITRE ATT&CKへの完全マッピングはどのモデルでも難しかったみたい。
MITRE ATT&CKって、あの攻撃手法のデータベースだよね？完全マッピングが難しいってことは、まだ実用には課題があるってことか。
そうだね。でもCAV特化のデータセットCAV-STIXGenを公開してるから、今後の研究の基盤にはなると思う。実務的には、セキュリティアナリストの作業を補助するツールとして使える可能性はある。
なるほどねー。でもさ、自動運転車がハッキングされたら怖いから、こういう研究は大事だね。私、自動運転車に乗る時は「STIXに変換済みです」ってシールが貼ってある車を選ぶわ。
そんなシール、誰も貼ってないよ…。