TL;DREMBL AI LI…
TL;DR
本論文は、セキュリティログから内部不正やAPTをゼロショットで検知する2段階LLMフレームワークを提案。ログをユーザーごとの時系列にまとめ、LLM1が解釈可能なリスク指標を生成し、LLM2がその時系列変化を分類する。RAGによる個人の行動履歴の参照は、特に弱いLLMの精度向上に有効で、最良構成ではCERT r5.2でF1が11.40ポイント、PicoDomainで31.50ポイント向上した。
解説
ねえ智也くん、この論文のタイトル、『LLMでゼロショット脅威検知』ってあるけど、ゼロショットって何？
ああ、ゼロショットっていうのは、事前にそのタスクの学習データを使わずに、モデルが持っている知識だけで新しいタスクを解くことだよ。この論文では、セキュリティログから内部不正やAPTを検知するのに、LLMを直接使ってるんだ。
へー、でもセキュリティログってすごく複雑そうだよね。どうやってLLMに理解させるの？
そこがポイントで、まずログをユーザーごとの時系列にまとめるんだ。それから、LLM1がその時系列から解釈可能なリスク指標を生成する。次にLLM2がそのリスク指標の時系列変化を分類して、脅威かどうかを判断する。
なるほど、2段階に分けてるんだね。でも、なんで2段階にする必要があるの？
直接ログを分類させるより、まずリスク指標という中間表現を作ることで、LLMがログの意味を捉えやすくなるんだ。それに、リスク指標は人間にも解釈しやすいから、セキュリティアナリストが確認しやすくなるっていう利点もある。
なるほどね。で、評価はどうだったの？
CERT r5.2っていうデータセットでF1が11.40ポイント、PicoDomainで31.50ポイント向上したんだ。特に、RAGを使って個人の行動履歴を参照するのが効果的だったみたい。
RAGって何だっけ？
Retrieval-Augmented Generationの略で、外部の知識ベースから関連情報を検索して、それをLLMの入力に追加する手法だよ。この論文では、ユーザーの過去の行動履歴を検索して、現在のログと一緒にLLMに渡すことで、異常を検知しやすくしてるんだ。
なるほど、その人の普段の行動パターンを知ってるから、いつもと違う動きを検知しやすいってことか。すごいね！
そうだね。特に弱いLLM（小さいモデル）だと、RAGの効果が顕著だったらしい。強いLLMでも改善は見られたけど、弱いLLMの方がより大きな向上があったみたい。
でも、ゼロショットって言っても、LLM自体は事前学習でたくさんのデータを見てるんでしょ？それって本当にゼロショットなの？
いい質問だね。確かにLLMは事前学習で一般的な知識を持ってるけど、このタスク（セキュリティログの脅威検知）専用の学習はしてないから、ゼロショットと言えるんだ。ただし、完全にゼロからではなくて、事前学習の知識を活用してるって点は注意が必要だね。
なるほど。でも、この手法の限界とかはあるの？
うん、まず、ログの形式が変わると性能が落ちる可能性がある。それに、LLMの推論コストが高いから、大規模な環境でリアルタイムに使うのは難しいかもしれない。あと、RAGを使うと検索のオーバーヘッドも増えるしね。
確かに、コストは気になるね。でも、セキュリティの現場で使えるようになったら、すごく助かるだろうね。
そうだね。特に、未知の攻撃パターンに対しても検知できる可能性があるから、APT対策には有効だと思う。
でもさ、LLMがリスク指標を生成するって、まるでAIがセキュリティアナリストの仕事を奪っちゃうみたいだね。
それはないよ。あくまで支援ツールだし、最終判断は人間がするべきだよ。それに、AIが間違ったら責任取れないしね。