AIがフィッシング詐欺を見逃す理由？モデルとデータの相性を暴く！

ああ、それはね。AIを特定の仕事、今回はフィッシングメールを見抜くために追加で学習させたときに、なんで「見たことがない新しいメール」に対して急に弱くなっちゃうのかを調べた研究だよ。

はは、まあ似たようなものかな。これを専門用語で「汎化（はんか）の失敗」って言うんだ。学習したデータには強いけど、ちょっと傾向が違うデータが来るとボロが出る。特にセキュリティの世界だと、犯人はどんどん手口を変えるから、これが大きな問題なんだよ。

それを突き止めるために、この論文ではLlama 3.1、Gemma 2、Mistralっていう3つの有名なモデルを使って実験しているんだ。学習方法には「QLoRA」っていう、モデルの全部を書き換えるんじゃなくて、一部に小さなパーツを追加して効率よく学習させる手法を使っているよ。

面白いことに、モデルによって全然性格が違ったんだ。Gemma 2は、いろんな種類のメールを混ぜて学習させると、正解率が91%を超えるくらい優秀な「ジェネラリスト」になった。でも、Llama 3.1は特定の古いメールには強いけど、新しいタイプのメールが混ざると混乱して性能がガタ落ちしちゃったんだよ。

そこがこの論文のすごいところで、「SHAP」っていう分析ツールを使って、AIがメールの「どの単語」を見て判断したかを可視化したんだ。そしたら、失敗するモデルは「ビジネス用語」とか「特定の書き方」みたいな、フィッシングの本質じゃない部分を「これは安全なメールだ」って思い込む手がかりにしちゃってたんだよ。

まさにそれ。さらに「メカニスティックな解釈」っていう手法で、モデルの中の「注目（アテンション）」がどこに向いているかも調べて、モデルが間違ったルールを学習しちゃう仕組みを解明したんだ。Mistralっていうモデルは、どんな学習をさせても比較的安定してて、レジリエンス（回復力）が高いこともわかったよ。

今までは「とにかくデータを増やせば賢くなる」と思われがちだったけど、モデルの構造とデータの相性がすごく大事だってことが証明されたんだ。これからは、ただ学習させるだけじゃなくて、今回みたいな診断手法を使って「変なクセ」がついてないかチェックしながらAIを育てるのが主流になるはずだよ。

そうだね。ただ、課題もあって、公開されているデータセット自体にラベルの間違いがあったり、わざと紛らわしい書き方をしているメールがあったりするんだ。そういう「ノイズ」にどう対処するかが、これからの研究の鍵になるだろうね。

いや、それは分析するまでもなく100%ありえないから。偽物確定だよ。