ああ、VLMで動画の異常検知をするとき、普通はモデルに「異常か？」って聞いて、その回答をそのままスコアにするんだ。でも、その回答は「はい」とか「5点」みたいな離散的な値だから、同点が多くなって順位がつぶれちゃうんだよ。

例えば、異常度を1〜5で答えるとして、多くの動画が「3」って答えたら、全部同じスコアになっちゃうでしょ。それだと異常な動画と正常な動画をうまく区別できない。これがランク圧縮問題だよ。

生成された回答だけを見るんじゃなくて、回答候補全体の確率分布から期待値を計算するんだ。つまり、モデルが「3」を出す確率が0.6で「4」が0.4なら、スコアは3.4みたいに連続値になる。これで同点が減って、順位がちゃんとつくようになるんだ。

一番確率が高いものを選ぶと、その確率が例えば0.4でも、他の候補の情報が全部捨てられちゃうんだ。期待値を使うと、他の候補の確率も考慮するから、より細かいスコアが得られるんだよ。

うーん、確率分布がうまく校正されていないと、期待値もあまり意味がないかもしれない。あと、VLMの出力トークンが限られている場合、候補の数が少ないと効果が薄いかも。

試してみるといいよ。コードも公開されてるし、すぐに使えるはず。

占い師じゃなくて、データサイエンティストだよ。

うん、最近はLLMをセキュリティに使う研究が増えてるよ。特にログ分析は自然言語処理と相性がいいんだ。

それがポイントなんだ。従来のルールベースや統計的な手法は、明確なパターンや閾値に依存してるから、境界線上の異常を見逃しやすいんだよ。

例えば、通常は深夜にログインしないユーザーが深夜にログインしたけど、回数は少ないから統計的には異常と判定されない、みたいなケース。LLMは文脈を理解できるから、そういう微妙な兆候も拾えるんだ。

論文によると、Meta Llama 3.1 8Bっていうモデルが精度89.3%、再現率88.2%、F1スコア91.8%で、WazuhやOpenSearchより高かったみたい。

精度と再現率のバランスを表す指標だよ。高いほど良い。91.8%はかなり優秀だね。

いや、そうじゃない。論文ではLLMを既存監視の補完レイヤーとして使うことを提案してるんだ。つまり、従来のツールで検知したものに加えて、LLMで見逃しをカバーする感じ。

そこが課題だね。論文でも言及されてるけど、LLMの推論には時間とリソースがかかるから、リアルタイム処理には向かないかもしれない。あと、プロンプト設計や誤検知の調整も必要。

そう。特にセキュリティでは、見逃しが致命的になることがあるから、LLMの補完は価値があると思う。

そこも研究の範囲だね。今はブラックボックス的な部分もあるけど、今後の改善で説明可能性が高まるかもしれない。

それこそLLMに翻訳させればいいんじゃない？

ああ、簡単に言うと、AIがタスクをこなすために複数のステップを踏むシステムだよ。例えば、調べ物をして、計算して、結果をまとめる、みたいな。

この論文では、各ステップの出力埋め込み、不確実性、アクション情報っていうテレメトリだけを使って、約200マイクロ秒で検知する軽量モニタを提案してるんだ。

エコー状態ネットワーク（ESN）とCUSUMっていう統計的手法を組み合わせてるんだ。ESNは時系列パターンを学習するのに向いてて、CUSUMは異常を検知するのに使う。

2,823エピソードで検証してるんだけど、内容破損みたいな盲点があって、接地チャネルを追加することで改善したんだ。0.28から0.59に上がった。

簡単に言うと、外部の知識や事実と照合するための追加情報だよ。それで、内容が壊れてるのを検知しやすくなった。

うん、有機的失敗への転移は弱いんだ。つまり、学習したパターンと違う新しいタイプの失敗には対応しにくい。

決定的検証っていう、数値の整合性をチェックする方法を併用してるんだ。これだと偽陽性ゼロで60%の失敗を検知できて、ロールバック修復と組み合わせると成功率が52%から73%に上がった。

LLMエージェントは実用化が進んでるけど、失敗すると大きな問題になることがある。軽量でリアルタイムに検知できれば、コストを抑えつつ安全に使えるからね。

まあ、AIも完璧じゃないからね。でも、こういう研究の積み重ねで少しずつ良くなっていくよ。

その前に、自分で宿題を終わらせたほうがいいと思うよ。

ああ、Log-Insightってやつだね。マイクロサービスの障害診断を自動化するシステムだよ。

そう。30分で200万行以上のログが出ることもあるから、人間が全部見るのは無理。そこで、統計的異常検知とLLMを組み合わせたNeuro-Symbolicパイプラインでログを圧縮してるんだ。

その通り。だから圧縮が重要なんだ。異常なログだけを抽出して、LLMにはその証拠だけ渡すことで、コンテキストオーバーフローや幻覚を抑えてる。

実運用でMRRが0.790、Top-3正解率が90%超えてる。かなり実用的なレベルだよ。

そう。未知のパターンや、ログに現れにくい障害は苦手かもしれない。あと、LLMの品質に依存する部分もあるから、完璧ではないね。

ああ。特に夜間の障害対応とか、かなり楽になるはずだ。

それは…確かに。でも、そこは人間の判断がまだ必要ってことだね。

ああ、亜美さん。そうだね。動画の中から、事故や犯罪、工場の不良品みたいな普通じゃない出来事を自動で見つける技術だ。でも、今までの方法は大量の動画データを用意して、AIを一から訓練しないといけなくて、すごくコストがかかるんだ。

その通り。画像や動画も理解できるマルチモーダルモデルを、訓練なしで使おうとする研究はあるよ。でも、問題が２つある。まず、そういう巨大AIはネットのありふれたデータで訓練されてるから、レアな異常事象には鈍感な「バイアス」が最初から組み込まれている。

もう一つは「文脈の曖昧さ」。例えば、公園で走ってる人と、銀行で走ってる人は、画像だけ見たら似てるけど、後者は異常かもしれないだろ？今までの手法はAIの出した答えをそのまま信じるだけだから、こういう微妙な違いを見落としちゃうんだ。

そこでこの論文のアイデアだ。AIの内部表現を「受動的に読む」んじゃなくて、「能動的に操る」ことにしたんだ。AIの頭の中には、正常な事象と異常な事象がそれぞれ別の「塊（多様体）」として存在するって考え方がある。でも、それらがくっついちゃってるから区別がつきにくい。

うん、例えば粘土の塊が２つあって、くっついちゃってるイメージ。この論文はまず、AIの頭のどこに、異常検知に役立ちそうな塊があるかを探すんだ。これが「潜在異常専門家（LAE）」の特定。特別な計算なしで、ほんの少しのデータで見つけられる。

次に、その塊をうまく引き離すために「階層型メタコントローラー（HMC）」っていう小さな仕掛けを作る。これが動画全体の文脈を見て、LAEの塊に対して「ここを伸ばせ」「ここを縮めろ」って指令を出すんだ。そうすると、正常と異常の塊がきれいに分離する。

既存の訓練なし手法と比べて、圧倒的に精度が良くなった。しかも、学習に使ったデータはたったの1%だ。巨大AI自体は一切訓練してないから、計算コストもほとんどかからない。これが「SteerVAD」って名前の手法の結果だ。

そうだね。今まで「巨大AIをどう使うか」が焦点だったけど、この研究は「巨大AIをどう操るか」っていう全く新しいパラダイムを示したんだ。監視だけでなく、工場の自動検査や自動運転の異常検知にも応用できる可能性がある。

うん。まず、どのAIモデルを使うかによって、LAEの見つけやすさや調整の効果が変わるかもしれない。あと、動画の異常は無限にあるから、本当に未知の異常まで検知できるかは、もっと長期的に検証が必要だ。でも、この「能動的介入」の考え方は、他の分野、例えば医療画像診断とかにも広がっていくと思う。

…亜美さん、それってただのSFだよ。でも、研究者がAIの内部をより深く理解して制御する技術者、っていうのはありえるかもな。

それは『アノムシアー』で合ってるよ。時系列データ、つまり株価や心拍数みたいに時間が経つにつれて変化するデータの中から、おかしな動き……『異常』を見つけ出すAIの研究だね。

そこが問題なんだ。今のAIはグラフを画像として見るのは得意だけど、人間みたいに『なんとなくここが変だ』って雰囲気で決めつけちゃうことが多い。細かい数値の変化や、周期性のズレみたいな論理的な分析が苦手なんだよ。

……いや、AIはもっと賢くあるべきなんだけどね。この論文では、AIに『専門家のような考え方』を教え込むことで、その問題を解決しようとしているんだ。

違うよ。まず『エキスパート思考の連鎖（ExpCoT）』というものを作るんだ。これは、統計学や数学的な手法を使って、『まず全体を見て、次に周期性を確認して、最後にここが異常だと判断する』っていう論理的なステップを文章にしたものだよ。

ここで『TimerPO』っていう新しい強化学習の出番だ。AIが考えたプロセスと、専門家のプロセスを比較して、どれだけ近いかを『最適輸送（Optimal Transport）』っていう数学の理論で計算するんだよ。

似たようなものかな。ある分布を別の分布に変えるための最小のコストを計算する理論なんだけど、ここでは『AIの考えを専門家の考えに修正するための距離』を測るのに使っているんだ。これで、AIの推論が専門家からズレないようにガイドするんだよ。

そうだね。医療データの監視やサイバー攻撃の検知にも使えるはずだ。ただ、まだ課題もあって、すごく複雑なデータだと計算に時間がかかったり、専門家の知識をどう用意するかっていうコストの問題もある。

それは異常検知するまでもなく、昨日君がケーキを3個食べたせいだよ。原因がはっきりしすぎててAIの出番はないね。

ああ、これはLLMを使ってシステムの『ログ』からハッカーの動きを見つけ出そうっていう研究だよ。今の検知システムって、実は結構ポンコツなんだ。

そうなんだ。従来のシステムは、ちょっとした変化でも『攻撃だ！』って騒いじゃう誤検知が多いし、ログに書かれたメッセージの『意味』を理解できないんだよね。オオカミ少年みたいな状態になってる現場も多いんだ。

例えとしては悪くないね。でも、その日記が膨大すぎて人間には読めないし、システムごとに書き方もバラバラなんだ。この論文では、まず『LogAtlas』っていう巨大で多様なログのデータセットを作って、AIに学習させているんだよ。

そこがこの論文の賢いところでね。2段階で学習させているんだ。まず『Base-AMAN』っていう30億パラメータもある大きなモデルに、ログの読み方を徹底的に教え込む。ここでは『LoRA』っていう、モデルの一部だけを効率よく書き換える手法を使っているよ。

鋭いね。だから第2段階として、その知識を0.5億パラメータの小さな『AMAN』っていうモデルに引き継がせるんだ。これを『知識蒸留』って呼ぶよ。さらに『Soft Mixture-of-Experts (Soft-MoE)』っていう、得意分野を持つ専門家チームをモデルの中に作るような技術も使って、効率を上げているんだ。

まあ、イメージは合ってるかな。そのおかげで、1つのログの塊を調べるのに0.3秒から0.5秒しかかからないし、1日の電気代みたいな運用コストも50ドル以下で済むんだ。これなら実際の会社でも使えるレベルだよ。

バッチリだよ。面白いのは、普通のAIが『正解率99%』って言ってても、実は攻撃を1件も見逃してたりすることがあるって指摘してるところだね。このモデルは、攻撃が少ない現実的な状況でも、ちゃんと異常を見抜けるように訓練されているんだ。

そうだね。今後は、ただ『異常です』って言うだけじゃなくて、『なぜ異常なのか』を人間にもっと分かりやすく説明する機能なんかが期待されているよ。ただ、まだ新しい攻撃パターンに対応し続けるっていう課題はあるけどね。

僕の私生活はシステムログに残らないから無理だよ。あと、お菓子なんて隠してないし。……早く勉強に戻りなよ。

自動運転そのものというより、鉄道の「安全」を守るためのAIについての研究だよ。線路に人が入っちゃったりする「侵入」を、AIがどうやって見つけるかって話だね。

そこがこの論文のポイントなんだ。今のシステムは「線路の上に何かが乗った」後に反応する「リアクティブ（反応的）」なものが多い。でも、それだと遅すぎることもあるだろ？

そう、この論文では「認知的な侵入検知」を提案しているんだ。単に物を見つけるだけじゃなくて、その物が「どこにいて」「どっちに動こうとしていて」「どれくらい危険か」を予測するんだよ。

まさにそんな感じ。そのために「CogRail」っていう新しいベンチマーク、つまりAIの実力を測るためのテストセットを作ったんだ。これには3つのタスクがあるんだよ。

1つ目は「RailPos」。これは対象が線路の上か、バラスト（線路の脇の石）か、それとも安全な外側かを判断する。2つ目は「RailMove」。止まっているのか、安全に動いているのか、それとも線路に向かっていて危険なのかを予測するんだ。

3つ目は「RailThreat」。これまでの情報を総合して、最終的な脅威レベルを判定するタスクだ。これらをVLM、つまり画像と言語を両方理解できるAIモデルに解かせるんだよ。

実は、そのままのVLMだと鉄道の特殊な環境を理解するのは難しかったんだ。だから著者たちは「RailGPT」っていうフレームワークを作って、鉄道専用の知識を学習させる「共同微調整（Joint Fine-tuning）」を行ったんだよ。

まあ、イメージは近いかな。位置、動き、脅威っていう3つのタスクを同時に学習させることで、モデルの中で「位置がこうだから、この動きは危険なんだ」っていう論理的なつながりが強化されるんだ。

実験の結果、この手法を使ったモデルは、普通のVLMよりも圧倒的に正確に状況を判断できるようになったんだ。特に、今まで難しかった「将来の危険の予測」がかなり上手くいったみたいだよ。

そうだね。将来的には、列車の運転士さんのサポートをしたり、駅の監視カメラを自動化したりして、鉄道システム全体の安全性を底上げできる可能性がある。ただ、まだ課題もあるんだ。

例えば、ものすごい豪雨とか吹雪みたいな悪天候での判断や、めったに起きない特殊なケースへの対応だね。命に関わる分野だから、100%に近い信頼性が求められるんだ。

それは「安全」じゃなくて「甘やかし」だろ。AIに頼る前に、目覚まし時計をもう一個買いなよ。

あながち間違いじゃないよ。これはLLMエージェント、つまり自分で考えて行動するAIが、変な計画を立てて暴走しないように見張るための技術なんだ。

例えば「銀行の残高を確認して」って頼んだのに、なぜか「ファイルを全部消去する」なんて手順を計画に混ぜちゃうことがあるんだ。これを『異常な軌跡（トラジェクトリ）』と呼ぶんだけど、今の技術だとこれを見つけるのが難しいんだよ。

いい質問だね。これまでの方法は、手順全体を平均化して一つのベクトル（数値の塊）にしてたから、一箇所だけおかしな手順が混ざってても薄まって気づけないんだ。かといって、別のLLMに「これ合ってる？」って聞くと、返事まで1秒近くかかって、リアルタイムのガードには遅すぎるんだよ。

……例えは独特だけど、まあそういうことだ。そこでこの論文が提案したのが『Trajectory Guard』。これは『Siamese Recurrent Autoencoder』っていう構造を使っているんだ。

シャム猫の「サイアミーズ」と同じ語源で、2つのネットワークが対になっている構造のことだよ。片方で「ユーザーの依頼（タスク）」を処理し、もう片方で「AIの計画（軌跡）」を処理して、それらがちゃんと噛み合っているかをチェックするんだ。

『ハイブリッド損失関数』っていうのを使っている。1つは『対照学習』で、タスクと計画が意味的に合っているかを見る。もう1つは『再構成学習』。これは、計画の手順が論理的な順番になっているか、つまり「計画の文法」が正しいかをチェックするんだ。この2つを同時にやるのがミソだね。

そうだね。将来的には、セキュリティが厳しい企業のシステムとか、複雑な操作を自動化するエージェントの安全装置として必須になるかもしれない。ただ、まだ課題もあって、手順が10ステップを超えるような長い計画だと、少し精度が落ちちゃうらしいんだ。

疲れの問題じゃないけど……。今後は『アテンション』っていう、重要な部分に注目する仕組みを取り入れて、長い計画にも対応できるように研究が進むはずだよ。

僕は変なこと言わないし、君の場合はまず自分の『天然発言ガード』を開発したほうがいいと思うよ。