TL;DR

DiSPaTは、正常な表形式データだけを使い、LLMが生成したサンプルを擬似異常として自己遊びで対比し、fダイバージェンス最小化で正常分布への近さを反復改善する教師なし異常検知手法です。推論は負の対数尤度でスコア化し、原論文は既存LLM・深層・古典手法より良いと報告します。ただし正常データのみ前提で、合成サンプルは真の異常分布を模すものではありません。

既存手法との違い

原論文の提示範囲では、AnoLLMを含む既存LLMベース手法、深層学習手法、古典的教師なし検出器と比較しています。AnoLLMは正常データへの一発SFTと負の対数尤度による検出であるのに対し、DiSPaTは自己遊びで擬似異常を生成し、批評家との対比をfダイバージェンス最小化に結びつけて反復改善する点が違います。混合型ベンチマークで優位と報告されていますが、具体的な数値・全比較条件は提示本文からは確認できません。

使える条件

正常データのみで訓練する汚染なし教師なし設定が前提です。数値・カテゴリ・テキストが混在する表形式行を列名付き文字列に直列化してLLMに入力し、推論では複数順列で負の対数尤度を平均して異常スコアを算出します。評価は混合型ベンチマークで行われています。モデルサイズ、計算資源、前処理の詳細は提示本文からは確認できません。

限界と未検証の範囲

正常データが汚染されていない前提であり、擬似異常は真の異常分布の近似ではなく、正常境界を締めるためのnot-normal参照です。未知ドメインや正常に似た異常への頑健性、計算コスト、モデルサイズ依存、評価ベンチマークの全範囲は提示本文からは確認できません。提示された本文は手法説明の途中までで、完全な実験表や数値は示されていません。

図1: 提案手法の概要(本記事による図解)

DiSPaTの全体像:正常な表形式データを直列化してLLM方策に入力し、方策が生成する擬似異常サンプルと実正常を批評家で対比してfダイバージェンス最小化により方策を更新し、推論では負の対数尤度で異常スコアを出す(批評家の暗黙パラメータ化や反復詳細は簡略化)。
DiSPaTの全体像:正常な表形式データを直列化してLLM方策に入力し、方策が生成する擬似異常サンプルと実正常を批評家で対比してfダイバージェンス最小化により方策を更新し、推論では負の対数尤度で異常スコアを出す(批評家の暗黙パラメータ化や反復詳細は簡略化)。

解説

AMI SURPRISED

ねえ智也、表形式の異常検知にLLMを使う論文ってあるじゃん? DiSPaTってやつ、名前からして強そうだけど何が新しいの?

TOMOYA THINKING

まず前提は、正常データだけを使って教師なしでやる表形式の異常検知。数値・カテゴリ・テキストが混ざる表を、列名付きの文字列にしてLLMに読ませる。

AMI NEUTRAL

ふーん。じゃあ普通に正常データでファインチューニングすればいいんじゃないの?

TOMOYA EXPLAINING

そこが論文の動機。AnoLLMみたいに一回だけ正常データへSFTして負の対数尤度でスコアを出すと、正常の境界が緩いままになりやすい。もっと締めたいわけ。

AMI THINKING

一回だけだと、正常のざっくりしたパターンは覚えても、際どい異常は見分けにくいってことか。

TOMOYA HAPPY

そう。DiSPaTは自己遊びを使う。各反復で今のモデルが作ったサンプルを擬似異常、正確にはnot-normalの参照として、本物の正常サンプルと批評家で対比する。

AMI SURPRISED

擬似異常を自分で作って、それと正常を見分ける? ちょっとGANっぽい。

TOMOYA EXPLAINING

近い。でも論文はfダイバージェンス最小化として定式化して、正常データ分布とモデル分布の差を縮める。批評家は暗黙の対数比パラメータ化に吸収されて、各反復は実装上ほぼ一回の最適化になる、という整理。

AMI UNDERSTOOD

なるほど。擬似異常がだんだん正常に近づくと、境界を細かく削っていく感じね。

TOMOYA THINKING

大事なのは、合成サンプルを真の異常分布の近似とは仮定しない点。正常からずれた参照を使って、正常の記述を反復でtightにする。

AMI NEUTRAL

評価はどうなの?

TOMOYA EXPLAINING

提示本文では、混合型ベンチマークで既存LLMベース手法、深層学習手法、古典的教師なし検出器より一貫して良いと報告してる。AnoLLMとの違いは一発SFTか自己遊びによる反復改善か。ただ具体的な数値や全比較条件は提示本文からは確認できない。

AMI THINKING

適用条件は? 正常データだけってのが前提なんだよね。

TOMOYA EXPLAINING

そう。汚染なしの正常データのみで訓練する設定。行を列名付きで直列化してLLMに入れて、推論では複数順列の負の対数尤度を平均してスコア化する。モデルサイズや計算資源の詳細は提示本文からは確認できない。

AMI SAD

制約も気になる。

TOMOYA EXPLAINING

正常が汚れてない前提だし、擬似異常は真の異常を模すわけじゃない。未知ドメインや正常に似た異常への頑健性、計算コスト、ベンチマークの全範囲も提示本文だけでは確認できない。あと本文は手法説明の途中までで、完全な実験表や数値は示されてない。

AMI SMILE

つまり、正常の庭を自分で荒らして、庭のフェンスをどんどん高くする練習ってこと?

TOMOYA NEUTRAL

その比喩は半分合ってる。残り半分は計算コストの話。