行動アノマリー検索を3段階で解決するActPair：ペア比較リランキングの実装ポイント

ああ、それは「行動ペア比較」の略だよ。人物の異常行動をテキストで検索する問題を扱ってて、最後に候補をペアで比較してリランキングするからそう名付けたんだ。

例えば「誰かが夜中に倉庫から何かを運び出している」みたいなクエリを入力して、大量の行動記述の中から該当するものを探すんだ。監視カメラのログとか、小説のシーンとかが対象になるよ。

普通の検索はキーワードの一致だけど、行動は言葉が違っても意味が同じことがあるから難しいんだ。例えば「こっそり」と「密かに」は似てるけど、単語は違うでしょ。

3段階のフレームワークになってる。まず行動の整合表現を学習して、次に並列後期融合検索で候補を絞り、最後にペア比較リランキングで精度を上げるんだ。

最初の段階では、行動記述とクエリを同じベクトル空間に埋め込むように学習する。これで意味的な類似度を測れるようにするんだ。

次に、元のクエリとLLMで書き換えたクエリの両方を使って、並列に検索する。それぞれの結果を後で融合するから「並列後期融合」って呼んでる。

例えば「夜中に倉庫から運び出す」を「不審な夜間の移動」みたいに言い換えるんだ。これで検索の幅が広がるんだよ。

候補が絞られたら、MLLM（マルチモーダル大規模言語モデル）に2つの候補を直接比較させるんだ。どちらがクエリに合うかを判断させて、順位を付け直す。

この論文ではテキストベースだけど、MLLMはテキストも理解できるから問題ないよ。むしろ、画像や動画の情報も組み合わせられる可能性があるんだ。

PABというデータセットで最高性能を達成したんだ。しかも、未知のデータセットにも転移できることが示されてる。

ただ、まだ限界もあるよ。例えば、MLLMの比較は計算コストが高いし、候補数が多すぎると時間がかかる。

そうだね。あと、行動記述が非常に曖昧な場合や、クエリが抽象的すぎる場合はまだ難しいみたい。

興味あるなら、コードが公開されてるから試してみるといいよ。

それも立派な異常行動だよ。