TL;DR

顔モーフィング検出D-MADで、モデルを微調整せず検証ラベルでプロンプトを選ぶ手法を検証した論文。GPT-4oを使うV1の選択プロンプトはテスト160ペアでMACER 19.17%、手動プロンプトは70.00%。再帰修正はGen0最良を超えず、V1が見逃した23件はすべてLMAだった。

既存手法との違い

原論文の同一実験内比較は、手動プロンプト、V1の非再帰プロンプト選択、V2の再帰的プロンプト修正である。手動プロンプトのテストMACERは70.00%、V1選択プロンプトは19.17%、V2の報告された修正子孫は31.67%で、V2はGen0の最良検証損失を超えなかった。従来の訓練型D-MADやCLIP/LoRA適応型手法との同一条件での性能比較は、提示された本文からは確認できない。

使える条件

D-MADとして、信頼できるライブ画像Aと書類画像Bの組からBがモーフィング攻撃かを判定する設定。GPT-4oを凍結パラメータの評価器として使い、著者側の微調整は行わない。検証ラベルと被験者非重複の検証分割でプロンプトを選び、テスト前に固定する。V1は50候補、V2はGen0で30候補。テストは160ペア、LMA・MIPGAN-2・PIPEの3種を含み、テスト時は同一プロンプトで3応答を取得しOR融合する。モーフ生成手法ラベルはプロンプトに含めない。V2の再帰修正は10被験者のコンパクトな検証設定で行われる。

限界と未検証の範囲

テストは被験者非重複の160ペア・3種のモーフ生成手法に限られ、他のデータセットや生成手法への一般化は未検証。V2の再帰修正はGen0の最良検証損失を超えず、報告された修正子孫のテストMACERは31.67%。V1が見逃した23件はすべてLMAで、LMAへの弱さが残る。凍結は著者側のパラメータ更新を行わない意味であり、GPT-4oの提供者側更新は制御できない。モーフリスクスコアは較正済み確率ではなく、根拠文も検証済みの因果説明ではない。検証ラベルを使う教師ありプロンプト選択であり、ラベルなし手順ではない。

図1: 提案手法の概要(本記事による図解)

検証分割で候補プロンプトをLsecにより選び、テスト前に固定して3応答をOR融合する流れを示す。V2の再帰修正ループは簡略化のため省略している。
検証分割で候補プロンプトをLsecにより選び、テスト前に固定して3応答をOR融合する流れを示す。V2の再帰修正ループは簡略化のため省略している。

解説

AMI NEUTRAL

ねえ智也くん、この『凍結VLMのD-MADで検証データに基づくプロンプト選択』って、要はプロンプトをテスト前にちゃんと選ぼうって話?

TOMOYA EXPLAINING

そう。D-MADは、信頼できるライブ画像と書類画像を比べて、書類側が顔モーフィング攻撃かを見る。そこでGPT-4oを凍結、つまり著者側では微調整せずに評価器として使ってる。

AMI THINKING

モデルを育てるんじゃなくて、聞き方を選ぶんだ。なんでそんなことするの?

TOMOYA EXPLAINING

学習用のモーフペアが限られてるから、パラメータ更新に頼らない道が欲しい。でも手動プロンプトだと、プロンプトの選び方が実験の未制御因子になる。だから検証ラベルで候補を選ぶ。

AMI NEUTRAL

手動と比べてどれくらい違うの?

TOMOYA EXPLAINING

同一実験内では、手動プロンプトのテストMACERが70.00%、V1の選択プロンプトが19.17%。差分は50.83ポイントで、95%の被験者ブートストラップ区間は43.33から58.33。

AMI SURPRISED

えっ、そんなに変わるんだ。MACERはモーフを見逃す率だよね?

TOMOYA EXPLAINING

そう。低いほどいい。V1は50候補を作って、被験者非重複の検証分割でLsecという損失でランク付けして、テスト前に固定する。LsecはMACERを重く見て、BSCERや応答失敗、パース失敗、決定の不安定さも入れる。

AMI THINKING

テストではどうやって判定するの?

TOMOYA EXPLAINING

同じプロンプトで3応答取って、ORで融合する。どれかがモーフと言えばモーフ寄り。リスクスコアは最大値でまとめる。テストは160ペアで、LMA、MIPGAN-2、PIPEの3種類を含む。モーフ生成手法のラベルはプロンプトには入れない。

AMI NEUTRAL

再帰的にプロンプトを直すV2もあるんでしょ?

TOMOYA THINKING

ある。V2はGen0で30候補から始めて、集約した検証指標だけを使って修正する。でも再帰修正はGen0の最良検証損失を超えなかった。報告された修正子孫のテストMACERは31.67%。検証は10被験者とコンパクト。

AMI SURPRISED

じゃあV1の方が強かったんだ。見逃した23件はどんなの?

TOMOYA SAD

V1が見逃した23件は全部LMA、ランドマークベースのモーフだった。だからLMAへの弱さは残ってる。

AMI UNDERSTOOD

なるほど。意義は、凍結VLMでもプロンプトの作り方でD-MAD性能が大きく変わるって示したことだね。

TOMOYA EXPLAINING

そう。ただし、これは検証ラベルを使う教師ありプロンプト選択で、ラベルなし手順ではない。リスクスコアは較正済み確率じゃないし、根拠文も検証済みの因果説明ではない。

AMI NEUTRAL

他のデータセットや生成手法でも同じ?

TOMOYA EXPLAINING

提示された本文からは確認できない。テストは被験者非重複の160ペア、3種類の生成手法に限られてる。従来の訓練型D-MADやCLIP/LoRA適応型との同一条件比較も、提示本文からは確認できない。

AMI THINKING

凍結って言っても、GPT-4oの提供者側の更新は止められないんだよね。

TOMOYA EXPLAINING

そこは注意。凍結は著者側がパラメータ更新をしない意味で、提供者側のモデル更新は制御できない。

AMI SMILE

じゃあ、プロンプトも顔写真も『いい人』に選んでもらうのが大事ってこと?

TOMOYA NEUTRAL

いい人じゃなくて検証ラベルだ。