解説ねえ智也くん、この論文のタ…
TL;DR
思考モードVLMでは回答トークンのエントロピーが幻覚検出に使えない（AUROC=0.492）が、思考連鎖のエントロピーが有効な代替信号になる（AUROC=0.647）。モデルによって回答エントロピーの振る舞いは3パターンに分かれ、思考連鎖信号は全モデルで回答エントロピー以上に信頼できる。さらに、不確かなサンプルを棄却するゲートを実装すれば、カバレッジ62.7%で精度71.0%→93.8%に改善できる。
解説
ねえ智也くん、このブログのタイトル、『思考連鎖エントロピーでVLMの幻覚を検出』って面白そう！でも、そもそもVLMって何？
Vision-Language Modelの略だよ。画像とテキストを一緒に扱うAIモデル。例えば、写真を見て説明するようなやつ。
ああ、最近よく聞くやつね！で、その幻覚って何？AIが嘘をつくってこと？
そう。モデルが自信満々に間違った情報を出力すること。特に思考モードってやつで、モデルが内部で考えながら答える時に問題になるんだ。
なるほど。で、この論文はその幻覚をどうやって見つけるの？
普通は回答トークンのエントロピー、つまりモデルがどのくらい迷ってるかを測るんだけど、思考モードだとそれが全然役に立たないんだ。AUROCが0.492で、ほぼランダム。
え、それってサイコロ振るのと同じじゃん！じゃあどうするの？
そこで思考連鎖のエントロピーを使う。モデルが考えた過程のトークン列のエントロピーを測るんだ。これだとAUROCが0.647まで上がる。
結構改善するんだね！でも、なんで回答のエントロピーはダメなの？
モデルによって回答エントロピーの振る舞いが3パターンに分かれるから。あるモデルは幻覚の時も正解の時も同じくらい自信満々だったり、逆に迷ったりする。統一性がないんだ。
なるほどね。で、思考連鎖のエントロピーは全部のモデルで使えるの？
うん。全モデルで回答エントロピーより信頼できるって結果が出てる。さらに、不確かなサンプルを棄却するゲートを実装すれば、カバレッジ62.7%で精度が71.0%から93.8%に跳ね上がる。
すごい！じゃあ実用的には、このゲートを使えば安心してAIに任せられるってこと？
そういうこと。ただし、思考連鎖のエントロピーを計算するにはモデルの内部状態にアクセスする必要があるから、API経由のモデルだと難しい。あと、この手法はあくまで検出であって、幻覚自体を防ぐわけじゃない。
なるほどね。でも、AIが「わかんない」って言ってくれるなら、人間がチェックすればいいもんね。ところで、この論文の著者って、もしかしてAIに幻覚を見せられて研究始めたとか？
いや、それはないと思う。でも、君のその発想は結構幻覚的だよ。