TL;DRChatGPT、Cl…
TL;DR
LLMの出力に含まれる幻覚（ハルシネーション）を、入力テキストとの対応関係（アライメント）を考慮して検出する新しいタスクを提案。出力トークンをマスクして入力から予測し、その確信度に基づき幻覚かどうかを判定。軽量なエンコーダモデルで高再現率を達成し、入力側の根拠も同時に提示できる。
解説
ねえ智也くん、この論文のタイトル、『入力文との対応関係を利用した幻覚スパン検出』ってあるけど、幻覚ってAIが変なこと言うやつだよね？
そう。LLMが事実と違うことを自信満々に出力する現象だよ。この論文はそれを検出する新しい方法を提案してる。
へー、でも幻覚ってどうやって見つけるの？普通は正解と比べるしかないんじゃないの？
それがこの論文の面白いところで、入力文との対応関係、つまりアライメントを利用するんだ。出力のトークンをマスクして、入力からそのトークンを予測する。予測の確信度が低ければ幻覚の可能性が高いと判定する。
なるほど！つまり、AIが「この答えは入力に基づいてる」って自信がないと、幻覚ってわけね。でも、なんでわざわざマスクするの？
マスクすることで、そのトークンが入力からどれだけ予測可能かを測るんだ。もし入力に根拠があれば、予測は簡単で確信度が高くなる。逆に根拠がなければ予測が難しくて確信度が下がる。
それって、軽量なエンコーダモデルでできるって書いてあったけど、なんで軽量でいいの？
生成モデル全体を使うと計算コストが高いけど、エンコーダだけなら効率的だからね。この論文では、軽量なエンコーダで高再現率を達成してる。つまり、幻覚を見逃さずに検出できるってこと。
高再現率ってことは、幻覚じゃないものを幻覚って言っちゃうこともあるってこと？
そうだね、精度とのトレードオフはある。でも、幻覚を見逃すよりは、過剰に検出する方が安全な場合が多いから、再現率重視は理にかなってる。
しかも、入力側の根拠も同時に提示できるって書いてあるけど、どういうこと？
予測の際に、どの入力トークンがその出力トークンに寄与したかも分かるんだ。だから、幻覚と判定された部分に対して、入力のどこが根拠になっているかを示せる。
それってすごく便利だね！でも、この方法の限界とかあるの？
うーん、入力と出力が一対一で対応しないような複雑なタスクだと、アライメントがうまくいかないかもしれない。あと、エンコーダの予測確信度が必ずしも幻覚と一致するとは限らないから、完璧ではない。
でも、軽量で根拠も示せるってのは魅力的だね。これでAIの嘘も見抜けるようになるかな？
まあ、完全には無理だけど、一歩前進だよ。
そっか。じゃあ、私がAIに「今日の晩ごはんは？」って聞いて「カレー」って言われたら、カレーが幻覚かどうかも分かるんだね！
それは入力に根拠がないから、たぶん幻覚だよ。晩ごはんは自分で決めなよ。