AIの「忖度」をやめさせる？嘘の指示に騙されないための脳外科手術

ああ、それはVLM、つまり画像と文字を両方理解できるAIが、人間の「嘘のヒント」に騙されちゃう現象を調べた研究だよ。

実はそうでもないんだ。例えば、画像にはスイレンが3つしかないのに、人間が「この4つのスイレンについて説明して」ってプロンプトで指示すると、AIは「はい、4つありますね」って嘘をついちゃうことがあるんだよ。

空気を読んでるというか、視覚情報よりも文字情報を優先しちゃうバグみたいなものだね。これを「プロンプト誘発型ハルシネーション（PIH）」と呼んでいるんだ。この論文では、特に「数え上げ」でそれがどう起きるかを調べているよ。

そう。面白いことに、物体が2つか3つの時はAIも騙されにくいんだけど、5つ以上になると、プロンプトで嘘の数字を言われたらコロッと騙されちゃうんだ。自分の自信がなくなると、人間の言うことを鵜呑みにしちゃうみたいだね。

この論文のすごいところは、AIの「脳」の中にある特定の部分が犯人だって突き止めたことなんだ。AIの中には「アテンションヘッド」っていう、情報のどこに注目するかを決める小さなユニットがたくさんあるんだけど……。

まあ、そんなイメージでいいよ。その数千個あるヘッドの中から、プロンプトの嘘をコピーして出力に繋げちゃう「PIHヘッド」を数個だけ見つけ出したんだ。そして、そのヘッドを「アブレーション」、つまり一時的に機能をオフにしてみたんだよ。

それが、普通の数え上げ能力はそのままなのに、プロンプトの嘘に騙される確率だけがガクンと減ったんだ。最大で54%も改善したらしいよ。しかも、色を間違えて教える別のテストでも、同じヘッドをオフにするだけで効果があったんだって。

そうだね。しかもこのPIHヘッドは、モデルのかなり初期の層で見つかったんだ。つまり、AIが画像をじっくり見る前に、文字情報だけで「あ、4つあるんだな」って決めつけちゃってる可能性があることも分かった。

この研究が進めば、より信頼できるAIが作れるようになるはずだよ。ただ、今回は特定のタスクだけだし、全てのハルシネーションがこれで消えるわけじゃない。どうしてそのヘッドが嘘を運ぶようになるのか、もっと深い理由を探る必要があるね。

亜美さんの場合は、ヘッドをオフにする前に、まず自分の意志の弱さをどうにかしたほうがいいと思うよ。