要点テキストから画像を生成する…
解説
ねえねえ、智也くん！これ、『HALLUSHIFT++』って論文、なんかすごそうなタイトルだね！何が書いてあるの？
ああ、亜美さん。これは、画像を見て説明文を生成するAIが、時々デタラメなことを言っちゃう問題についての論文だよ。そのデタラメを、AIの頭の中を覗き見ることで検出しようって話。
AIがデタラメを言う？『幻覚』ってやつ？確かに、AIが画像にないものを『ある』って言っちゃうこと、あるよね。でも、どうやって頭の中を覗き見るの？
そう。その幻覚を検出するのに、今までは別の大きなAI、例えばGPT-4みたいなのに『これ、デタラメ？』って聞いてたんだ。でも、それだと、その評価用のAIもまたデタラメを言う可能性があるし、万能じゃない。
えー、じゃあ、デタラメかどうかを判断するAIもデタラメ言うかもしれないってこと？それじゃあ、いたちごっこだね！
その通り。だからこの研究では、外部のAIに頼らず、幻覚を起こしているAI自身の内部状態を分析するんだ。AIが文章を生成する時、その内部の各層で計算されている値に、幻覚の時だけ現れる特有のパターンがあるんじゃないか、と仮説を立てて。
ふーん…内部状態って、具体的に何を見るの？
主に3つだね。1つは、各層の「隠れ状態」と呼ばれる数値のベクトル。2つ目は、画像のどの部分に「注意」を向けているかを表す重み。3つ目は、次にどの単語を選ぶかの「確率」だ。
で、その数字の山からどうやって幻覚を見分けるの？
ここがこの論文の肝なんだ。まず、74個の特徴量を計算する。その中には、例えば…「レイヤー一貫性特徴量」ってのがある。AIの初期の層と後の層で、同じ入力に対する内部表現がどれだけ食い違ってるかを測るんだ。幻覚を起こしてる時は、この食い違いが大きくなるらしい。
あ、なんとなくわかるかも！最初は画像を正しく見てたのに、後になるほど妄想が膨らんじゃう感じ？
そういうイメージだね。あと、「注意集中特徴量」も面白い。画像のどこを見てるかを表す注意の分布が、一点に集中してるか、バラけているかをジニ係数ってので測る。幻覚の時は、注意が散漫になってバラける傾向があるんだ。
なるほどー。で、その74個の特徴量を計算した後は？
次に、AIが生成した文章を「意味の塊」に自動で分解する。『茶色い猫が机の上にいる』なら、『猫』（物体）、『茶色い』（属性）、『机の上に』（関係）って感じに。で、それぞれの塊に対して、先ほどの特徴量から、幻覚スコアを計算する。しかも、ただ『幻覚だ』って判断するんじゃなくて、それが『物体そのものの間違い』なのか、『色や形の間違い』なのか、『位置関係の間違い』なのか、まで分類できるんだ。
すごい細かく分析できるんだ！で、実際の実験結果はどうだったの？うまくいった？
うん、画像キャプショニングのタスクで、前のバージョンのHALLUSHIFTと比べて、幻覚を正しく検出できる割合（AUC-ROC）が約64%も向上した。これはかなり大きな進歩だよ。
すごい！これって、何がすごいの？未来のAI開発にどう役立つと思う？
大きな意義は2つあると思う。1つは、外部のAIに頼らないので、評価自体がより信頼でき、コストもかからないこと。もう1つは、どこでどんな幻覚を起こしているかが細かくわかるので、AIの開発者が弱点を特定して、より正確なモデルを作るためのヒントに直接使えることだね。
じゃあ、将来はもっと嘘つかないAIができるかも！でも、この方法にも弱点とかあるの？
もちろん課題はある。まず、分析するためにはモデルの内部状態へのアクセスが必要だから、外部からはブラックボックスなAIサービスには使えない。あと、今は主に画像キャプショニングに焦点を当ててるから、動画や音声を含むもっと複雑なマルチモーダルタスクへの拡張は今後の課題だね。
なるほどねー。でも、AIの頭の中を診断するお医者さんみたいな技術ができたってことだよね！
…そう言われると、確かにそんな感じだな。AI心理学者、かもね。
じゃあ、私が将来AIに『私のことが好き？』って聞いた時、HALLUSHIFT++で診断すれば、ホンネと建前がわかるかも！
…それは全く別の、もっと深刻な幻覚の問題だよ、亜美さん。
要点
MLLM（マルチモーダル大規模言語モデル）は、画像とテキストを組み合わせたタスクで優れた能力を示すが、画像の内容と事実が一致しない「幻覚（Hallucination）」を生成する問題がある。
従来の幻覚検出手法は、GPT-4などの外部LLMを評価者として使うことが多く、それ自体が幻覚を起こす可能性や、ドメイン適応の問題があった。
本論文では、幻覚はMLLMの内部レイヤーの動的な表現の中に、測定可能な異常として現れるという仮説を立てている。
提案手法「HALLUSHIFT++」は、モデルの内部状態（隠れ状態、注意重み、トークン確率）から74次元の特徴量を抽出し、幻覚を検出する。
特に、レイヤー間の一貫性、注意の集中度（ジニ係数）、確信度（パープレキシティ）など、MLLM特有の12の新規特徴量を導入した。
生成された記述を意味的に「物体」「属性」「関係」のチャンクに分解する「セマンティックチャンキング」戦略を採用し、幻覚の種類を特定できる。
評価実験では、画像キャプショニングタスクで従来手法（HALLUSHIFT）と比べてAUC-ROCで約64.12%の大幅な改善を達成した。
この手法は、外部評価者に依存せず、モデル内部の分析だけで幻覚を検出・分類できるため、より信頼性が高く、効率的な評価が可能になる。