ねえねえ、智也くん！これ、『Bounding Hallucinations…』って論文、なんかすごそうなタイトルだね！幻覚を縛り付けるってこと？AIが幻覚を見るの？

ああ、亜美さん。それは、AI、特にRAGシステムの信頼性を高めるための、とても重要な研究だよ。幻覚っていうのは、AIが事実に基づかない、でたらめな内容を生成してしまう現象のことなんだ。

でたらめを言っちゃうんだ！それって困るよね。で、RAGって何だっけ？前に聞いた気がするけど…

RAGは、検索によって外部の知識を引っ張ってきて、それに基づいて回答を生成するシステムだ。でも、今のシステムには大きな問題がある。検索した文書を、ちゃんと検証するのではなく、ただの「ヒント」くらいにしか思ってないんだ。だから、証拠が足りなくても答えてしまったり、間違った証拠を鵜呑みにしたりする。

うわー、それじゃあせっかく検索しても意味ないじゃん！なんとかできないの？

そこでこの論文のアイデアが出てくる。RAGシステム全体を、『マーリン・アーサー・プロトコル』という対話型の証明ゲームとして考え直すんだ。アーサーという名の生成AIが、裁判官みたいなものだ。

マーリン…アーサー…あ、アーサー王の！魔法使いのマーリンと王様のアーサー？

そう。このゲームには3人の役者がいる。正直な証人『マーリン』は、正しい証拠の部分だけをアーサーに見せる。悪意のある証人『モーガナ』は、アーサーを騙そうとして、わざと誤解を招く証拠の部分だけを見せる。そしてアーサーは、与えられた証拠だけを見て、正しく判決（回答）を下すか、証拠不十分で『わからない』と言うかを学ばなければならない。

なるほど！アーサーは、誰が証拠を出したかわからない状態で、証拠そのものの質だけで判断することを強制されるんだね。で、マーリンとモーガナは、どうやって「証拠の部分」を選ぶの？

そこが巧妙なところで、『説明可能性』の技術を使うんだ。ATMANという方法で、文脈の中のどの単語や文が、回答に本当に影響を与えているかを、効率的に計算する。マーリンは回答を支える最も重要な部分を選び、モーガナは回答を誤らせる最も重要な部分を選んで、わざと別のものに書き換えたりする。

へえ！説明の技術で、逆にAIを訓練する材料を作るんだ！で、実際にうまくいったの？

うん。実験では、この方法で訓練したAIは、証拠が不十分な時に『わからない』と答える『拒否行動』が自然に身についた。しかも、人間が『これは答えられない質問だ』と手作業でラベル付けしたデータを一切使わずにだ。幻覚も大幅に減って、回答の根拠も、人間が見て納得できる部分を指すようになった。検索システムの精度も上がった。

すごい！これって、AIがもっと責任持って答えられるようになるってことだよね。医療とか法律とか、間違えちゃいけない場面で役立ちそう！

そうだね。でも課題もある。この『証明ゲーム』を計算するコストや、もっと複雑な推論が必要なタスクへの拡張は今後の研究課題だ。あと、この論文は『情報理論的な保証』を与えようとしているところがすごいんだ。

情報理論的な保証？

『説明情報割合（EIF）』という新しい指標を提案している。これは、AIの回答と、AIが根拠として示した証拠の間に、少なくともこれだけの情報の結びつきがある、ということを数学的に保証するものなんだ。『このAIは、証拠をちゃんと見て答えている』ということを、感覚ではなく数値で示せるようになる可能性がある。

ふーん…難しいけど、なんか、AIがブラックボックスじゃなくなっていく感じがするね！

そう。検索した文書を、あやふやなヒントではなく、検証可能な『証拠』として扱うシステムへ。この論文は、そのための原理的で実用的な道筋を示した、とても意義深い研究だと思う。

わかった！じゃあ、この技術が進んだら、AIに『なんでそう思うの？』って聞いた時に、『ここに書いてあるからです』って、ちゃんと証拠を提示しながら、しかも嘘つかずに答えてくれるようになるんだね！

…まあ、そういう未来を目指している、ってことだね。亜美さん、なかなか核心を突くね。

えへへ。でもさ、アーサー王とマーリンとモーガナが協力してAIを訓練してるって考えると、なんだかファンタジーみたいで楽しそう！次は円卓の騎士たちも登場する？

…それはないと思う。論文の話と関係ないから。

要点

従来のRAGシステムは、検索した文脈を単なるヒューリスティックな手がかりとして扱い、検証可能な証拠として扱っていないため、証拠が不十分でも回答したり、誤った証拠に基づいて幻覚（事実と異なる内容を生成）を起こす問題がある。

この問題を解決するため、論文ではRAGパイプライン全体を、マーリン・アーサー（M/A）プロトコルという対話型証明システムとして再構築する新しい学習フレームワークを提案している。

生成モデル（アーサー）は、有益な証拠を提供するマーリンと、誤解を招く証拠を注入する敵対的証明者モーガナの両方から訓練される。これにより、アーサーは（1）証拠が十分な時だけ回答、（2）証拠が不十分な時は拒否、（3）回答の根拠となる特定の文脈スパンに依存する、という振る舞いを学習する。

説明可能性（XAI）手法であるATMANを利用して、文脈中のどの部分が回答に影響を与えているかを効率的に特定し、マーリンとモーガナが証拠を改変する際の根拠とする。

提案手法により、生成モデルの根拠性、完全性、健全性、拒否行動が向上し、幻覚が減少した。また、検索モデルの精度も向上した。

条件付き評価プロトコルと説明情報割合（EIF）という新しい評価指標を導入し、モデルの予測誤差と説明の忠実度を分離して、情報理論的な保証（相互情報量の下限）を提供できるようにした。

このアプローチは、手動でアノテーションされた「回答不能な質問」データを必要とせず、自律的な対話型証明スタイルの監視によって、信頼性の高いRAGシステムを実現する道筋を示している。

参考論文: http://arxiv.org/abs/2512.11614v1

The post AIの「幻覚」を封じ込めろ！魔法使いと王様が教える、嘘をつかないAIの作り方 first appeared on 亜美と智也のAI論文解説.