解説ねえねえ、智也くん！これ、…
解説
ねえねえ智也くん！この『ハルシネーションを減らす確率的保証』っていう論文、タイトルが強そうで気になるんだけど、どういう内容なの？
ああ、これはLLMが「もっともらしい嘘」をつくのを、数学の力で力技で抑え込もうっていう面白い研究だよ。
力技？AIを筋肉で解決するの？
いや、計算量の話だよ。特に「文脈的ハルシネーション」っていう、プロンプトに書いてある情報を無視したり間違えたりする現象をターゲットにしてるんだ。
あー、目の前に答えがあるのに間違えちゃうやつね。おっちょこちょいな私みたい！
……まあ、そうだね。この論文では、答えがはっきり決まっているタスクなら、何度も解かせて多数決を取れば、間違いをほぼゼロにできるってことを数学的に証明したんだ。
何度も解かせる？それだけでいいの？
そう。まず「反復補題」っていう考え方を使う。例えば、1回で正解する確率が低くても、10回、20回と独立して解かせれば、その中のどれか1つでも正解が含まれる確率はめちゃくちゃ高くなるだろ？
確かに！下手な鉄砲も数撃ちゃ当たるってことだね！でも、どれが正解かどうやって見分けるの？
そこで「LLM-as-a-judge」、つまり別のLLMに判定役をさせるんだ。出てきた回答を全部チェックさせて、「これが正解です」って選ばせる。
でも、その判定役のAIも間違えちゃうんじゃない？
鋭いね。だからこの論文のすごいところは、判定役も「アンサンブル」、つまり多数決をさせるんだ。判定役を何人も用意して、多数決で決めれば、間違った回答を選んじゃう確率は指数関数的に減っていくんだよ。
指数関数的……？よくわかんないけど、とにかくすごい勢いでエラーがなくなるってこと？
その通り。実験でも、テキストからの情報抽出タスクで、回数を増やすほど理論通りにエラーが減ることが確認されてる。モデルの中身をいじらなくても、外側から回数を増やすだけで信頼性を保証できるのがこの手法の強みだね。
じゃあ、これからAIは絶対に嘘をつかなくなるの？
「絶対に」とは言えないけど、計算コストさえかければ、エラー率を限りなくゼロに近づけられる。ただ、今はまだ「答えが明確に決まっているタスク」に限定されているのが課題かな。自由な創作とかだと、何が正解か判定するのが難しいからね。
なるほどねー。じゃあ、私もテストの時に100人くらいの私を召喚して多数決すれば、満点取れるかな？
君が100人いても、全員が同じ間違いをしたら正解率は上がらないよ。まずは一人目の君が、少しは正解できる確率を持ってないとね。
要点
- LLMがプロンプトの内容を無視したり矛盾した回答をしたりする「文脈的ハルシネーション」を、数学的な保証付きで減らすフレームワークを提案している。
- 「反復補題（Repetition Lemma）」により、同じタスクを独立したウィンドウで複数回実行すれば、少なくとも1つが正解である確率は指数関数的に高まる。
- 正解を特定するために「判定役（LLM-as-a-judge）」を導入し、判定役が不完全な場合でも多数決（アンサンブル）を行うことで、誤った回答を選ぶ確率を指数関数的に減少させられる。
- この手法はモデルの重みを書き換えたり複雑なプロンプトエンジニアリングをしたりすることなく、計算回数を増やすだけで信頼性を任意に高められる点が画期的である。