TL;DR

固定プロンプトの確率的デコードを内側、意味を保つプロンプト摂動を外側とする二段階アンサンブルで、生成文の埋め込み共分散をプロンプト内変動(AU)と摂動間変動(EU)に分解するブラックボックスUQ。ロジット不要・再学習不要で、有限Mのバイアス補正、ベイズ目標との橋渡し、一貫性のみの手法との分離理論を伴う。短答QAでは白箱手法に競合し、同一生成予算で主要ブラックボックス手法と同等の誤りランキングを示しつつAU/EUを分ける。一方、摂動はパラメータ事後分布の代理であり、局所条件・計算コスト・評価範囲に制約がある。

既存手法との違い

原論文は、ベイズNNや深層アンサンブルのような原理的だが大規模LLMでは現実的でない白箱系、ロジット・隠れ状態・学習ヘッドを使う白箱UQ、固定プロンプトのサンプリングだけを使う黒箱の一貫性スコア(SelfCheckGPTなど)、プロンプト摂動を一層だけ使うSPUQと比較している。論文の主張は、二段階にすることで一層の手法では出せないAU/EU分解が可能になるという点。表1では短答QAで白箱ベースラインと競合し、同一生成予算で主要な一層黒箱手法と誤りランキングで同等と報告されている。本記事では数値の詳細は再現しない。

使える条件

ブラックボックスサンプリングアクセスがあり、ロジットや隠れ状態を使わず、再学習なしで使えるLLMが前提。意味を保つプロンプト摂動を生成でき、生成文を文埋め込みで比較でき、N回の摂動×M回のデコード分の計算予算があることが必要。原論文の評価は指示チューニング済みLLM4種(2ファミリ・2規模)、短答QA5ベンチマークとAmbigQA/NQの介入、NQ long-answerのパイロット。ベイズ的解釈には局所線形性・局所ガウス性・意味的カバレッジの条件が置かれている。日本語・多言語・商用API・一般長文での有効性は提示本文からは確認できない。

限界と未検証の範囲

パラメータ事後分布を直接サンプルせず、入力摂動を代理にするため、橋渡しの局所条件が崩れるとAU/EUのベイズ的解釈は弱まる。分離定理は特定クラスの失敗モードに関するもの。評価は短答QA中心で、4モデル・限られたデータセット、長文はNQ long-answerのパイロットのみ。コストはNMデコードとオフラインの言い換えプールで、Kpoolやεなどの調整が必要。未知のモデル・領域・言語への一般化は未検証。

図1: 提案手法の概要(本記事による図解)

二段階アンサンブルで埋め込み共分散をAU/EU/TUに分解する流れを示した説明用の再構成で、理論条件・診断・実験結果は省略している。
二段階アンサンブルで埋め込み共分散をAU/EU/TUに分解する流れを示した説明用の再構成で、理論条件・診断・実験結果は省略している。

解説

AMI THINKING

智也くん、この「二段階アンサンブルで不確実性を分解する」って論文、要はLLMの迷いを種類分けする話?

TOMOYA EXPLAINING

そう。ただの一つのスコアじゃなくて、プロンプト自体の曖昧さから来る不確実性と、モデルの知識不足から来る不確実性を分けたいってのが出発点。

AMI SURPRISED

へえ、同じ「自信ない」でも、聞き直すべきか調べるべきかで違うもんね。

TOMOYA NEUTRAL

その通り。曖昧な質問なら聞き返す、知識が足りないなら検索や保留が適切。でも既存の黒箱UQは一つの一貫性スコアに潰しちゃう。

AMI THINKING

黒箱ってことはロジットとか隠れ状態は見られないんでしょ? それでどうやって分けるの?

TOMOYA EXPLAINING

二段階にする。内側は固定プロンプトで確率的にデコードをM回。外側は意味を保つプロンプト摂動をN個。生成文を埋め込みにして、全共分散の法則でプロンプト内変動と摂動間変動に分ける。

AMI UNDERSTOOD

内側がデコードのゆらぎ、外側が言い換えによるゆらぎってことか。で、AUとEUに分かれる?

TOMOYA EXPLAINING

AUがプロンプト内の変動、EUが摂動間の平均の変動。しかも有限MだとEUにAUが1/Mだけ漏れるから、閉形式で補正する。再学習もロジットも要らない。

AMI HAPPY

それって実装は行列の引き算くらい? すごいシンプルじゃん。

TOMOYA THINKING

補正自体は単純だけど、理論はちゃんとしてる。有限Mのバイアス恒等式、ベイズ目標との橋渡し、一貫性だけの手法が見逃す失敗モードの分離定理がある。

AMI SURPRISED

一貫性だけの手法が見逃すって、例えば?

TOMOYA EXPLAINING

固定プロンプトだと出力がほぼ決まってるのに、言い換えると期待出力が変わるタイプ。自信満々の幻覚とかテンプレ依存とか。一貫性スコアはゼロだけど、摂動ベースのEUは正に反応する。

AMI THINKING

評価はどうやってるの?

TOMOYA NEUTRAL

短答QA5つで、指示チューニング済みLLM4種、2ファミリ2規模。白箱の強いベースラインと競合して、同じ生成予算なら主要な一層の黒箱手法と誤りランキングで同等。しかもAU/EUを分けられる。

AMI UNDERSTOOD

なるほどね。介入実験でAUとEUが別々の失敗要因に反応するってのも見てるんだ。

TOMOYA EXPLAINING

そう。プロンプトを明確化するとEUが下がって、固定プロンプトのベースラインは変わらない。あと長文のNQ long-answerでも再学習なしでclaim-levelのfactualityに拡張できるパイロットがある。

AMI SMILE

いいね。スカラー一個より、どこが原因か分かる方が役に立つ。

TOMOYA SAD

ただし制約もある。摂動はパラメータ事後分布の代理だから、局所線形性とか局所ガウス性とか意味的カバレッジの条件が崩れるとベイズ的解釈は弱くなる。コストもNMデコード分かかるし、評価は短答QA中心。

AMI THINKING

長文もNQのパイロットだけだし、日本語や多言語、商用APIは未確認ってことだね。

TOMOYA NEUTRAL

論文で確認できるのはそこまで。一般化はまだ言えない。

AMI HAPPY

じゃあ、とりあえず私のレポートの曖昧さも二段階で分解してほしいな。内側がやる気、外側が締切?

TOMOYA THINKING

それはたぶん両方ともAUで、EUはゼロだ。