TL;DRこの論文では、現実世…
TL;DR
LLMが条件付き推論として振る舞うなら、確率の基本法則（全確率の定理）を満たすはず。本論文は、人口を属性で分割し、各部分集団の推定値を重み付き平均して全体推定を再構成。直接推定と比較すると、細分化した方が人間の実データに近い「マクロ誤謬」を発見。モデルは部分知識を持つが、全体推定にうまく反映できていない。
解説
ねえ智也くん、この論文のタイトル、『LLMの確率推定は一貫しているか？』って面白そう！でも「分割→集約」って何のこと？
ああ、簡単に言うと、LLMが確率をちゃんと計算できてるか確かめる方法だよ。例えば、全体の確率を直接聞くのと、人口を属性で分割して各部分の確率を重み付き平均した結果を比べるんだ。
へえ、それって「全確率の定理」ってやつ？条件付き確率の関係が成り立つかどうかを見てるんだね。
そう。もしLLMが条件付き推論として振る舞うなら、その関係が成り立つはず。でも実際には、分割して集約した推定値の方が、人間の実データに近いことがわかったんだ。
え、じゃあ直接聞いた答えはあんまり当てにならないってこと？
そういうこと。モデルは部分ごとの知識は持ってるけど、全体の推定にうまく反映できてない。これを「マクロ誤謬」って呼んでる。
なるほどね。でも、どうやって評価したの？
いくつかのデータセットで、直接推定と分割集約推定を比較して、誤差を測ったんだ。分割の仕方も変えて試してる。
それって、LLMの内部表現とかにも関係ありそうだね。でも、この研究の限界って何かあるの？
うん、まず実験に使ったモデルやデータセットが限られてる。あと、分割の仕方によって結果が変わる可能性もある。それに、この現象がなぜ起きるのかの理論的な説明はまだ十分じゃない。
ふーん、でも面白いね。LLMって賢いけど、意外と「木を見て森を見ず」って感じなんだね。
……まあ、その例えはちょっと違う気もするけど、言いたいことはわかるよ。