要点テキストから画像を生成する…
解説
ねえ智也！この論文のタイトル、『マルチターンでの自信度推定』だって！AIが自分の答えにどれくらい自信満々なのかを調べるってこと？
そうだよ。でも、ただの自信じゃない。会話が何度も続く中で、新しい情報が入ってきた時に、AIの自信がどう変化するかを詳しく調べたのがこの論文の新しいところだね。
マルチターンって、チャットみたいに何度もやり取りすることだよね。それって今まで調べられてなかったの？意外！
これまでは一問一答形式での自信度調査がほとんどだったんだ。でも、実際の会話ではヒントが増えたり、質問が具体的になったりするだろ？その「情報の蓄積」に合わせて自信度が正しく変わるかが重要なんだよ。
なるほどねー。情報が増えたのに『うーん、わかんない……』って自信なさげなままだと、ちょっと頼りないもんね。
その通り。この論文では、良い自信度の条件を2つ決めている。1つは『較正（キャリブレーション）』。自信が80%なら、実際に80%の確率で正解していること。もう1つは『単調性』。情報が増えるほど、自信も右肩上がりに増えていくことだね。
単調性……。ずっと同じテンションで自信満々なのもダメってこと？
ダメだね。情報が少ない時はちゃんと自信を低く、証拠が揃ったら自信を高く持たないと、人間はAIを信頼できないから。そこで、この論文は『Hinter-Guesser』っていう面白い実験方法を提案してるんだ。
ヒンター・ゲッサー？なんかかっこいい名前！
一方がヒントを出して、もう一方が正解を当てるゲームみたいなものだよ。例えば『20の質問』みたいに、少しずつ情報を与えて、AIの自信がどう動くかを観察するんだ。
あ、それ楽しそう！それで、AIはちゃんと自信を深めていったの？
それが、既存の方法だとうまくいかないことがわかった。AIに『自信を0から100で答えて』って言わせる方法とかだと、情報が増えても自信がフラフラしたり、最初から高すぎたりするんだよ。
えー、AIってば見栄っ張りなんだから。じゃあ、どうすればいいの？
そこで提案されたのが『P(SUFFICIENT)』っていう手法だ。これはAIに『その答えは正しい？』と聞く代わりに、『今の情報だけで、答えを一つに絞るのに十分（Sufficient）？』って問いかけるんだよ。
『十分ですか？』って聞くんだ。それだけで変わるの？
そう。モデルが内部で持っている『Yes』と出る確率（ロジット）を自信度として使うんだ。これだと、たまたま答えが当たっちゃった時でも『まだ情報が足りないから自信は低い』って正しく判断できる。実験でも、この方法が一番『単調性』と『較正』のバランスが良かったんだって。
すごーい！じゃあ、これを使えばAIが嘘をつく『ハルシネーション』も防げるようになるのかな？
その第一歩になるね。AIが『今の情報じゃ自信がないから、もっと詳しく教えて』って自分から言えるようになれば、間違いは減るはずだ。ただ、まだ完璧じゃない。特に会話が長くなると精度が落ちるっていう課題も見つかっているよ。
これからの研究で、もっと聞き上手なAIができるといいなー。あ、そうだ！智也、今日の夕飯、何が食べたいか当てるゲームしようよ！ヒント出すから！
……嫌な予感がするけど、いいよ。最初のヒントは？
『茶色くて、美味しいもの』！さあ、自信度は何パーセント！？
情報が少なすぎて自信度ゼロだよ。カレーかハンバーグかコロッケか、それこそ無限にあるだろ。もっと『十分な』情報を出せ。やり直し！
要点
- マルチターン（複数回のやり取り）の会話において、LLMが自分の回答にどれだけ自信を持っているか（自信度）を評価する初の体系的な研究。
- 信頼できる自信度の条件として、各ターンでの正解率と自信度が一致する「較正（キャリブレーション）」と、情報が増えるほど自信が高まる「単調性」の2つを定義した。
- 「Hinter-Guesser（ヒントを出す側と当てる側）」という新しい枠組みで、段階的に情報が与えられる評価用データセットを作成した。
- 既存の自信度推定手法（言葉で答えさせる、何度も試行するなど）は、会話が進む中での自信度の変化をうまく捉えられないことを指摘。
- 回答が正しいかを問うのではなく、今の情報が回答を特定するのに「十分か」をモデルの内部数値（ロジット）から判定する「P(SUFFICIENT)」という手法を提案し、その有効性を示した。