解説ねえ智也くん、この論文のタ…
TL;DR
LLMの予測は正確でも過信しがちで、思考連鎖(CoT)は真の根拠を隠すことがある。本論文では、中間活性化に軽量プローブを学習させることで、言語化された確信度よりはるかに優れたキャリブレーション（ECE 0.044 vs 0.093）を達成。さらに、プローブはCoTが変化しない場合でも行動変化を追跡し（ρ=0.57）、84%のケースで変化方向を正しく予測する「嘘発見器」として機能。予測の大部分は推論前に固定されており、事前分布の広がりで質問を振り分けるとトークン生成を30-47%削減できる。
解説
ねえ智也くん、この論文のタイトル「内部表現を読む」って面白いね！LLMって内部で何考えてるかわかるの？
うん、実はLLMは予測が正確でも、自信過剰になりがちなんだ。思考連鎖（CoT）で理由を説明しても、それが本当の根拠とは限らないって問題がある。
え、じゃあ「私はこう考えました」って言ってても、実は違う理由で答えを出してるってこと？
そう。そこでこの論文では、LLMの中間活性化に軽量なプローブを学習させて、内部の状態を直接読む方法を提案してるんだ。
プローブって何？センサーみたいなもの？
簡単に言うと、モデルの途中の層から特徴を抽出して、そのモデルが本当に何を「考えている」かを推定する小さな分類器だよ。
それでどんな結果が出たの？
プローブを使ったキャリブレーション（確信度の調整）が、言語化された確信度よりずっと良くて、ECE（期待キャリブレーション誤差）が0.044に対して0.093だった。つまり、プローブの方が自信の度合いを正確に表せる。
おお、半分くらい改善って感じ？すごいね！でもそれだけ？
他にも、プローブはCoTが変わらなくても行動の変化を追跡できるんだ。相関係数ρ=0.57で、84%のケースで変化の方向を正しく予測できた。いわば「嘘発見器」みたいな役割だね。
嘘発見器！それって、モデルが「実はこう思ってるけど、違うこと言おう」って時も見抜けるってこと？
そういうこと。さらに、予測の大部分は実は推論の前に固定されていて、事前分布の広がりで質問を振り分けると、トークン生成を30〜47%削減できることもわかった。
え、それってつまり、モデルが答えを決めてから後付けで理由を考えてるってこと？人間っぽいなあ…
そういう解釈もできるね。ただ、この手法には限界もある。プローブは学習データに依存するし、モデルのアーキテクチャが変わると再学習が必要になる。
なるほど。でも、この研究の意義って何だと思う？
LLMの内部状態を理解することで、より信頼性の高いAIを作る手がかりになる。特に、モデルがいつ嘘をついているか、いつ本当に自信があるかを区別できるのは実用的に大きい。
へえ〜。じゃあ将来、AIが「今のはちょっと自信ないです」って正直に言ってくれるようになるかもね。人間よりよっぽど誠実じゃん！
人間より誠実ってのはどうかと思うけど…まあ、少なくとも嘘発見器付きAIなら、だまされにくくなるかもね。