解説ねえねえ智也くん！この『フ…
TL;DR
LLM-as-Judgeのスコアリングバイアスは、入力の表面手がかりに起因するだけでなく、モデルの隠れ状態に低次元の方向として現れる。この方向を特定し、活性化を操作することでバイアスを双方向に制御可能。さらに、同じ方向特徴量を使えば未見のベンチマークでの判定失敗を高精度に予測できる。
解説
ねえ智也くん、この論文のタイトル、すごく難しそうだけど、LLMの評価バイアスについてなんでしょ？
そう。LLM-as-Judgeってあるだろ？モデルに他のモデルの出力を評価させるやつ。あれ、スコアにバイアスが入ることが問題になってるんだ。
あー、なんか「この回答は長いから良い」みたいな表面的な手がかりで点数が変わっちゃうってやつ？
それもある。でもこの論文は、もっと深いところ、モデルの内部表現に注目してる。バイアスが隠れ状態の中に特定の方向として現れるって言ってるんだ。
内部表現に方向？それってどういうこと？
例えば、モデルのニューラルネットの中間層のベクトルを考えてみて。そのベクトル空間の中で、バイアスに対応する低次元の方向ベクトルが見つかるんだ。その方向に沿って活性化を操作すると、バイアスを増やしたり減らしたりできる。
へえ！じゃあバイアスを自由にコントロールできちゃうってこと？
双方向に制御可能って書いてある。でもそれだけじゃなくて、同じ方向特徴量を使って、まだ見たことのないベンチマークでの判定失敗も予測できるらしい。
予測までできるの？それってすごくない？どうやって評価したんだろう。
幾何学的な分析と因果推論を組み合わせて、統一フレームワークにしてる。具体的には、バイアス方向を特定するために、モデルの隠れ状態を線形分解して、スコアリングの誤差と相関の高い成分を抽出してる。
なるほど…でも、それって本当にバイアスだけを捉えてるって言えるの？他の要素も混ざっちゃわない？
そこは因果推論で交絡を調整してるみたいだ。でも限界もある。例えば、この方法は特定のモデルアーキテクチャに依存してる可能性があるし、バイアス方向がタスクによって変わるかどうかはまだ検証が足りない。
ふーん…でも、バイアスを直せるだけじゃなくて予測もできるって、めっちゃ実用的じゃない？これでLLMの評価がもっと公平になるかもね！
そうだな。ただ、バイアスを操作するってことは、逆に悪用もできるってことだから注意が必要だ。
あ、確かに。でも智也くんが悪用するとは思えないけどね。だって智也くん、バイアスとか言いながら、いつも私の話をちゃんと聞いてくれるし！
…それはバイアスじゃなくて、単に君がうるさいからだよ。