TL;DRPallasは、AI…
TL;DR
LLMの価値観を測る方法（評価・選択・自由記述）は、それぞれ異なる結果を出すことが多い。STONICは5,144シチュエーションと35構成でこれを検証し、評価と選択の関係は10/17構成で再現するが、自由記述への転移は弱く、単一の「価値プロファイル」に統合するのは不適切だと示した。実務では、測定インターフェースごとに結果を分離し、カバレッジと安定性を確認してから解釈すべき。
解説
ねえ智也くん、このブログのタイトル見て！「LLMの価値観は測定方法で変わる？」って。AIの価値観って、測り方で変わるの？
ああ、それSTONICっていう論文のことだよね。まさにその通りで、同じLLMでも、評価させたり選択させたり自由に書かせたりすると、結果がバラバラになることが多いんだ。
へえ、面白い！でもなんでそんなことになるの？AIって一貫してると思ってた。
それがね、LLMはタスクの形式によって反応が変わるんだよ。例えば、選択肢から選ばせるときと、自由に文章を書かせるときでは、同じ価値観でも表れ方が違う。STONICはそれを体系的に調べた研究なんだ。
なるほど。で、STONICって具体的に何をしたの？
5,144個のシチュエーションと35の構成（コンポーネント）を使って、LLMの価値観を3つの方法で測ったんだ。評価（スコアをつける）、選択（どちらかを選ぶ）、自由記述（文章で答える）の3つ。
すごい量だね！で、結果はどうだったの？
評価と選択の間には、35構成中10構成で強い関係が見られたんだ。でも、自由記述への転移は弱かった。つまり、評価や選択で測った価値観が、自由記述でも同じように現れるとは限らないってこと。
あー、だから「単一の価値プロファイルに統合するのは不適切」って書いてあるんだね。
そう。一つの数字やラベルでLLMの価値観を表そうとするのは危険だってこと。実務では、測定方法ごとに結果を分けて報告する必要があるんだ。
でも、それって不便じゃない？結局どれを信じればいいの？
一概には言えないけど、重要なのはカバレッジと安定性を確認することだね。どのシチュエーションで測ったのか、結果が安定しているかを見てから解釈する必要がある。
なるほどね。でも、この研究の限界って何かあるの？
うーん、まずSTONICは特定のLLM（GPT-4とか）でしか試してないかもしれない。あと、シチュエーションが英語中心かもしれない。それに、35構成って言っても、実際の価値観はもっと多様かもしれない。
確かに、日本語のLLMだとまた違うかもね。でも、測定方法で結果が変わるってのは、人間のアンケートでもありそうだよね。
そうだね、人間でも質問の仕方で答えが変わるから、LLMも同じってことかもね。
じゃあ、LLMの価値観を測るときは、測り方も一緒に報告しないとダメってことか。なんか、テストの点数の付け方で成績が変わるみたいで、ちょっと面白いね。
まあ、でもテストと違って、LLMは自分で答えを作るから、もっと複雑だけどね。