TL;DRこの論文では、現実世…
TL;DR
ユーザーがLLMに信念を伝える際、同じ事実内容でも「言い方」（形式・証拠性・確信度・トーン）によってモデルが文脈に従うかどうかが変わる。本論文は19種類の表現タイプを体系的に評価するベンチマークEoBenchを提案。大規模モデルや指示チューニング済みモデルほど文脈に流されにくく、命令形や権威引用は特に説得力が高いことを発見した。
解説
ねえ智也くん、このブログのタイトル見て！「信念の表現方法がLLMの応答を変える」って、なんか面白そうじゃない？
ああ、それね。最近読んだ論文だよ。同じ内容でも、言い方次第でLLMの返事が変わるっていう研究。
へー、そうなんだ！例えばどんな風に変わるの？
例えば「これは事実だ」って断言するのと、「たぶんそうだと思う」って曖昧に言うのとで、モデルがその情報をどれだけ信用するかが変わるんだよ。
なるほどね。でもそれって、人間でも同じようなことあるよね。自信ありげに言われると信じちゃうみたいな。
そう。で、この論文ではそれを体系的に調べるために、EoBenchっていうベンチマークを作ったんだ。19種類の表現タイプを用意して、それぞれでモデルの応答がどう変わるか評価してる。
19種類も！？どんな表現があるの？
命令形とか、権威ある引用とか、確信度の高低とか、トーンの違いとか。例えば「これを信じなさい」って命令するのと、「専門家がこう言ってる」って引用するのとでは効果が違うんだって。
それで、どの表現が一番効くの？
命令形と権威引用が特に説得力が高かったみたい。あと、大規模なモデルや指示チューニングされたモデルほど、そういう文脈に流されにくい傾向があった。
へえ、大きいモデルほど冷静ってこと？なんか賢い感じだね。でも、逆に小さいモデルは簡単に騙されちゃうってこと？
まあそういうこと。でも、この研究の意義は、ユーザーがどういう言い方をすればモデルに意図通りに動いてもらえるか、っていう実用的な知見が得られたことだと思う。
確かに！プロンプトの書き方のコツがわかるってことか。でも、何か限界とかはあるの？
うん、評価に使ったタスクが限られてるし、英語だけの実験だから、他の言語やタスクでも同じ傾向が出るかはわからない。あと、表現タイプの分類がちょっと主観的かもしれないって指摘もある。
なるほどね。でも、これからプロンプト書くときは「お願いします」より「やりなさい」って命令した方がいいのかな？
いや、それはやりすぎだよ。モデルに嫌われるぞ。