解説ねえ智也くん、この論文のタ…
TL;DR
PLURALは、92カ国をカバーする社会調査IVSを基に、合成選好トリプレット（プロンプト、好ましい応答、好ましくない応答）を約50万件生成したデータセットです。20カ国のサンプルで検証した結果、国ごとの価値観の違いを保持し、DPO学習により最大27.7%の誤差削減を達成。人間評価でもPLURALで調整したモデルの応答が各国の価値観をより反映していると評価されました。
解説
ねえ智也くん、このPLURALって論文、92カ国の価値観を反映したデータセットなんだって？すごくない？
うん。既存の選好データセットは英語圏や一部の国に偏ってたから、それを補うために作られたんだ。
なるほど。でもどうやって92カ国もの価値観を集めたの？アンケートとか？
IVSっていう国際社会調査を使ったんだ。各国で同じ質問をして、その回答データから「好ましい応答」と「好ましくない応答」のペアを合成で生成してる。
合成ってことは、実際の人間の評価じゃないんだ？それって大丈夫なの？
そこはちゃんと検証してる。20カ国分のサンプルで、合成データが実際の国の価値観と一致するか確認してるよ。結果は結構良かったみたい。
へえ〜。それでDPO学習ってやつで誤差が27.7%も減ったんだって？すごい効果だね！
うん。PLURALで学習したモデルは、国ごとの価値観の違いをちゃんと反映できるようになった。人間評価でも、その国の文化に合った応答ができてるって評価されてる。
でも、92カ国全部をカバーしてるわけじゃないんでしょ？検証は20カ国だけって聞いたけど。
そう。残りの72カ国については、合成データの質が保証されてるわけじゃない。あと、IVSの質問項目に依存してるから、カバーできる価値観の範囲にも限界がある。
なるほどね。でもこれ、AIがもっと多様な文化を理解するための第一歩って感じがする！私もいつかPLURALでチューニングされたAIと話してみたいな〜。
その前に、君はまず自分の国の価値観をちゃんと理解したほうがいいと思うよ。