TL;DREMBL AI LI…
TL;DR
生成型報酬モデルは応答のランキングには強いが、RLで使うスカラー報酬には不向き。RRCは、サンプル応答同士の比較ランキングから報酬を構築することで、RLの性能を大幅に改善（例：AlpacaEval2で35.8%→41.3%）。
解説
ねえ智也くん、今日の論文のタイトル「RRC」って何？なんか難しそうだね。
ああ、RRCは「Ranking-based Reward Construction」の略だよ。生成型報酬モデルをRLで使うための手法なんだ。
生成型報酬モデルって、たとえばGPT-4とかで報酬を作るってこと？
そう。でも、そのまま使うと問題があるんだ。生成モデルは応答のランキングには強いけど、RLで使うスカラー報酬には不向きなんだよ。
え、なんで？ランキングができるなら報酬も作れそうだけど。
ランキングは相対的な比較だけど、RLでは絶対的な数値が必要だからね。生成モデルが出力するスコアは不安定で、バイアスも多いんだ。
なるほど。じゃあRRCはどうやってその問題を解決するの？
RRCは、サンプル応答同士を比較してランキングを作り、そのランキングから報酬を構築するんだ。つまり、絶対的なスコアを直接予測するのではなく、ペア比較で相対的な報酬を作るんだよ。
あー、つまり「この応答はあの応答より良い」って情報を使って報酬を作るってこと？
その通り。それでRLの性能が大幅に改善されたんだ。例えばAlpacaEval2で35.8%から41.3%に上がったんだよ。
すごい！でも、どうやってランキングから報酬を作るの？具体的には？
まず、複数のサンプル応答を生成して、それらをペアで比較するんだ。その比較結果を使って、報酬モデルを学習するか、直接報酬を計算するんだよ。
なるほど。でも、それって計算コストがかかりそうだね。
確かに、サンプル数が増えるとコストは増えるけど、その分性能が上がるからトレードオフだね。
評価はどうやってやったの？
AlpacaEval2やMT-Benchなどのベンチマークで評価したよ。RRCは特にAlpacaEval2で大きな改善が見られたんだ。
でも、何か限界はあるの？
うーん、ランキングを作るための比較が主観的になりがちで、評価者によって結果が変わる可能性があるんだ。あと、サンプル数が少ないと不安定になるかもしれない。
なるほどね。でも、RLで使える報酬を作るのにランキングを使うって、なんだか「人気投票」みたいで面白いね。
まあ、そう言えるかもね。でも、人気投票よりはちゃんと理論があるよ。