TL;DREMBL AI LI…
TL;DR
LLMの強化学習（RLVR）では、温度調整などの行動空間での探索には限界があり、学習が停滞することがあります。本論文は、モデルの重みにノイズを加える「パラメータ空間探索」を導入した3PO（Perturbed Parameter Policy Optimization）を提案。複数の重みサンプルを使うC3POが、数学・コード生成タスクでGRPOより安定して高い性能を示しました。
解説
ねえ智也くん、このブログのタイトル、『パラメータ空間の探索でLLMのRL訓練を安定化する3PO手法』って何？なんか難しそうだね。
ああ、これはLLMを強化学習で訓練するときの話だよ。普通は行動空間、つまり生成するトークンの確率を調整して探索するんだけど、それだけだと学習が停滞することがあるんだ。
へえ、じゃあどうやって停滞を防ぐの？温度を上げるとか？
温度調整は行動空間での探索だよね。でもそれには限界があって、モデルの重み自体を変えた方が効率的な場合があるんだ。この論文では、重みにノイズを加えて探索する『パラメータ空間探索』を提案してるんだよ。
重みにノイズ？それってどうやるの？
3POっていう手法で、モデルの重みを少しだけ乱して、その乱したモデルで行動をサンプリングするんだ。そして、元のモデルと乱したモデルの間で方策を最適化する。
なるほど。でも、乱したモデルが一つだけだと不安定じゃない？
そこがポイントで、C3POっていう拡張版では、複数の重みサンプルを使うんだ。複数の乱したモデルから得たデータをまとめて使うことで、より安定するらしい。
へー、それで実際どうなの？効果あるの？
数学やコード生成のタスクで、従来のGRPOと比べて、C3POの方が安定して高い性能を示したって書いてあるよ。特に難しい問題で差が出たみたい。
すごい！じゃあ、これからは全部これでいいんじゃない？
いや、まだ課題もあるよ。パラメータ空間の探索は計算コストが高いし、ノイズの大きさの調整が難しい。それに、すべてのタスクで有効とは限らない。
なるほどね。でも、アイデアは面白いよね。重みをちょっと揺らすだけで賢くなるなんて、まるでコーヒーにミルクを混ぜるみたい？
まあ、ミルクを入れすぎるとコーヒーが薄まるけどな。