TL;DR
基盤モデルの事前学習・中間学習・SFT・RLを、データの混合比率を変える単一の最尤学習として扱う枠組み。RLも成功例への尤度フィッティングと見なし、同一の重み付き損失と共有バッファで静的データと生成データを混ぜる。段階訓練より同一計算で精度・カバレッジ改善などを報告するが、評価範囲と一般化には制約がある。
既存手法との違い
既存の段階訓練（事前学習→中間学習→SFT→RL）と比較している。段階訓練では各段階でデータと学習アルゴリズムが異なるとされるが、統一学習は同じ最尤学習のまま、静的データとRL生成データの混合比率・スケジュールを変える。段階訓練は全重みを一つのデータ源に置く特殊ケースと位置づけられる。RLの段階ベースラインは原則MaxRLで、制御設定と実世界の中間学習データを用い、同一総計算予算の比較を含む。PPOやGRPOは準備で言及されるが、本比較の詳細は提示本文からは確認できない。
使える条件
基盤モデル訓練で、静的コーパス・デモンストレーションと報酬付きの生成データを扱う場面が対象。二値報酬を中心に定式化し、連続報酬はTailRL等で拡張される。実装には、トークン重み付きの共通データ形式、重み付き交差エントロピー、静的データとRL生成データを保持する共有バッファ、非同期の生成器とトレーナー、定期的な重み同期が必要とされる。評価は制御設定と実世界の中間学習データで行われているが、計算資源規模やデータ詳細は提示本文からは確認できない。
限界と未検証の範囲
提示本文から確認できる範囲では、評価は制御設定と実世界の中間学習データを用いた実験に限られ、データ規模・計算資源・全数値の詳細は本文からは確認できない。二値報酬を中心に定式化し、連続報酬や他のRL目的関数は拡張・予備解析として言及されるが、広範な比較は確認できない。非同期生成のモデル鮮度やスループットは付録参照で、本文中の詳細は限られる。より大規模なモデル、他ドメイン、長期の継続学習への一般化は本稿だけでは確定できない。
解説
ねえ智也くん、基盤モデルの訓練って普通は事前学習→中間学習→SFT→RLって段階に分けてやるじゃん。なんでそれを一つの学習にまとめられるの？
論文の出発点は、その段階の分かれ方って本質じゃないんじゃないか、って話だ。どの段階も、結局は「どのデータに、どれくらいの重みで、いつ当てるか」が違うだけで、学習則自体は同じ最尤学習にできる、という見方をする。
え、RLは普通に方策最適化でしょ？ それも最尤学習に入るの？
うん。論文では、適切なRL目的関数をモデル生成の目標分布への最尤フィッティングとして導ける、と示してる。二値報酬なら、成功した生成の分布に尤度を合わせる形になる。MaxRLの拡張として説明してる。
成功した例に寄せる、ってことか。じゃあ事前学習のテキストも、SFTのデモも、RLの成功生成も、同じ損失で混ぜられるんだ。
そう。各データ源にプロンプト分布と目標分布があって、混合重みλを決めて一つの分布qを作る。そのqに対して同じ尤度損失をかける。重み付き損失と共有バッファで、静的データとRL生成を同じトレーナーに流す実装になってる。
段階訓練は、その混合重みを一つの源に全部置く特殊ケースってこと？
その通り。従来の段階訓練は、段階ごとにデータ源の比率が急に切り替わる特別な場合として位置づけられる。統一学習は、その比率を連続的に変えたり重ねたりできる。
実装的には、何が共通になるの？
論文では、各例をトークン列とトークンごとの重みの組にする。事前学習と中間学習は本文トークンに単位重み、SFTはプロンプトをマスク、RLは応答トークンに報酬から計算した重みAを付ける。全部、重み付き交差エントロピーで扱える。
RLの重みAはどう決めるの？
二値報酬なら、プロンプトごとにN個サンプルして合格率p̂を推定し、正解応答に1/p̂を付ける。不正解は0。これはMaxRLの有限サンプル版で、全部不正解なら更新はゼロになる。
生成と学習は同時に進むの？
非同期で進む。生成器が最近の重みコピーで応答を作って共有バッファに追加し、トレーナーが静的データと一緒にサンプルして更新する。重みは定期的に同期する。
評価はどうやってるの？ 段階訓練と比べるんだよね。
比較対象は従来の段階訓練で、RLは原則MaxRLをベースラインにしてる。制御設定と実世界の中間学習データで、同一総計算予算の比較も含めて、精度とカバレッジのトレードオフ改善を報告してる。広い能力の保持や継続学習の起点としても良い、という結果。
へえ、同じ計算で精度もカバレッジも良くなる可能性があるんだ。すごいじゃん。
ただし論文の報告としてね。僕の解釈では、意義は「段階を固定したレシピ」から「データの混合とタイミングを設計する問題」に視点を移したことだと思う。訓練全体を一つの科学として見る土台を作ってる。
じゃあ何でも統一すればいいの？
そこは制約がある。論文は二値報酬を中心に定式化して、連続報酬はTailRLなどで拡張してる。他のRL目的関数も予備解析の範囲。評価も制御設定と実世界の中間学習データに限られる。
大規模モデルとか別ドメインでも同じかは、まだ分からないってこと？
提示された本文から確認できる範囲では、データ規模や計算資源の詳細も限られてるし、より大規模なモデル、他ドメイン、長期の継続学習への一般化は確定できない。あとPPOやGRPOは準備で触れられるけど、この比較の詳細は本文からは確認できない。
なるほどね。段階をバラバラに改善するより、データの混ぜ方とスケジュールをまとめて考える方が筋がいい、って話か。
そう。学習アルゴリズムは固定して、何をどの比率でいつ与えるかを設計する。その意味で、統一学習は訓練 trajectories を科学するための枠組みになってる。
つまり、私の勉強も成功例だけをいい感じの比率で混ぜれば最強になれるってこと？
成功例が足りない。