TL;DR
GRPOは全質問に同じ回数のロールアウトを割り当てるため、難しい質問では正解が出ず学習信号が消え、易しすぎる質問では回数が余ることがあります。提案AdaRoll-GRPOは、固定の総ロールアウト予算のもとで質問ごとの配分をベイズ適応型MDP（BAMDP）として学習し、その方策をGRPO訓練時に追加のオンライン最適化なしで適用します。原論文は複数の推論データセットとLLMでGRPO訓練性能の改善を報告しています。
既存手法との違い
原論文の主な比較対象は、各質問に同じ回数を割り当てるvanilla GRPOです。AdaRoll-GRPOは総ロールアウト数をN=B·Gに固定したまま、質問ごとの配分を変える点が異なります。また、DAPOやDr. GRPO、GSPO、TIC-GRPOなどの目的関数変更、MC-GRPOやKRPO、MS-GRPOなどのadvantage推定改善は「直交する研究」と位置づけられ、併用可能と述べられています。ただし、提示本文からはこれら個別手法との比較結果や全実験の条件・数値は確認できません。
使える条件
GRPOによるLLMのpost-trainingで、各質問の報酬が正誤の二値で与えられる設定が前提です。各訓練イテレーションで質問バッチと総ロールアウト予算N=B·Gが固定され、質問ごとの割当数を変更できることが必要です。BAMDPの方策はオフラインで計算し、GRPO訓練時には保存済み方策を適用するため追加のオンライン最適化は不要とされています。原論文は複数の推論データセットとLLMアーキテクチャで評価したと報告していますが、具体的な全データセット・モデル・計算資源の条件は提示本文だけでは限定的です。
限界と未検証の範囲
提示本文から確認できる範囲では、評価は推論タスク（MATHやGSM8Kの例を含む）と複数LLMで、二値報酬を前提としたGRPO訓練が中心です。数学的推論以外のタスク、二値以外の報酬設計、オンラインで難易度分布が大きく変わる環境、極端な予算・バッチサイズでの有効性は確認できません。オフラインBAMDP求解の計算コストやメモリ、ハイパーパラメータ感度、ベースラインとの統計的有意差も提示本文だけでは不明です。論文は改善を報告していますが、本記事は追試や実装検証を行ったものではありません。
解説
ねえ智也くん、GRPOって全質問に同じ回数ロールアウトするんだって。難易度関係なしって、ちょっとざっくりすぎない？
そう。原論文の問題意識はそこ。難しい質問は正解が一度も出ずに報酬が全部0になって、advantageも0。逆に易しすぎる質問は少ない回数で十分なのに回数が余る。学習信号が消えるか、無駄になるかってこと。
じゃあ、難しい問題に多め、簡単な問題に少なめに配ればいい感じ？
直感的にはそうだけど、どの質問がどれくらい難しいかは生成してみるまで分からない。だから配分をオンラインの整数最適化として解くと厄介。提案のAdaRoll-GRPOは、質問を一つずつ選んでロールアウトする逐次決定問題にして、さらに正解確率の不確かさをBAMDPの信念状態で扱う。
BAMDPって、ベイズ適応型MDPだよね。信念を更新しながら方策を学ぶやつ。で、学習中に毎回その計算をするの？
そこがポイント。BAMDPはオフラインで値反復して、閉形式のベルマン更新で方策を求める。保存した方策をGRPO訓練時に使うだけで、追加のオンライン最適化は不要と論文は言ってる。総ロールアウト予算はvanilla GRPOと同じN=B·Gに固定したまま、質問ごとの配分だけ変える。
なるほど。予算総額は変えないから、比較としてはvanilla GRPOの均等配分が主なベースラインなんだね。DAPOとかDr. GRPOみたいな目的関数いじる系とはどういう関係？
本文では、目的関数変更やadvantage推定改善とは直交する研究で、併用可能と位置づけてる。ただ、提示本文だけだと、それら個別手法との比較結果や全実験条件・数値は確認できない。原論文は複数の推論データセットとLLMアーキテクチャでGRPO訓練性能が改善したと報告してる、という範囲まで。
評価はMATHやGSM8Kみたいな推論タスクが例に出てたよね。使える条件は、二値報酬で、各イテレーションの質問バッチと総ロールアウト予算が固定されていて、質問ごとの割当数を変えられるGRPO訓練、って感じ？
そう。あとオフラインでBAMDPを解いて方策を保存する前提。だからオンライン最適化の負担は増えない設計。逆に、数学以外のタスク、二値じゃない報酬、難易度分布が大きく動く環境、極端な予算やバッチサイズでの有効性は、この本文からは確認できない。オフライン求解の計算コストやハイパーパラメータ感度、統計的有意差も不明。僕らが追試したわけでもない。
了解。意義は、GRPOのロールアウト予算を難易度に応じて使い分ける枠組みを、BAMDPでオフライン方策として作ったことだね。学習中の追加最適化なしで使えるのがうれしい。
その理解でいい。原論文の報告と、この記事での整理は分けて読む必要がある。
じゃあ、私の難しい質問にもロールアウト予算を多めに配ってくれる？『おやつは何個までか』とか。
それは難易度じゃなくて欲望の問題だろ。