TL;DR
Archerは、RLVRにおいて応答内のエントロピー分位からトークンを高エントロピー(推論向け)と低エントロピー(知識向け)に分類し、前者はクリップとKLを緩めて探索を促し、後者は強めて事実知識の保持を狙う。トークンをマスクせず共同最適化する点が特徴で、数学推論とコード生成のベンチマークで複数モデル規模においてpass@1/pass@Kの改善を報告している。評価は限定的で、一般領域やRAGへの適用は未検証。
既存手法との違い
原論文は、GRPOやDAPOのように全トークンへ一様な更新制約を課すRLVR手法、および低エントロピートークンのマスクや非同期更新によってトークン種別を分離する既存研究と比較している。比較条件は数学推論とコード生成のベンチマーク、複数モデル規模。Archerはトークンを分離せず、応答内エントロピー分位で分類した上で、クリップ範囲とKL係数をトークン種別に応じて変えつつ全トークンを同時に最適化する点が異なる。原論文は強いベースラインを一貫して上回ると報告しているが、具体的な数値の詳細は本記事では再掲しない。
使える条件
RLVRの事後学習で、ルールベースの検証可能報酬が与えられるタスクが前提。複数応答のサンプリング、トークンごとのエントロピー計算、参照ポリシーとのKL計算が必要。原論文の評価対象は数学推論とコード生成、複数モデル規模。計算資源やモデル規模の詳細、RAG・対話一般・ツール利用への適用可否は提示された本文からは確認できない。
限界と未検証の範囲
原論文の評価は数学推論とコード生成に限定されており、一般ドメイン、RAG、ツール利用、長文対話、人間嗜好報酬などは未検証。トークン分類は応答内エントロピー分位という代理指標に依存し、分位ρやクリップ・KL係数の設定への感度は提示本文からは確認できない。勾配マスクなどの分離手法との比較はあるが、全条件での優位性や計算コストの詳細、理論保証は確認できない。
図1: 提案手法の概要(本記事による図解)
解説

ねえ智也くん、ArcherってRL学習で推論と知識のトークンを分けて制約する話?

そう。RLVRって普通、応答内の全トークンに同じ更新制約をかける。でもそれだと、推論に効くトークンと事実知識を持つトークンの役割の違いを無視しちゃう。

トークンごとに役割が違うって、具体的にはどういうこと?

論文では、高エントロピーのトークンは推論の切り替え点みたいな役割、低エントロピーのトークンは事実知識や語の続きを担いがちって整理してる。

じゃあ低エントロピーのトークンはマスクしちゃえばいい、みたいな話?

既存研究には分離するものもある。でもこの論文は、言語モデルは自己回帰的でトークン更新が結合してるから、マスクで訓練信号を消すのはずれるって主張してる。制御実験でも性能が下がったらしい。

Archerは分離しないで、制約の強さだけ変えるってこと?

そう。まず各応答の中でエントロピー分位を計算して、高エントロピーと低エントロピーにゼロショットで分類する。追加のネットワークは使わない。

分類したあと、クリップとKLをどう変えるの?

高エントロピー側はクリップを緩めてKLも弱めて、探索しやすくする。低エントロピー側はクリップを強めてKLも強めて、元の知識を保持しやすくする。全トークンは同時に最適化する。

局所と全体でアンカーが二つ、って言ってたのはそのこと?

うん。局所はトークンごとのクリップで1ステップの更新幅を調整する proxima アンカー。全体はKLで参照ポリシーからどれだけ離れるかを調整する参照アンカー。

評価は何で見てるの?

数学推論とコード生成のベンチマーク、複数モデル規模。pass@1とpass@Kが強いベースラインより一貫して良くなった、と論文は報告してる。比較相手にはGRPOやDAPO、トークンを分離する系も含まれる。具体的な数値の詳細はここでは確認できない。

意義は、トークンの役割を無視しないってこと?

それに加えて、分離じゃなくて系列全体の依存を保ったまま、トークンごとに更新の許容範囲を変える点。トークンの異質さをマスクではなく信頼領域の形に反映してる。

弱点は?

評価は数学推論とコード生成に限定されてる。一般領域やRAG、ツール利用は未検証。あと分類は応答内エントロピー分位という代理指標に依存してて、分位やクリップ・KL係数の感度は提示本文からは確認できない。

使うには何が必要なの?

ルールベースで検証可能な報酬があるRLVRの設定。複数応答のサンプリング、トークンごとのエントロピー計算、参照ポリシーとのKL計算が必要。計算資源やモデル規模の詳細は本文からは確認できない。

じゃあ私の得意分野はKLでがっちり固定して、苦手分野だけクリップ緩めに探索すれば、勉強もArcher化できるかもね。

まず報酬関数を決めろ。おやつは検証可能な報酬じゃない。