うん。普通のLLMエージェントは観測から直接行動したり、プロンプトで推論したりするけど、他者が持ってる私的情報を明示的な信念として持って更新する仕組みが薄いんだ。不完備情報のマルチエージェントだと、そこが効く。

そう。私的情報はエピソード中固定で、相手には見えない。EpiAgentは自分の私的情報、履歴、他者の私的情報に対する信念をまとめてepistemic stateにして行動を選ぶ。

そう。Epistemic Updateで履歴から信念を更新して、Action Planningでその信念込みの状態から行動を選ぶ。依存関係が二段階だから、二レベル最適化として、自己対戦で交互に学習するEpistemic Self-Playにしてる。

そこで内在予測報酬。推論した信念がその後の観測をどれだけ予測できるかで信念更新を訓練する。他者の私的情報の正解ラベルがなくても学べる設計。

BargainingとKuhn Poker。Bargainingは交渉で自己利益と決裂リスクのトレードオフ、Kuhn Pokerは確率性とブラフがある競争ゲーム。プロンプティングベースと、明示的信念層なしのRLベースラインを上回ったと報告してる。ただ提示本文には具体的な数値はないから、改善幅は確認できない。

論文では信念推論の精度改善と、信念への介入で行動計画に寄与することも分析してる。だから行動計画だけじゃなく、信念学習そのものが効いてる可能性を示してる。これは論文の報告ね。

有限ホライズンでターン制、各エージェントの私的情報が固定の不完備情報ゲームが前提。自己対戦で軌跡を集めてLLMをRLで交互最適化する計算資源も要る。詳細な資源要件は提示本文からは確認できない。

信念は他者の私的情報に対する一次信念に限定されてて、高次信念は将来課題。評価もBargainingとKuhn Pokerだけだから、実世界のオープンエンドな協調や多数エージェント、動的に変わる私的情報への一般化は未検証。比較対象も限定的。

それは手札じゃなくて、ただの大声だろ。

端的に言うと、脚付きロボットがエンドエフェクタのグローバル姿勢を追うとき、センサノイズや無理な指令で壊れやすい問題への対策。CMPは任意のタスク空間入力を学習済みの安全領域、コンピテンス多様体に投影して、破綻を避けつつ可能な範囲で追従する。

この論文は少し違って、ポリシーが安全に扱える範囲の外をOODと呼んでる。訓練に入ってても未習熟な失敗は含むから、普通のOOD検出だけじゃ足りない、って整理。

Frame-Wise Safety Schemeで、無限ホライズンの安全制約を単ステップの多様体包含に変換する。潜在意図zがコンピテンス多様体Cδ(s)に入ってるかを見る形。

そこでLower-Bounded Safety Estimator。安全確率Wπを推定して、訓練分布と真の安全集合のズレ、つまり未習熟の意図を区別する。TD(λsafe)で保守的な下界寄りにしてる。

ILS、Isomorphic Latent Spaceが効く。安全確率が下がるほど潜在ノルムが大きくなるように球形の境界へ整える。推論時はノルムがR_safe以下かチェックして、超えたらノルムを切り詰めるだけ。O(1)操作。

そう。KLで潜在連続性を保ってるから、ただリセットするんじゃなくて、近い実現可能意図への投影になってベストエフォートになる、という主張。

シミュレーションはIsaac Gym、実機はUnitree Go2にHexfellow Saberを載せた構成。比較はUMI-on-Legs、Latent Shielding、Neural CBF。Safe RLはOOD入力向け設計がない、MPCは正確なモデルと計算コストが要るから除外、と本文にある。

IDは主に前方ヨー±60度の代表タスク。OOD-Geometryは後方ヨー120〜240度。OOD-SensorはID軌道にセンサノイズを足してVIO失敗を模す。指標は位置誤差、姿勢誤差、生存率。

論文の主張は、典型的OODで最大10倍の生存率改善、IDでの追従劣化は10%未満。ただ提示本文はTable 2の途中で切れてるから、全数値や全比較は確認できない。あとこれは論文の紹介であって、俺たちが実装や追試をしたわけじゃない。

そう。Decoupled WBCは全身協調とコンピテンス認識が弱く、End-to-end WBCはコンピテンス認識とO(1)・ベストエフォートがない。OOD Detectorsは検出寄りでO(1)とベストエフォートに欠ける。Inference-time Steeringはベストエフォート寄りだけど反復計算でO(1)じゃない、という整理。

脚付き移動マニピュレータがグローバル座標のエンドエフェクタ姿勢・軌道を追う全身制御。入力はID、OOD、実行不能を含む任意のタスク空間指令で、VIO誤差や操作遅延、無理なユーザ指令を想定。訓練は意図エンコーダ、低レベル政策、安全推定器をPPOとTD(λsafe)で学習。推論はILSでO(1)投影。

評価はIsaac Gymと1種類の実機構成に限られる。他のロボット、タスク、センサ条件への一般化は本文からは確認できない。あと安全推定器は最大値の原点代理やTD(λsafe)の保守的下界など近似依存。ILSも安全確率と半径の対応づけに依存して、R_safeの調整も要る。訓練データに未習熟の失敗が混ざる場合の境界曖昧性も、本文記載の範囲では限定的。

締切を安全境界に投影しても、たぶん作業量は減らないぞ。

そう。論文の出発点は、安全アラインメントが浅くて、最初の数トークンに偏ってるって観察なんだ。だから応答の出だしが従順になると、その後の流れも危険側に寄りやすい。既存防御は応答の表面形を監督するだけで、明示的な安全判断をモデルに学ばせてない、って批判してる。

その通り。各ターンでAssess→Decide→Respondの順にやる。まずユーザーの本当の意図を評価して、次にCOMPLYかREFUSE、外部報酬版ではSAFE-REDIRECTも含めて明示的に判断して、その判断に条件づけて応答を生成する。判断は文字列として読めるトークン列で、応答より前にあるから拘束力がある。そこが設計の核。

そう。訓練会話は有害か良性かがあらかじめ分かってるから、最終ターンの判断が有害会話ならREFUSE、良性会話ならCOMPLYになってるかを文字列比較で報酬にする。判定器も注釈も使わない。でも応答が空のままREFUSEだけ出して報酬を稼ぐ退化を防ぐために、応答が空じゃないことも条件にしてる。

そこは無理。有害会話ではREFUSEもSAFE-REDIRECTも妥当になり得るから、ラベルだけ読むルールだと正解を一つに決められない。だから自己検証版は二値判断に限定して、三値の判断空間は外部のLLM-as-a-judge rewardに任せてる。

そう。先行ターンは無害に見えることが多くて、過程に報酬を置くと簡単なターンに引っ張られる。だから最終ターンの結果だけを監督する。あと各ターンに長さ上限を設けて、序盤で応答を膨らませて後半を潰す報酬ハックも防いでる。最適化はGRPO。

論文の主張では、同じデータで訓練したSFT、DPO、SDGO、MTSA、MUSE-Dと比較してる。ベースモデルはLlama3.1-8B-InstructとQwen3-8Bの2系。安全性・ユーティリティ・helpfulnessにまたがる14ベンチマーク、6つの判定器で制御比較して、提案法が最も強い多ターン安全性を示した、と報告してる。ユーティリティは保ちつつ、helpfulnessには小さなコストがあるって書いてある。

そう。だから数値や比較の細部は補わない方がいい。論文の報告として確認できるのは、制御比較で最强の多ターン安全性、6判定器でもリードが続く、自己検証版は判定器なしで済む、ユーティリティ保持、helpfulnessに小さなコスト、まで。個別の大きさは提示本文からは確認できない。

うん。論文はKL分析と介入実験で、効果が短い判断部分に集中して、そこでコミットした判断が因果的な制御点になってることも確認した、と主張してる。ここは論文の報告であって、僕らが追試した話ではないけどね。

それに加えて、外部判定報酬は判定器依存で、判定器同士の不一致や誤りを訓練に持ち込む可能性がある。あと報酬はコミットされたラベルだけを読んで、応答内容の整合性を直接チェックしない。著者は拘束性と外部評価で補完されると議論してる。評価範囲も2モデル系・14ベンチマーク・6判定器までで、RAGみたいな他システムへの適用は本論文の対象外。

それは安全判断じゃなくて現実逃避だから、報酬は0だ。

うん。精神科って問診そのものが診断の主要な手段だから、会話の質がすごく大事なんだ。でも会話型医療AIの評価は、精神科だとあんまり進んでなかった。

そう。だから構造化した問診、鑑別診断、初期のマネジメント計画までを、シミュレーション環境のマルチターンRLで訓練したのがこの研究。

そうだね。シナリオ生成、模擬患者との多ターン対話、ルーブリックの自動採点、GRPOでの更新、っていう流れ。臨床ルーブリックやコミュニケーション、安全なんかを報酬にしてる。

比較のポイントは、同じ臨床システムプロンプトと同じツールを与えたベースモデルとの差。プロンプトの工夫じゃなくて、RL訓練の効果を見たい設計なんだ。

まず二重盲検のクロスオーバー評価。60組、120回のテキスト診察で、32人の精神科医が模擬患者を演じて、別の15人の精神科医が匿名化した transcripts を採点した。

結果として、訓練したエージェントがペアの76.7%でベースモデルを上回った。PACESの臨床スキル、患者中心コミュニケーション、鑑別診断の適切さなんかも改善してる。

うん。精神科医が検証した127シナリオでは、臨床ルーブリックスコアが0.706対0.379、複合報酬が0.564対0.294。難易度の4層全部で差が出てる。

Delphi合意で作った安全リスクと関係性 competency の分類から、256個の敵対的提示を作ってる。急性安全リスクの過少トリアージは12.9%対30.5%に減った。

そう。ここが重要で、残存課題もはっきりしてる。人間評価で包括的かつ適切な治療推奨は46.7%だけ、模擬問診の60.6%で重要問診質問が少なくとも1つ欠落、敵対的提示の12.9%で急性リスクの過少トリアージが残る。

PACESの『関係を育む』項目は有意差なしだった。あと実患者での有効性・安全性・臨床アウトカムは未検証。英語テキストで米国ガイドライン限定だから、一般化にも慎重さが要る。

その理解でいいと思う。制御されたテストベッドとしては意義があるけど、実装統合や長期安全性はこれから。

まあそういうこと。あとそのツッコミはちょっと雑すぎる。

論文の出発点は、その段階の分かれ方って本質じゃないんじゃないか、って話だ。どの段階も、結局は「どのデータに、どれくらいの重みで、いつ当てるか」が違うだけで、学習則自体は同じ最尤学習にできる、という見方をする。

うん。論文では、適切なRL目的関数をモデル生成の目標分布への最尤フィッティングとして導ける、と示してる。二値報酬なら、成功した生成の分布に尤度を合わせる形になる。MaxRLの拡張として説明してる。

そう。各データ源にプロンプト分布と目標分布があって、混合重みλを決めて一つの分布qを作る。そのqに対して同じ尤度損失をかける。重み付き損失と共有バッファで、静的データとRL生成を同じトレーナーに流す実装になってる。

その通り。従来の段階訓練は、段階ごとにデータ源の比率が急に切り替わる特別な場合として位置づけられる。統一学習は、その比率を連続的に変えたり重ねたりできる。

論文では、各例をトークン列とトークンごとの重みの組にする。事前学習と中間学習は本文トークンに単位重み、SFTはプロンプトをマスク、RLは応答トークンに報酬から計算した重みAを付ける。全部、重み付き交差エントロピーで扱える。

二値報酬なら、プロンプトごとにN個サンプルして合格率p̂を推定し、正解応答に1/p̂を付ける。不正解は0。これはMaxRLの有限サンプル版で、全部不正解なら更新はゼロになる。

非同期で進む。生成器が最近の重みコピーで応答を作って共有バッファに追加し、トレーナーが静的データと一緒にサンプルして更新する。重みは定期的に同期する。

比較対象は従来の段階訓練で、RLは原則MaxRLをベースラインにしてる。制御設定と実世界の中間学習データで、同一総計算予算の比較も含めて、精度とカバレッジのトレードオフ改善を報告してる。広い能力の保持や継続学習の起点としても良い、という結果。

ただし論文の報告としてね。僕の解釈では、意義は「段階を固定したレシピ」から「データの混合とタイミングを設計する問題」に視点を移したことだと思う。訓練全体を一つの科学として見る土台を作ってる。

そこは制約がある。論文は二値報酬を中心に定式化して、連続報酬はTailRLなどで拡張してる。他のRL目的関数も予備解析の範囲。評価も制御設定と実世界の中間学習データに限られる。

提示された本文から確認できる範囲では、データ規模や計算資源の詳細も限られてるし、より大規模なモデル、他ドメイン、長期の継続学習への一般化は確定できない。あとPPOやGRPOは準備で触れられるけど、この比較の詳細は本文からは確認できない。

そう。学習アルゴリズムは固定して、何をどの比率でいつ与えるかを設計する。その意味で、統一学習は訓練 trajectories を科学するための枠組みになってる。

成功例が足りない。

うん。ざっくり言うと、報酬なしのオフラインデータで事前に方策族を学んでおいて、テスト時に目的が決まったらすぐ使えるようにする話。Soft FBはそのFB法を最大エントロピー版にして、一般効用まで扱えるようにした手法だよ。

普通のマルコフ報酬は、占有測度に対して線形な目的になる。一般効用は、占有測度の任意の微分可能な関数を目的にできる。分布マッチングとか純粋探索みたいに、加法報酬にきれいに落とせないタスクも入る。

従来FBは線形RLの任意のマルコフ報酬をゼロショットで近似できるけど、抽出される方策が決定論的になりやすい。それだと非線形な一般効用の最適解を含む保証がない。論文では単一状態・二行動の純粋探索の反例も挙げてる。

そう。そこでSoft FBは最大エントロピーRLで確率的な方策族を学ぶ。占有測度の分解は保ったまま、方策をQ関数の指数形で定義して、エントロピー正則化を入れる。

方策を低次元の埋め込みzでパラメータ化して、テスト時にそのzをゼロ次探索する。再パラメータ化でzを球体の中に収めるから、探索空間を有界にできる。目的ごとに反復最適化を回すんじゃなくて、事前学習の計算を使い回す感じ。

そこは論文が強調してる違いの一つ。既存の一般効用向けオンライン半勾配法やFrank-Wolfe法は、目的ごとの反復最適化や混合方策になり得る。Soft FBはテスト時探索で単一のマルコフ方策を目指す。ただ、比較条件や数値の詳細は提示本文にはないよ。

論文では教訓的な連続環境と、確立された高次元のゼロショットベンチマークで評価してる。標準の線形タスクでエントロピー正則化の影響も調べてる。でも具体的な数値結果は提示本文からは確認できない。

報酬なしのオフライン遷移データから事前学習して、テスト時に目的を指定するゼロショットRLが前提。目的は占有測度の微分可能な関数。実装は連続状態行動空間で、関数近似で後継測度を推定して、評価では方策を対角ガウスで表現してる。

論文の定理4.2では、十分な容量と厳密学習の下で、Soft FBの方策族が任意の微分可能な一般効用のε最適方策を含むと主張してる。ただしこれは存在結果で、実用上はテスト時探索と後継測度推定の近似に依存する。

そう。埋め込み空間のゼロ次探索は一般には簡単じゃないし、低次元化や探索予算の影響も提示本文だけでは不明。評価も限られた連続制御環境とゼロショットベンチマークだし、対角ガウス以外の表現への一般化も本文からは確認できない。

うん。ここまでの話は論文の主張の整理で、僕が追試した結果じゃない。Soft FBは「最大エントロピーで方策族を学ぶ」「テスト時に探索する」「単一のマルコフ方策を狙う」って三点がポイントだね。

その報酬も占有測度も不明すぎるだろ。

そう。原論文の問題意識はそこ。難しい質問は正解が一度も出ずに報酬が全部0になって、advantageも0。逆に易しすぎる質問は少ない回数で十分なのに回数が余る。学習信号が消えるか、無駄になるかってこと。

直感的にはそうだけど、どの質問がどれくらい難しいかは生成してみるまで分からない。だから配分をオンラインの整数最適化として解くと厄介。提案のAdaRoll-GRPOは、質問を一つずつ選んでロールアウトする逐次決定問題にして、さらに正解確率の不確かさをBAMDPの信念状態で扱う。

そこがポイント。BAMDPはオフラインで値反復して、閉形式のベルマン更新で方策を求める。保存した方策をGRPO訓練時に使うだけで、追加のオンライン最適化は不要と論文は言ってる。総ロールアウト予算はvanilla GRPOと同じN=B·Gに固定したまま、質問ごとの配分だけ変える。

本文では、目的関数変更やadvantage推定改善とは直交する研究で、併用可能と位置づけてる。ただ、提示本文だけだと、それら個別手法との比較結果や全実験条件・数値は確認できない。原論文は複数の推論データセットとLLMアーキテクチャでGRPO訓練性能が改善したと報告してる、という範囲まで。

そう。あとオフラインでBAMDPを解いて方策を保存する前提。だからオンライン最適化の負担は増えない設計。逆に、数学以外のタスク、二値じゃない報酬、難易度分布が大きく動く環境、極端な予算やバッチサイズでの有効性は、この本文からは確認できない。オフライン求解の計算コストやハイパーパラメータ感度、統計的有意差も不明。僕らが追試したわけでもない。

その理解でいい。原論文の報告と、この記事での整理は分けて読む必要がある。

それは難易度じゃなくて欲望の問題だろ。

まず問題意識ね。MLLMは画像を見てから推論するから、知覚で色や数や位置を間違えると、その後の推論が正しくても答えが崩れる。

そう。論文では、後段でデータ混合や目的が変わると、キャプション由来の知覚監督の影響が薄まる、と言ってる。だからポストトレーニング中に知覚を強化する。

そこがPerceptRLの工夫。基盤モデルに密なキャプションを出させて、知覚的な主張を監査し、別の視覚モデルで照合する。検証済みの誤り項目を固定ラベルのQAに組み替えて、ルールベース報酬で訓練する。

うん。高エラー領域向けの専用ルートと、それ以外も拾う汎用ルートがある。両方ともモデル自身の失敗を起点にするのがポイント。

小さい物体、密集シーン、拡大が必要な細部。ここはコードインタプリタでcropや注釈をしながら、マルチターンで見るPerception Agentic RLに進む。

それをcoordinate driftと呼んでる。だからcold-start軌跡の座標を直すCoordinate Injectionと、中間の接地の忠実さを見る接地対応プロセス報酬を入れる。

論文では共有cold-start SFT、単一ターンPerception RL、マルチターンPerception Agentic RLの順。各段階は前のチェックポイントから始めて、RL段階の間に追加SFTはない。

論文報告では、共有ツール使用プロトコルの7ベンチマーク平均で71.6%。同ツールのベースモデルを15.7pt、評価した最強フロンティアVLMを5.2pt上回る。単一ターン知覚RL段階では8知覚ベンチマークで61.9%から69.8%に上がる、と。

キャプション報酬を下流QAで測るSolver型のCapRL、画像→コード→画像再構成のCodePercept、推論中心のRLVR系、知覚向けのPerception-R1やPAPO、V-Triuneとか。PerceptRLの違いは、検証済みQAのルールベース報酬と、マルチターンの座標ずれへの監督を組み合わせる点。

そう。ただし全比較手法の同一条件の数値が全部見えるわけじゃないし、フロンティア比較も「評価した中で最強」だから、万能扱いしない方がいい。

対象はMLLMのポストトレーニングでの視覚知覚強化。データ規模や計算資源、人手レビュー負荷、対象画像ドメインの全範囲、ツールなし環境の性能は提示本文からは確認できない。

論文が明記する制限は、単一ターンRLだけでは反復的な視覚検査を最適化できず、小物体・密集・拡大が必要な細部が残る点。Coordinate Injectionも多ターン中の座標ずれを完全に防ぐとは言ってない。

そう。あと7ベンチは共有ツール使用プロトコル下の評価だから、その条件を外した一般化は提示本文からは確認できない。

雑だけど方向は合ってる。まずは数え間違いを見つけて、検証済みQAにするからね。

それは知覚じゃなくて願望。

VLAはロボットの行動ラベル付き実演に依存しがちで、汎化がデータの多様性に縛られる。人間動画は多様だけど、そのままロボットの実行行動にはならない。ここが動機。

大きく分けると、潜在行動モデルはフレーム遷移から行動っぽい変数を作る。人手ポーズや物体相互作用を明示的に推定する完全監督型もある。あとThinkActやMolmoActみたいに中間推論を入れるVLA、世界モデルや視覚予測を使う手法もある。

未来予測を制御出力や計画に使うんじゃなくて、CoDが想像した未来と観測未来の一致を学習時の報酬にする。CoDは離散モーション列で、人間とロボットの共通の行動推論インターフェースとして使う。

ロボット軌道や注釈付き人手軌道を正規化したデルタEnd-Effector表現に直して、FAST系のモーショントークナイザーで離散トークン列にする。まず行動ラベル付き実演で接地する。

そう。共通の離散語彙にはするけど、人間とロボットの運動学が同じとは仮定しない。あとCoD-conditioned future imaginationは凍結DINO特徴空間で未来を予測する。RGB再構成じゃない。

SFTではCoDのクロスエントロピーと未来特徴の距離をjointで学習する。次にRLで、同じ文脈からサンプルした複数CoDの想像未来と観測未来の類似度を報酬にしてGRPOで更新。SFTの接地を保つためにsupervised replayも入れる。

motion-enhanced feature similarityで、現在から未来に大きく変わるパッチのDINO一致を重めに見る。でも全体シーンの寄与も残して、背景だけで報酬が決まらないようにする。観測フレームだけ使うから行動注釈はいらない。

提示本文ではシミュレーションと実ロボットで、人間からロボットへの転移と未知タスク・未知環境への汎化を示した、と報告している。Figure 1には比較棒グラフがあるけど、同一条件の詳細や全ベースラインの数値対応は本文だけでは確認できない。

原論文は潜在行動モデル、明示的監督型、推論付きVLA、世界モデル／視覚予測系と対置している。ThinkWorldの違いは、未来予測をデプロイ時の制御に使わず、学習時の報酬として使う点。ただし比較条件の細部は提示本文からは確認できない。

行動注釈なしの動画の観測遷移を行動推論の監督に変えられること。人間とロボットの経験を同じCoD空間で洗練できる点が大きい。

入力は言語指示、現在の視覚観測、履歴フレーム、ロボットなら固有受容覚。SFTには行動ラベル付きロボット実演と人手注釈付き動画、RLには時間順の人間・ロボット動画の観測未来が要る。未来想像は凍結DINO特徴空間で、VLMとaction expertとモーショントークナイザーを前提にする。

提示本文からは確認できない。あと制限もあって、CoDの初期接地には行動ラベルか人手注釈が要る。RLは観測された未来遷移が必要だし、報酬はDINO特徴類似度でタスク成功を直接最適化するわけじゃない。

そう。未来予測はデプロイ時に捨てるから、効果は学習された表現に依存する。ここは原論文の報告と、記事としての解釈を分けて読む必要がある。

亜美の場合はまず動画を一時停止して見るところからだな。

そう。LLMのRLでは推論エンジンで生成して、別の学習実装で確率を計算し直すことが多い。同じ重みとBF16でも、実装が違うと確率がずれて、意図したon-policy更新がoff-policyっぽくなる。これが安定性を壊す一因。

同じBF16出力でも、途中の中間値をBF16に丸めてから次に渡すか、FP32のまま保持して最後だけBF16に戻すかで、次の演算に入る値が変わる。融合カーネルと分離カーネルでこの位置がずれる。論文はこれをrounding-location mismatchと呼んでる。

既存研究では、推論・学習スタック全体の一致、FP16への全体精度変更、重要度サンプリング補正や切り詰め・マスク、batch-invariantカーネル、モジュール単位の一致、RoPEやSwiGLUの丸め位置一致なんかがある。ただ、原論文の提示本文では、それら既存手法を同じ設定で横比較した結果は確認できない。

学習側のRoPE、SwiGLU、残差RMSNormの3領域。選んだ中間値をFP32で保持して、各領域の出力をBF16に戻す。推論エンジン、行列積・注意カーネル、学習目的は変えない。ポイントは全部揃えるんじゃなくて、丸め位置を選択的に合わせるってこと。

Qwen系4モデル、DeepSeek-R1-Distill-Qwen-1.5B、Qwen3-1.7B、Qwen3-4B-Base、Qwen3-8B-Baseで、既定BF16で起きた崩壊を3領域合わせると防いだ。検討した実行ではRoPEパスだけでも安定した、と報告されてる。比較条件は既定BF16、RoPEのみFP32、3領域FP32、zero-mismatch backendなど。

そこは注意。静的解析では3領域FP32が全モデルでKLを一番下げたけど、SwiGLUの寄与が負のモデルもあった。中間精度を上げれば必ず不一致が減るわけじゃない。RoPEのみで安定したのは検討した実行の話で、常に十分とは限らない。

MATHのSanity-Test-R1D-1.5Bで強化学習して、AIME 2025で評価。学習目的はPPO-clipped GRPOで、追加の不一致補正は使わない設定。静的解析はQwen3-4B-Baseを除く3モデル。

3領域を合わせると、forward-and-backwardレイテンシが5.33–10.92%増、ピーク割当メモリが0.41–0.89 GiB/GPU増えたと報告されてる。ロールアウト生成を含めた全体のRL時間では割合が小さくなる見込みだけど、それは本文の期待。

評価はQwen系4モデルと特定のRL設定・データに限られる。他のモデル系、他の推論エンジン、FP8や量子化、違う並列化やreduction順、他のRL目的やタスクへの一般化は提示本文からは確認できない。zero-mismatch backendの詳細や大規模・長期訓練での挙動も不明。完全な数値一致を目指す手法でもない。

うん。選択的な丸め位置合わせだけでBF16のLLM RLが安定する可能性を示したのが意義。ただし対象はQwen系と特定の評価設定に限られる。

それは丸め位置じゃなくて、単に片付けてないだけ。