TL;DR
VLMの安全を「有害支援率」と「過剰拒否率」の予算で制御するとき、既存の制約GRPOはスコアラ平均のずれとグループ標準化で失敗する。著者らは、学習には生スコアの順位を残し、制約推定とペナルティだけ等調写像で校正し、乗数を勾配に届ける二チャネル制約GRPOを提案。Qwen3-VL-2Bでheld-out有害率8.9%→4.8%（3シードすべて改善）、未校正予算は7.6%と報告している。
既存手法との違い
比較は同一のrewardとoptimizerの下で、予算なしの標準GRPO、制約GRPO（CGRPO）、未スケールadvantage版、固定λ、未校正/校正済みスコアなど。主な比較では標準GRPOのheld-out有害率8.9%に対し、校正済み二チャネル制約GRPOは4.8%、未校正予算は7.6%（3シード平均）。CGRPOでも校正済みは4.8%、未校正は7.6%と報告され、既存手法との違いは「制御チャネルの校正」と「乗数をGRPO勾配に残す」点にある。
使える条件
画像付きリクエストに対し、VLM方策（Qwen3-VL-2B-Instruct＋LoRA）をGRPOで微調整する設定。スコアラはリクエストと応答を読み、有害支援・拒否・有用の確率を返す。予算は有害支援率と過剰拒否率に置き、制約推定とペナルティ用の確率だけを、判定ラベル付き訓練応答でfitした等調写像で校正する。評価プロンプトは校正用fitから除外する。他のモデル・言語・ドメイン・予算・スコアラでの有効性は提示本文からは確認できない。
限界と未検証の範囲
評価は特定のVLM方策、LoRA、80ステップ、ε=0.10中心の設定に限られる。校正には判定ラベル付き応答が必要で、スコアラの平均バイアスが残れば予算の意味が変わる。長期運用時の分布シフト、他タスク、多言語、他モデルへの一般化は未検証。さらに概要の「過剰拒否は最大2%」と表1の校正行4.0%の関係は、提示本文だけでは整合が確認できない。
解説
ねえ智也くん、この「VLM安全制御を予算で調整する二チャネル制約GRPOとスコア補正」って、要はVLMを安全にする話？
そう。有害支援率と過剰拒否率を予算として置いて、その範囲に収めながら役に立つ応答を最大化する。従来は報酬の重みを試行錯誤で決めてた。
予算って、じゃあ「有害支援は何%まで」「過剰拒否は何%まで」みたいに決めるってこと？
その通り。ラグランジュ乗数をGRPOの中に入れて、予算を超えたらペナルティを強める。でも素直に入れると二回失敗する。
二回？ なにが壊れるの？
まず制御チャネル。スコアラの平均が実際の率とズレてると、予算じゃなくてそのバイアスが乗数の行き先を決める。提案の定理では内部・不活性・飽和の三状態に分かれる。さらにGRPOのグループ標準化がペナルティの乗数を勾配に届く前に消す。
ランキングは合ってるのに平均がズレる、みたいな感じ？
そう。だから二チャネルにする。学習側の基本報酬は生スコアを使ってグループ内の順位を残す。ペナルティと制約推定だけ、判定ラベル付きの訓練応答でフィットした等調写像を通してレベルを校正する。advantageは未スケールにして乗数が勾配に効くようにする。
なるほど、順位はそのまま、予算が読む平均だけ直すんだ。
評価はQwen3-VL-2B-Instruct＋LoRAをGRPOで80ステップ、ε_h=ε_r=0.10、3シード。同一rewardとoptimizerで、予算なし標準GRPOのheld-out有害率8.9%に対して、校正済みは4.8%。未校正予算は7.6%だった。これは原論文の報告で、追試したわけじゃない。
4.8%は全シードで改善って報告？
そう。1,037個の敵対的プロンプトで、標準GRPOより4.2ポイント低く、全3シードで改善。過剰拒否は400個の良性クエリで最大2%、MMBenchは変わらない、と報告されてる。画像に意図を埋めた攻撃は10.1%→5.1%、未見のHADESは28.9%→12.8%。
未見ベンチでも下がるのは大きいね。既存のCGRPOとの違いは？
表ではCGRPOも未校正7.6%、校正済み4.8%。違いは制御チャネルの校正と、乗数をGRPOの勾配に残す設計。固定λや予算なしとの比較もある。ただし比較はこの設定内の話だ。
じゃあ万能ってわけじゃないよね。制限は？
評価は特定のVLM方策、LoRA、80ステップ、ε=0.10中心。校正には判定ラベル付き応答が必要で、スコアラの平均バイアスが残れば予算の意味が変わる。他モデル、多言語、長期運用の分布シフトは提示本文からは確認できない。あと概要の「過剰拒否は最大2%」と表1の校正行4.0%の関係も、提示本文だけでは整合が確認できない。
なるほどね。安全の予算って聞くと財布みたいだけど、財布の中身がラベル付き応答なのが大変そう。
その財布、ラベルが足りないとすぐ予算オーバーだからな。