TL;DR
PerceptRLは、MLLMの画像キャプション由来の知覚誤りを検証済みQAに変換し、ルールベース報酬で単一ターンの知覚RLを行う。さらにコード実行によるマルチターン検査に対し、座標ずれを抑えるCoordinate Injectionと接地対応プロセス報酬を導入する。論文報告では7ベンチマーク平均71.6%で、同ツールのベースモデルを15.7pt、評価した最強フロンティアVLMを5.2pt上回る。
既存手法との違い
原論文は、キャプション報酬を下流QAで測るSolver型（CapRL等）、画像→コード→画像再構成を使うCodePercept等、推論中心のRLVR系、知覚向けのPerception-R1/PAPO/V-Triune等と位置づけて比較している。PerceptRLの違いは、基盤モデル自身の知覚誤りを検証済みQAに変換してルールベース報酬を与える点と、マルチターンの座標ずれに対しCoordinate Injectionと接地対応プロセス報酬を導入する点。評価では共有ツール使用プロトコルの7ベンチマークで平均71.6%と報告し、同ツールのベースモデルを15.7pt、評価した最強フロンティアVLMを5.2pt上回る。単一ターン知覚RL段階では8知覚ベンチマークで61.9%→69.8%と報告。提示本文には全比較手法の同一条件での詳細数値は一部のみで、全ベースラインの数値は確認できない。
使える条件
対象はMLLMのポストトレーニングでの視覚知覚強化。入力は画像と、基盤モデルが生成した密なキャプションから抽出・検証した知覚事実、および固定ラベル付きQA。マルチターンではコードインタプリタによるcrop/resize/annotation/measurement等の視覚ツール利用を前提とする。学習手順は共有cold-start SFT→単一ターンPerception RL→マルチターンPerception Agentic RL。評価は共有ツール使用プロトコル下の7ベンチマークと、知覚RL段階の8知覚ベンチマーク。データ規模、計算資源、対象画像ドメインの全範囲、ツールなし環境での性能は提示本文からは確認できない。
限界と未検証の範囲
論文が明記する通り、単一ターンPerception RLは反復的な視覚検査を最適化せず、小物体・密集シーン・拡大が必要な細部は残課題。Coordinate Injectionはcold-start軌跡の座標を修正するが、多ターン中の座標ずれを完全に防ぐとは述べていない。評価は共有ツール使用プロトコル下の7ベンチマーク等に限られ、計算コスト、人手レビュー負荷、ドメイン外画像への一般化、ツール利用不可条件は提示本文からは確認できない。フロンティアVLM比較は『評価した中で最強』との表現で、すべての商用モデルに対する優位性を示すものではない。RAGへの適用は本論文の対象ではなく、提示本文からは確認できない。
解説
ねえ智也くん、PerceptRLってタイトルだけだと難しそう。画像認識の誤りをQA報酬にするって、どういうこと？
まず問題意識ね。MLLMは画像を見てから推論するから、知覚で色や数や位置を間違えると、その後の推論が正しくても答えが崩れる。
なるほど。キャプション事前学習で認識は鍛えられるけど、後の学習で薄まるんだっけ？
そう。論文では、後段でデータ混合や目的が変わると、キャプション由来の知覚監督の影響が薄まる、と言ってる。だからポストトレーニング中に知覚を強化する。
でもキャプションって自由すぎて報酬にしにくいんでしょ？
そこがPerceptRLの工夫。基盤モデルに密なキャプションを出させて、知覚的な主張を監査し、別の視覚モデルで照合する。検証済みの誤り項目を固定ラベルのQAに組み替えて、ルールベース報酬で訓練する。
誤りをQAにするの面白い。無関係な誤りは選択式、関連する誤りは連鎖QAにするんだよね。
うん。高エラー領域向けの専用ルートと、それ以外も拾う汎用ルートがある。両方ともモデル自身の失敗を起点にするのがポイント。
単一ターンだけじゃ足りないケースは？
小さい物体、密集シーン、拡大が必要な細部。ここはコードインタプリタでcropや注釈をしながら、マルチターンで見るPerception Agentic RLに進む。
でもcropがずれたら、後の証拠もずれる、と。
それをcoordinate driftと呼んでる。だからcold-start軌跡の座標を直すCoordinate Injectionと、中間の接地の忠実さを見る接地対応プロセス報酬を入れる。
学習の流れも気になる。
論文では共有cold-start SFT、単一ターンPerception RL、マルチターンPerception Agentic RLの順。各段階は前のチェックポイントから始めて、RL段階の間に追加SFTはない。
評価はどうだったの？
論文報告では、共有ツール使用プロトコルの7ベンチマーク平均で71.6%。同ツールのベースモデルを15.7pt、評価した最強フロンティアVLMを5.2pt上回る。単一ターン知覚RL段階では8知覚ベンチマークで61.9%から69.8%に上がる、と。
baselineは何と比べてるの？
キャプション報酬を下流QAで測るSolver型のCapRL、画像→コード→画像再構成のCodePercept、推論中心のRLVR系、知覚向けのPerception-R1やPAPO、V-Triuneとか。PerceptRLの違いは、検証済みQAのルールベース報酬と、マルチターンの座標ずれへの監督を組み合わせる点。
じゃあ意義は、自由すぎるキャプション知覚監督を検証可能な報酬に変えたことと、ツール利用中の空間ずれも見たことだね。
そう。ただし全比較手法の同一条件の数値が全部見えるわけじゃないし、フロンティア比較も「評価した中で最強」だから、万能扱いしない方がいい。
利用条件は？入力は画像と検証済みQAで、マルチターンはコード実行でcropやresize、注釈、計測をする前提だよね。
対象はMLLMのポストトレーニングでの視覚知覚強化。データ規模や計算資源、人手レビュー負荷、対象画像ドメインの全範囲、ツールなし環境の性能は提示本文からは確認できない。
制限も気になる。
論文が明記する制限は、単一ターンRLだけでは反復的な視覚検査を最適化できず、小物体・密集・拡大が必要な細部が残る点。Coordinate Injectionも多ターン中の座標ずれを完全に防ぐとは言ってない。
評価も7ベンチと8知覚ベンチに限られて、ドメイン外やツールなしは不明、と。RAG向けの手法でもないんだね。
そう。あと7ベンチは共有ツール使用プロトコル下の評価だから、その条件を外した一般化は提示本文からは確認できない。
なるほどね。じゃあ、画像を見て「犬は3匹」って言い張るAIに、このQA報酬で「いや2匹」って教え込む感じ？
雑だけど方向は合ってる。まずは数え間違いを見つけて、検証済みQAにするからね。
これで私の「このカフェ、空いてる席は5席」も直せるかな。実際は3席だけど。
それは知覚じゃなくて願望。