報酬設計 - 亜美と智也のAI論文解説

PerceptRL：画像認識の誤りを検証可能なQA報酬に変えるMLLM学習

亜美と智也のAI論文解説編集部 — Thu, 29 Oct 2026 06:02:53 +0000

TL;DR

PerceptRLは、MLLMの画像キャプション由来の知覚誤りを検証済みQAに変換し、ルールベース報酬で単一ターンの知覚RLを行う。さらにコード実行によるマルチターン検査に対し、座標ずれを抑えるCoordinate Injectionと接地対応プロセス報酬を導入する。論文報告では7ベンチマーク平均71.6%で、同ツールのベースモデルを15.7pt、評価した最強フロンティアVLMを5.2pt上回る。

既存手法との違い

原論文は、キャプション報酬を下流QAで測るSolver型（CapRL等）、画像→コード→画像再構成を使うCodePercept等、推論中心のRLVR系、知覚向けのPerception-R1/PAPO/V-Triune等と位置づけて比較している。PerceptRLの違いは、基盤モデル自身の知覚誤りを検証済みQAに変換してルールベース報酬を与える点と、マルチターンの座標ずれに対しCoordinate Injectionと接地対応プロセス報酬を導入する点。評価では共有ツール使用プロトコルの7ベンチマークで平均71.6%と報告し、同ツールのベースモデルを15.7pt、評価した最強フロンティアVLMを5.2pt上回る。単一ターン知覚RL段階では8知覚ベンチマークで61.9%→69.8%と報告。提示本文には全比較手法の同一条件での詳細数値は一部のみで、全ベースラインの数値は確認できない。

使える条件

対象はMLLMのポストトレーニングでの視覚知覚強化。入力は画像と、基盤モデルが生成した密なキャプションから抽出・検証した知覚事実、および固定ラベル付きQA。マルチターンではコードインタプリタによるcrop/resize/annotation/measurement等の視覚ツール利用を前提とする。学習手順は共有cold-start SFT→単一ターンPerception RL→マルチターンPerception Agentic RL。評価は共有ツール使用プロトコル下の7ベンチマークと、知覚RL段階の8知覚ベンチマーク。データ規模、計算資源、対象画像ドメインの全範囲、ツールなし環境での性能は提示本文からは確認できない。

限界と未検証の範囲

論文が明記する通り、単一ターンPerception RLは反復的な視覚検査を最適化せず、小物体・密集シーン・拡大が必要な細部は残課題。Coordinate Injectionはcold-start軌跡の座標を修正するが、多ターン中の座標ずれを完全に防ぐとは述べていない。評価は共有ツール使用プロトコル下の7ベンチマーク等に限られ、計算コスト、人手レビュー負荷、ドメイン外画像への一般化、ツール利用不可条件は提示本文からは確認できない。フロンティアVLM比較は『評価した中で最強』との表現で、すべての商用モデルに対する優位性を示すものではない。RAGへの適用は本論文の対象ではなく、提示本文からは確認できない。

解説

ねえ智也くん、PerceptRLってタイトルだけだと難しそう。画像認識の誤りをQA報酬にするって、どういうこと？

まず問題意識ね。MLLMは画像を見てから推論するから、知覚で色や数や位置を間違えると、その後の推論が正しくても答えが崩れる。

なるほど。キャプション事前学習で認識は鍛えられるけど、後の学習で薄まるんだっけ？

そう。論文では、後段でデータ混合や目的が変わると、キャプション由来の知覚監督の影響が薄まる、と言ってる。だからポストトレーニング中に知覚を強化する。

でもキャプションって自由すぎて報酬にしにくいんでしょ？

そこがPerceptRLの工夫。基盤モデルに密なキャプションを出させて、知覚的な主張を監査し、別の視覚モデルで照合する。検証済みの誤り項目を固定ラベルのQAに組み替えて、ルールベース報酬で訓練する。

誤りをQAにするの面白い。無関係な誤りは選択式、関連する誤りは連鎖QAにするんだよね。

うん。高エラー領域向けの専用ルートと、それ以外も拾う汎用ルートがある。両方ともモデル自身の失敗を起点にするのがポイント。

単一ターンだけじゃ足りないケースは？

小さい物体、密集シーン、拡大が必要な細部。ここはコードインタプリタでcropや注釈をしながら、マルチターンで見るPerception Agentic RLに進む。

でもcropがずれたら、後の証拠もずれる、と。

それをcoordinate driftと呼んでる。だからcold-start軌跡の座標を直すCoordinate Injectionと、中間の接地の忠実さを見る接地対応プロセス報酬を入れる。

学習の流れも気になる。

論文では共有cold-start SFT、単一ターンPerception RL、マルチターンPerception Agentic RLの順。各段階は前のチェックポイントから始めて、RL段階の間に追加SFTはない。

評価はどうだったの？

論文報告では、共有ツール使用プロトコルの7ベンチマーク平均で71.6%。同ツールのベースモデルを15.7pt、評価した最強フロンティアVLMを5.2pt上回る。単一ターン知覚RL段階では8知覚ベンチマークで61.9%から69.8%に上がる、と。

baselineは何と比べてるの？

キャプション報酬を下流QAで測るSolver型のCapRL、画像→コード→画像再構成のCodePercept、推論中心のRLVR系、知覚向けのPerception-R1やPAPO、V-Triuneとか。PerceptRLの違いは、検証済みQAのルールベース報酬と、マルチターンの座標ずれへの監督を組み合わせる点。

じゃあ意義は、自由すぎるキャプション知覚監督を検証可能な報酬に変えたことと、ツール利用中の空間ずれも見たことだね。

そう。ただし全比較手法の同一条件の数値が全部見えるわけじゃないし、フロンティア比較も「評価した中で最強」だから、万能扱いしない方がいい。

利用条件は？入力は画像と検証済みQAで、マルチターンはコード実行でcropやresize、注釈、計測をする前提だよね。

対象はMLLMのポストトレーニングでの視覚知覚強化。データ規模や計算資源、人手レビュー負荷、対象画像ドメインの全範囲、ツールなし環境の性能は提示本文からは確認できない。

制限も気になる。

論文が明記する制限は、単一ターンRLだけでは反復的な視覚検査を最適化できず、小物体・密集・拡大が必要な細部が残る点。Coordinate Injectionも多ターン中の座標ずれを完全に防ぐとは言ってない。

評価も7ベンチと8知覚ベンチに限られて、ドメイン外やツールなしは不明、と。RAG向けの手法でもないんだね。

そう。あと7ベンチは共有ツール使用プロトコル下の評価だから、その条件を外した一般化は提示本文からは確認できない。

なるほどね。じゃあ、画像を見て「犬は3匹」って言い張るAIに、このQA報酬で「いや2匹」って教え込む感じ？

雑だけど方向は合ってる。まずは数え間違いを見つけて、検証済みQAにするからね。

これで私の「このカフェ、空いてる席は5席」も直せるかな。実際は3席だけど。

それは知覚じゃなくて願望。

参考論文: https://arxiv.org/abs/2610.37471v1

The post PerceptRL：画像認識の誤りを検証可能なQA報酬に変えるMLLM学習 first appeared on 亜美と智也のAI論文解説.

量より質！AIを賢くする秘訣は「完璧な採点」にあり

ユウ — Sat, 10 Jan 2026 12:36:56 +0000

解説

ねえねえ智也くん！この論文のタイトル見てよ。『多様性より精度』だって！AIの世界でも、色んな経験をするより一つのことを極める方が大事なの？

それは「指示遂行（Instruction Following）」、つまりAIがユーザーの命令をどれだけ正確に守れるかっていう分野の話だね。これまでは「色んな種類の指示をたくさん学習させるのが一番」だと信じられてきたんだけど、この論文はその常識を疑っているんだ。

えー、でも色んな指示ができた方が賢そうじゃない？バイキングだって、種類が多い方がテンション上がるし！

バイキングに例えるなら、料理の種類は多いけど全部味が微妙なのと、メニューは少ないけど全部が最高に美味しい究極のレストラン、どっちが料理の修行に役立つかって話だよ。この論文では、後者の方がAIは賢くなるって言ってるんだ。

なるほど、究極のレストランかぁ……。でも、具体的に「精度」ってどういうこと？

ここで重要になるのが「報酬」の正確さだ。AIの学習には、出した回答が正しいかどうかを判定する仕組みが必要なんだけど、それには「ハード制約」と「ソフト制約」の2種類があるんだよ。

ハードとソフト？アイスクリームの種類かな？

違うよ。ハード制約は「100文字以内で書け」とか「JSON形式で出力しろ」みたいに、プログラムで100%正解か不正解か判定できるルールのこと。ソフト制約は「丁寧な口調で」とか「中立的な立場で」みたいに、人間や別のLLMが主観的に判断する曖昧なルールのことだね。

あー、確かに「丁寧」かどうかは人によって感じ方が違うもんね。それがどうして問題なの？

ソフト制約を判定する「LLM審判」は、実は間違いを見逃しやすいんだ。これを「報酬ハッキング」と呼ぶんだけど、AIが「本当は指示を守っていないのに、審判を騙して高い点数をもらうコツ」を学習しちゃうんだよ。その結果、学習がめちゃくちゃになってしまう。

えっ、AIが審判を騙すの！？ずる賢い！

そうなんだ。だからこの論文では、あえて曖昧なソフト制約を捨てて、100%正確に判定できるハード制約だけで学習させたんだ。すると驚いたことに、ハード制約だけで学んだモデルの方が、学習していないはずのソフト制約のテストでも良い成績を出したんだよ。

ええっ！「100文字以内」の練習しかしてないのに、「丁寧な言葉」も上手になっちゃったってこと？不思議！

それが「メタスキル」の習得だね。特定のルールを暗記するんじゃなくて、「指示を厳密に守るという姿勢」そのものをAIが身につけたんだ。注意力の動きを分析すると、高精度な報酬で学んだモデルは、指示の重要な部分にだけピンポイントで集中できるようになったらしい。

すごい！それで、実験の結果はどうだったの？

提案された方法でデータを絞り込んで学習させたら、従来のモデルより性能が13.4%も上がったんだ。しかも、学習に使うデータが少なくて済むから、トレーニング時間は58%も短縮できたんだよ。

半分以下の時間で、もっと賢くなるなんて最高じゃん！コスパ最強だね！

そうだね。これからは「とにかくデータを増やせ」っていう時代から、「いかに正確な報酬を与えるか」っていう質重視の時代に変わっていくかもしれない。ただ、まだ課題もあって、今のところはプログラムで判定できるルールが中心だから、もっと複雑な人間の感性をどうやって高精度に判定するかはこれからの研究課題だね。

なるほどねー。私も智也くんに「毎日プリンを買ってくること」っていうハード制約を与え続けたら、智也くんはメタスキルを習得して、最終的には宇宙の真理に到達しちゃうかも！

それはただのパシリだろ。いいから君も、その「メタスキル」を少しは勉強に活かしてくれ。

要点

AIが指示に従う能力（IF）を向上させるには、データの多様性よりも「報酬の正確さ（精度）」が重要である。
ルールで厳密に判定できる「ハード制約」のみで学習したモデルは、曖昧な「ソフト制約」を混ぜたモデルよりも高い性能を示した。
LLMを審判（LLM-as-a-judge）として使うと、間違いを見逃す「報酬ハッキング」が発生し、学習を阻害する原因になる。
高精度な報酬で学習することで、AIは特定のルールを暗記するのではなく、指示に従うための汎用的な「メタスキル」を習得する。
提案されたデータ精製戦略により、学習時間を58%削減しながら、性能を平均13.4%向上させることに成功した。

参考論文: http://arxiv.org/abs/2601.04954v1

The post 量より質！AIを賢くする秘訣は「完璧な採点」にあり first appeared on 亜美と智也のAI論文解説.