TL;DR
RIG-BENCHは、画像生成モデルが視覚的な文脈から潜在ルールを推論し、その答えを画像として生成できるかを測るベンチマーク。4タスク群・11サブタスク・2,000サンプルで、答えを言語で指定せず画像出力を要求する。既存の最先端モデルにも「局所的には自然だが全体として論理が破綻する」推論-生成ギャップがあると報告している。
既存手法との違い
原論文は既存ベンチマークを、視覚コンテキスト・ルール帰納・視覚合成の3軸で比較している(Table 2)。Text-to-imageは視覚コンテキストとルール帰納がなく合成のみ、Reasoning-aware T2Iはルール帰納と合成はあるが視覚コンテキストがない、VQA/Visual Reasoningは視覚コンテキストとルール帰納はあるが視覚合成がない、Image Editingは視覚コンテキストと合成はあるがルール帰納がない、と整理される。RIG-BENCHは3つすべてを要求する点を違いとして主張する。加えて、ターゲット出力を言語で指定せず、視覚文脈のみから導かせる点を新規性としている。モデル評価ではGPT Image 1、Gemini 3 Pro Image Preview、Qwen-Imageなどの統合生成モデルや画像/動画生成モデルを同一の回答画像生成プロトコルで評価し、推論-生成ギャップを示したと述べる。提示本文中では個別モデルの具体スコアは確認できない。
使える条件
対象は画像を入力し画像を出力できる生成モデル・統合マルチモーダルモデル。入力は視覚コンテキストC=(I,D,t)で、文脈画像I、任意の変換例D、解法を明かさず出力制約のみを示す自然言語指示tからなる。出力は単一の回答画像で、概念・変換・パターンと構造・シナリオの4タスク群、11サブタスクを扱う。評価はground-truth画像との比較を、手書きルーブリックに基づくLLM judgeと自動知覚指標で行い、人手研究で校正すると記述されている。データはHugging Faceで公開されるとしている。計算資源、学習条件、推論コスト、プロンプト感度の詳細は提示本文からは確認できない。
限界と未検証の範囲
RIG-BENCHは2,000件の curated benchmarkであり、評価範囲は提示された4タスク群・11サブタスクと評価対象モデル群に限られる。開放形式のタスクでは複数の視覚的に妥当な答えがあり得るため、評価の一般化には注意が必要。提示本文からは、全モデルの詳細設定、計算資源、評価者間一致、LLM judgeのバイアス、プロンプト感度、実運用環境での性能は確認できない。また本論文は画像生成における視覚推論の評価であり、RAGやLLM運用そのものを直接扱うものではない。提示本文中に具体スコアは示されていない。
図1: 提案手法の概要(本記事による図解)
解説

ねえ智也くん、このRIG-BENCHって画像生成AIの推論力を測るやつ、ちょっと気になったんだけど…何が新しいの?

ざっくり言うと、画像を見て潜在ルールを推論して、その答えを言語じゃなく画像で出させるベンチマーク。既存の評価は、テキストで推論を測るVQA系か、見た目やプロンプト追従を測る生成系に分かれてた。だからImage→Reasoning→Imageの閉ループが抜けてたんだ。

なるほど…画像で答えると何が変わるの?

テキストで選択肢を選ぶより厳しい。局所的に自然でも全体の論理が破綻してる生成が見つかる。論文も「locally plausible but globally illogical」な推論-生成ギャップがあるって報告してる。

へえ、それってどんなタスクがあるの?

4タスク群で11サブタスク、2000サンプル。Concept-based、Transformation-based、Pattern & Structure、Scenario-based。図形の類似、行列埋め、迷路みたいな視空間、科学プロセス、時系列、異領域アナロジー、スタイル選好まで入ってる。

入力は画像だけ?

視覚コンテキストC=(I,D,t)。Iは文脈画像、Dは変換例のペア、tは「パターンを完成させて」みたいな出力制約だけの指示。解法や目標そのものは言語で指定しない。出力は単一の回答画像で、GT画像と比べる。

既存ベンチとの違いは?

Table 2だと、Text-to-imageは視覚コンテキストとルール帰納がなくて合成だけ、Reasoning-aware T2Iは帰納と合成はあるけど視覚コンテキストがない、VQAは文脈と帰納はあるけど合成がない、Image Editingは文脈と合成はあるけど帰納がない。RIG-BENCHは3つ全部を要求するのが違い。

全部そろってるの珍しいんだ。

うん。評価はLLM judgeを手書きルーブリックで使うのと、自動知覚指標、あと校正用の人手研究。GPT Image 1、Gemini 3 Pro Image Preview、Qwen-Imageみたいな統合生成モデルや画像/動画生成モデルを同じ回答画像生成プロトコルで評価してる。

具体的なスコアは?

提示された本文からは確認できない。個別モデルの数値は出てない。ただ、最先端でも推論-生成ギャップが大きいって主張。

じゃあ、まだ限界もあるよね。

ある。評価範囲は4タスク群・11サブタスクと対象モデル群に限られる。開放形式のタスクは複数の視覚的に妥当な答えがあり得るから、一般化には注意。計算資源、推論コスト、プロンプト感度、評価者間一致、LLM judgeのバイアスも本文からは確認できない。

画像生成AIの推論を見る診断ベンチって感じか。RAGとかLLM運用を直接扱うわけじゃない?

そう。そこは区別が必要。あくまで視覚的文脈からのルール帰納と画像合成の評価。

なんか、AIに「絵で説明して」って宿題出すみたいだね。私も図形問題で白紙出しそう。

白紙はまだマシかも。迷路の答えが行き止まりの絵で返ってくる方が困る。