TL;DRPallasは、AI…
TL;DR
Q-Guideは、文書VQAにおいて、質問に応じて知覚を段階的に調整するエージェントです。固定のエンコードではなく、テキスト抽出やズームなどのツールを状況に応じて使い、証拠が揃うまでループします。DocVQA2026で65.0%、Manga109で32.4%と、直接推論や複雑なオーケストレーションを上回り、2〜3ラウンドで精度が飽和します。
解説
ねえ智也くん、このQ-Guideって論文、タイトルからして面白そうだけど、何が新しいの？
ああ、これは文書VQAのエージェントだよ。普通は画像を全部同じようにエンコードするけど、Q-Guideは質問に応じて知覚を段階的に調整するんだ。
知覚を調整？それってどういうこと？
例えば、質問が「この書類の日付は？」だったら、テキスト抽出ツールを使う。もし図の中の細かい部分が必要ならズームする。固定のやり方じゃなくて、状況に応じてツールを選ぶんだ。
へえ、まるで人間が書類を見るときに、必要な部分を拡大したり読んだりするみたいだね！それで、どうやって証拠を探すの？
エージェントがツールを使って情報を集めて、証拠が揃うまでループするんだ。質問に答えるのに十分な情報が得られたら停止する。
なるほど！で、性能はどうなの？
DocVQA2026で65.0%、Manga109で32.4%の精度を達成してる。直接推論や複雑なオーケストレーションより上回ってるよ。
すごい！でも、なんでそんなにうまくいくの？
理由はいくつかあるけど、一つは質問に応じて必要な情報だけを集めるから、無駄な処理が減る。もう一つは、証拠が揃うまでループするから、答えの信頼性が上がるんだ。
でも、ループって時間かかりそうじゃない？
実は2〜3ラウンドで精度が飽和するから、そんなに時間はかからないよ。効率的なんだ。
それはいいね！でも、何か弱点とかはあるの？
うーん、まだ限界もあるよ。例えば、ツールの選択がうまくいかないと、間違った情報を集めちゃうかもしれない。あと、Manga109の精度はまだ低いから、漫画のような複雑なレイアウトには課題が残ってる。
なるほどね。でも、全体的にはすごく賢いやり方だと思う！私もこんなエージェントが欲しいな。宿題のレポートを自動で書いてくれたりしないかな？
それはQ-Guideの範囲外だよ。でも、君のレポートの証拠探しには使えるかもね。