AIの知識がケンカしたら？画像を見て矛盾を解決する新手法「CC-VQA」のひみつ

ああ、亜美さん。これは、画像を見て質問に答えるAIの研究だよ。でも、ただ答えるんじゃなくて、AIが持ってる知識と、外部から調べてきた知識が食い違った時に、どうやって正しい答えを出すか、って問題に取り組んでるんだ。

そうなんだ。例えば、AIに『このキノコは食べられる？』って画像付きで聞いたとする。AIは事前学習で『この形のキノコは毒』って学んでるかもしれない。でも、調べてきた百科事典の情報には『このキノコは食用』って書いてある。これが知識の衝突だ。

その通り。今までの方法は、主に文章だけの質問応答で考えられてて、画像の情報をうまく使えてなかった。それに、調べてきた文章が長すぎて、関係ない情報（ノイズ）が多すぎる問題もあった。

この手法は大きく2つのステップがある。まず1つ目が『視覚中心の文脈矛盾推論』。AIの内部知識と、外部から取ってきた知識の両方を、画像の視点から分析するんだ。例えば、キノコの画像の『柄の模様』や『傘の形』に注目して、両方の知識がその視覚的特徴をどう説明してるか比べて、矛盾点をはっきりさせる。

そう。そして2つ目が『相関性に基づくエンコーディングとデコーディング』。これはちょっと難しいけど、要は、質問と関係が薄い情報は軽く扱って、関係が深い情報に集中しよう、ってこと。

例えば、キノコについて調べた文章の中に、そのキノコが生える森林の歴史の話が延々と書いてあったりする。それは今の質問『食べられる？』には直接関係ないよね。そういう部分は、AIが処理する時に重要度を下げて、キノコの毒性や味の部分に集中させるんだ。

3つの標準的なデータセットで実験した結果、既存のどの方法よりも精度が高くて、特に知識が衝突している難しいケースで3.3%から6.4%も正解率が上がった。しかも、新しいデータで学習し直す必要がないから、既存のAIに後から組み込めるのも利点だ。

そうだね。ただ、まだ課題はある。この方法は、AIが自分の内部知識を文章としてうまく引き出せる（外部化できる）ことに依存してる。もしAIが間違った知識を自信満々で文章にしたら、そこから間違った分析が始まっちゃう可能性もある。

そう思う。あと、もっと複雑で動画のような連続した画像への応用とか、リアルタイムで答えを出さなきゃいない場面での速度の問題にも挑戦していくんだろうね。

…まあ、そう言えなくもないけど、まだまだ単純化された仕組みだよ。君が『よく考えて』るのとはレベルが違うから。