AIは世界の文化を理解できてる？最新ベンチマーク『CURVE』が暴くAIの弱点

ああ、Google DeepMindが出した論文だね。簡単に言うと、今のAIがどれだけ「世界の多様な文化」を理解できているかを試すための、新しいテストを作ったっていう話だよ。

あったけど、実は大きな問題があったんだ。これまでのテストは、ほとんどが欧米のデータばかりで、言語も英語が中心だった。だから、AIが「世界中の文化を公平に理解できているか」を正しく測れていなかったんだよ。

まあ、極端に言えばそうだね。そこでこの論文では、世界18の地域から、現地の言葉と文化に詳しい専門家を集めて、2400個もの難しい質問を作ったんだ。自動翻訳じゃなくて、最初から現地の言葉で考えられた問題っていうのがポイントだね。

スポーツ、料理、お祭り、観光、儀式、教育の6つのジャンルだね。動画の長さも1分から、長いものだと1時間もある。AIにとっては、長い動画の内容をずっと覚えておいて、文化的な背景まで考えて答えるのはすごく難しいんだ。

そこがこの論文の面白いところでね。ただ答えを出すだけじゃなくて、どういうステップでその結論に至ったかという「推論トレース」も用意されているんだ。さらに、それを「DAG（有向非巡回グラフ）」っていう論理の地図みたいな形にして分析しているんだよ。

違うよ。論理のステップを矢印でつないだ図のこと。これを使って、AIがどこで間違えたかを特定する「反復的エラー特定（Iterative Error Isolation）」っていう手法を提案しているんだ。間違えたステップにヒントを与えて、どこまでいけば正解できるかを探るんだよ。

いや、それが全然。人間と比べるとかなり低いスコアだった。特に面白かった分析結果は、AIの失敗の約75%が「文化的な要素を正しく見て認識できていないこと」だったんだ。論理的な考え方が下手というより、そもそも何が映っているかの文化的な意味が分かっていないんだね。

それはただの君の趣味でしょ。文化として認められるまで、まずはそのお菓子の歴史でも勉強しなよ。