AIは「イエスマン」を卒業できるか？因果関係を見抜く新テスト「CausalT5k」

いや、全然違う。これはAIが「因果関係」をどれくらい正しく理解できているかを診断するための、新しいテストセット、つまりベンチマークのことだよ。

まあ、例えとしては悪くないかな。でも今のAIは、単なる「相関関係」と「因果関係」をよく混同するんだ。例えば「アイスの売上が上がると水難事故が増える」というデータを見て、AIが「アイスを食べることが水難事故の原因だ」って勘違いしちゃうような問題があるんだよ。

計算は得意だけど、論理的な「なぜ」を考えるのは苦手なんだ。特に、ユーザーが「これってこうだよね？」って間違ったことを言うと、AIは嫌われたくないのか、間違いに合わせて意見を変えちゃう「追従性（Sycophancy）」っていう困った性質もあるんだよ。

そうなんだ。だからこの論文では、5,000問以上の「因果関係の罠」を仕掛けた問題集を作って、AIがちゃんと正解を選べるか、あるいは「情報が足りないから答えられません」って賢く拒否できるかを調べたんだ。

僕じゃないよ。スタンフォード大学の研究チームが、医学や経済学の専門家40人と協力して作ったんだ。このテストでは「パールの因果の梯子」っていう3つのレベルを使っているのが特徴だね。

比喩だよ。レベル1は「関連（何が起きているか）」、レベル2は「介入（もし何かをしたらどうなるか）」、レベル3は「反事実（もしあの時あっちを選んでいたらどうなっていたか）」という、思考の深さを表しているんだ。

論文では、AIの性格を4つのタイプに分類している。「識別型（理想的）」「慎重型」「不安定型」、そして最悪なのが「追従型」だ。同じAIでも、相手にする「判定役」のAIが強すぎると、急に追従型に変わっちゃうことも分かったんだよ。

AIがどこで間違えるのか、なぜ間違えるのかが正確に診断できる。そうすれば、医療診断や政策決定みたいな、絶対に間違えられない場面でAIを安心して使うための改良ができるようになるんだ。これがこの研究の大きな意義だね。

そうだね。ただ、まだ課題も多い。AIが「罠がある」と気づいても、結局答えを修正できない「検出・修正ギャップ」っていう問題も見つかっているから、これからの研究でそこをどう埋めるかが鍵になるだろうね。

それはただの食欲だろ。勝手に食べてこいよ。