そうだよ、亜美さん。正確には、AIが回答を書き始める直前の「内部状態」を調べると、その後に正解するかどうかが予測できちゃうっていう研究なんだ。

まあ、そんな感じかな。AIが質問を読み終わった瞬間の「活性化値」っていう、人間でいう脳の電気信号みたいな数値を取り出すんだ。そこに「線形プローブ」っていう、特定の情報を探し出すための簡単なフィルターをかけるんだよ。

いい例えだね。その虫眼鏡を使うと、文字数とか単語の難しさみたいな表面的な情報よりも、ずっと正確に「あ、これ失敗するな」ってことが分かるんだ。しかも面白いことに、人間が難しいと思う問題と、AIが難しいと思う問題は違うらしいよ。

その通り。特に、AIがじっくり考えて答えを出す「推論型」のモデルになればなるほど、人間との感覚のズレが大きくなるんだ。でも、この「失敗予測」ができると、すごく実用的なメリットがあるんだよ。

……お昼寝はしないけど、似たようなもんだね。「ルーティング」って言って、簡単な問題は安くて速いAIに、難しそうな問題だけ高くて賢いAIに任せるっていう振り分けができるんだ。これで計算コストを最大70%も減らせたんだって。

ただ、課題もあるんだ。AIが長く考えれば考えるほど、実は生成前の状態から「正解できるか」を読み取るのが難しくなっちゃうんだよ。思考が複雑になりすぎて、最初の段階では結果が見えにくくなるのかもね。

今後は、どうすればもっと複雑な思考をするAIの失敗を事前に見抜けるか、っていう研究が進んでいくと思うよ。それができれば、もっと効率的にAIを使えるようになるはずだ。

いや、亜美さんは諦める前にちゃんと勉強してよ。