AIのカンニングを許さない！教科書から無限に問題を作る新テスト『Encyclo-K』

ああ、それはAIの能力を測る新しいテスト方法についての論文だよ。今のAIテストが抱えてる大きな問題を解決しようとしてるんだ。

勉強というか、学習だね。でも今のテストは、AIがネット上の問題と答えを丸暗記しちゃう『データ汚染』っていう問題があるんだ。カンニングみたいなものだね。

だからこの論文では、問題を固定せずに、テストのたびに新しく作る『動的評価』を提案してるんだ。教科書から正しい知識の文章を抜き出して、それをバラバラに組み合わせて問題を作るんだよ。

まず教科書から正しい知識の文章を集める。次に、別のAIを使って『もっともらしい嘘の文章』を作るんだ。それらをランダムに8個から10個混ぜて、『どれが正しいか選べ』っていう問題にするんだよ。

いや、それがめちゃくちゃ難しいんだ。1つの問題にたくさんの知識が詰まってるから、ちゃんと内容を理解して、複数の情報を整理できないと解けない。専門家がいなくても安く大量に問題が作れるのもメリットだね。

かなり苦戦してたよ。最新の凄く賢いGPT-5.1でも、正解率は62％くらい。普通のチャット用AIだと10％から50％くらいまで落ちるんだ。

それだけこのテストが、AIの本当の理解力をシビアに測れてるってことだね。丸暗記が通用しないから、これからのAI研究の新しい指標になるはずだよ。

そうだね。ただ、まだ教科書に載ってない最新のニュースとかには対応しにくいっていう課題もあるけど、知識の深さを測るには最高のツールだよ。

それはただのクイズだし、選択肢が多すぎて動的評価以前の問題だろ。早く勉強に戻れよ。