ねえ、智也くん！この論文のタイトル、面白そうだね！『ブラジルの標準化された国家試験におけるLLMアーキテクチャの行動を調査する』って。内容を教えてくれない？

もちろん！この論文は、ブラジルのENEMテストのデータを使って、LLMの性能を評価しているんだ。ENEMは大学入試に必要な重要なテストで、数学や人文科学、自然科学、言語の問題があるんだよ。

へぇ、そうなんだ！それで、どんなことを調べたの？

人間の回答を社会経済的地位、つまりSESでグループ分けして、LLMの回答と比較したんだ。具体的には、GPT-3.5、GPT-4、そしてポルトガル語データで訓練されたMariTalkモデルを使ったよ。

なるほど！それで、結果はどうだったの？

選択肢問題に関しては、LLMと人間の回答に有意なバイアスは見られなかったんだ。つまり、モデルの回答は人間の回答と大きく異ならなかったということだね。

それはすごいね！でも、どうしてそうなったの？

モデルの回答と人間の回答の距離は、主に人間の正確さによって決まることがわかったんだ。つまり、もし人間が正確に答えられれば、モデルもそれに近い回答をするということだよ。

なるほど！この研究の意義は何だと思う？

この研究は、AIが人間の回答とどのように関連しているかを理解する手助けになるし、将来的には教育やテストの改善に役立つ可能性があるんだ。

でも、何か課題はあるの？

そうだね、LLMのバイアスや限界についてはまだ研究が必要だし、今後の研究ではその方向性を探ることが重要だと思う。

じゃあ、智也くんもENEMを受けたら、AIと同じくらいの点数が取れるかな？

いや、僕はAIには勝てないかもね。少なくとも、僕の頭の中はAIほど整理されてないから。

要点

ブラジルの大学入試に必要なENEMテストのデータを使用して、LLMの性能を評価した。

人間の回答を社会経済的地位（SES）でグループ分けし、LLMと比較した。

GPT-3.5、GPT-4、ポルトガル語データで訓練されたMariTalkモデルを使用した。

選択肢問題において、LLMと人間の回答に有意なバイアスは見られなかった。

モデルの回答と人間の回答の距離は主に人間の正確さによって決まることがわかった。

参考論文: http://arxiv.org/abs/2408.05035v1

The post AIとテストの不思議な関係！ first appeared on 亜美と智也のAI論文解説.