解説ねえ智也くん、この論文のタ…
TL;DR
LoRA適応したGemma-3-27B-it（訓練データ480件、2プロンプト）をTOEFL11コーパス（12,100件、11言語、8プロンプト）で評価。全体のバンド一致率77.79%、QWK 0.702と良好な汎化性能を示す一方、欧州言語背景の受験者に高得点、東アジア言語背景に低得点を与える系統的なL1バイアスが確認された。
解説
ねえ智也くん、この論文面白そう！LLMで英作文の自動採点って、どうやってやるの？
うん、Gemma-3-27BっていうモデルをLoRAで軽く学習させてるんだ。訓練データはたった480件で、プロンプトは2パターンだけ使ってる。
え、そんな少ないデータで大丈夫なの？しかもプロンプト2つだけって、すごくシンプルじゃない？
それが意外と汎化してるんだよ。TOEFL11コーパスっていう12,100件のデータで評価して、全体のバンド一致率が77.79%、QWKが0.702だった。
QWKって何だっけ？
重み付きカッパ係数。採点の一致度を測る指標で、0.7以上ならかなり良い方だよ。
へえ、結構使えそうじゃん！でも、何か問題もあるんでしょ？
そう。L1バイアスって言って、受験者の母語によって点数に偏りが出てるんだ。ヨーロッパ言語の人は高め、東アジア言語の人は低めに採点される傾向があった。
あー、それってフェアじゃないよね。でも、どうしてそんなバイアスが出るの？
多分、訓練データに含まれる英語のバリエーションが偏ってるからだと思う。480件のデータだけだと、ヨーロッパ言語話者の英語に似たものばかり学習しちゃった可能性がある。
なるほどね。じゃあ、もっと多様なデータを集めれば改善できるかも？
そう。論文でも、データの多様性を増やすとか、バイアス補正の手法を組み合わせるのが今後の課題って書いてある。
でもさ、たった480件でここまでできるって、AIってすごいね。私もAIに英作文採点してもらおうかな？
やめとけ。お前の英語、東アジアバイアスで低評価されるのが目に見えてる。