解説ねえ智也くん、この論文のタ…
TL;DR
WrAFTは、TOEFLのアーギュメンティブ・エッセイを対象に、スコアリング・表層フィードバック・深層フィードバックをモジュール化した自動評価システムです。LLaMA-3.3-70B-InstructやGPT-4oなどのLLMを評価し、スコアリングではQWK 0.84、RMSE 0.44（0-5点スケール）を達成。フィードバックの人間評価でも高い承認率（表層96.14%、深層マクロ93.03%、深層ミクロ94.69%）を得ています。Webアプリとして無料公開中。
解説
ねえ智也くん、このWrAFTって論文、面白そうだね！自動で英作文を評価してくれるシステムなんでしょ？
うん、TOEFLのアーギュメンティブ・エッセイ向けに作られた自動評価システムだよ。スコアリングとフィードバックをモジュール化してるのが特徴。
モジュール化ってどういうこと？
スコアをつける部分と、表面的なフィードバック（文法とか語彙の指摘）と、深いフィードバック（論理構成とか主張の強さ）を別々のモジュールで担当してるんだ。それぞれに適したLLMを使えるようにしてる。
へえ、それでどんなLLMを試したの？
LLaMA-3.3-70B-InstructとかGPT-4oとか、いくつかのモデルを評価してる。スコアリングではQWKが0.84、RMSEが0.44（0-5点スケール）って結構良い結果だった。
それってどのくらいすごいの？
人間の評価者とほぼ同等の一致度って言われてるよ。特にQWKが0.8超えてるのはかなり信頼できるレベル。
フィードバックの方はどうなの？
人間が評価したところ、表層フィードバックは96.14%、深層のマクロ（全体構成）は93.03%、深層のミクロ（個別の論点）は94.69%の承認率だった。かなり高いね。
すごい！でも、完璧じゃないんでしょ？限界とかあるの？
そうだね。まず、評価に使ったデータセットがTOEFLの特定のタイプのエッセイだけだから、他の形式にはそのまま使えない。あと、LLMの出力にバイアスが入る可能性もあるし、フィードバックの質はモデルによってばらつきがある。
なるほどね。でも無料で公開されてるんでしょ？すごく便利そう！
うん、Webアプリとして公開されてるから、誰でも試せるよ。
じゃあ私も今度使ってみようかな。でも、AIに作文直してもらうのってちょっとズルい気もするね（笑）
使うのは自由だけど、その分自分で考える力は鍛えられなくなるかもね。