要点大規模言語モデル（LLM）…
解説
ねえ智也くん、この「ACORN: アスペクト別常識推論による説明評価」って論文、面白そうだけど、何について書かれてるの？
ああ、これは自由形式の説明をどう評価するか、という問題に取り組んでいるんだ。特に大規模言語モデルを使って、人間の評価者とどれくらい一致するかを調べているよ。
へえ、それで、どんな結果が出たの？
実際には、LLMが人間の評価者の一部を置き換えた場合、一致度は場合によっては保たれるけど、多くの場合は低下したんだ。ただ、最良のシステムではかなり高い一致度を示している。
じゃあ、LLMを使うメリットはあるの？
うん、特に人間の評価者が少ない場合には、LLMを追加の評価者として使うことで、より良い結果が得られる可能性があるよ。
なるほどね！でも、完璧じゃないってことは、まだ改善の余地があるってことだよね？
その通り。この研究はまだ始まったばかりで、これからもっと精度を高める方法を探していく必要があるね。
ふふっ、智也くんがロボットの評価者に置き換わったら、私、困っちゃうな！
大丈夫、亜美さんのような明るい評価者にはかなわないよ。
要点
この論文では、自由形式の説明を評価するための新しいデータセット「ACORN」を紹介しています。
ACORNデータセットには3,500の自由形式の説明と、それぞれの品質に関するアスペクト別の評価が含まれています。
大規模言語モデル（LLM）を使用して、人間の評価者との一致度を比較し、その結果を分析しています。
LLMが人間の評価者の一部を置き換える場合、一致度は保たれることもあれば低下することもありました。
最良のシステムでは、スピアマンの順位相関係数が0.53から0.95の範囲で、平均0.72となり、完全ではないもののかなり高い一致度を示しています。
人間の評価者が少ない場合にLLMを追加の評価者として使用する可能性についても検討しました。
データセットは公開され、将来のLLMを活用した評価の改善に貢献することが期待されます。