TL;DREMBL AI LI…
TL;DR
LLMが生成する形式仕様の品質を、テストケースへの証明可能性で評価するCOINSを提案。HumanEval全164問で人手仕様と比較し、モデル間で大きな性能差（最高28.05%〜最低1.22%）を確認。仕様生成は依然困難で、評価方法の設計がモデル規模より重要と示した。
解説
ねえ智也くん、このCOINSって論文、タイトルからして難しそうだけど、要するに何をしたの？
LLMが生成する形式仕様の品質を測る新しい評価方法を提案したんだ。形式仕様っていうのは、プログラムの正しさを数学的に記述したものだよ。
形式仕様？なんか堅苦しいね。でもなんでそれを評価する必要があるの？
LLMにコードを生成させるのは流行ってるけど、そのコードが本当に正しいかどうかを保証するには、仕様が必要なんだ。でも、LLMが生成する仕様がどれだけ正確かは、これまでちゃんと評価されてなかった。
なるほど。で、COINSはどうやって評価するの？
生成された仕様を使って、テストケースを証明できるかどうかで評価するんだ。つまり、その仕様が正しければ、テストケースを論理的に導けるはず、という考え方。
あー、つまり仕様がちゃんとしてれば、テストも通るってこと？でもそれって当たり前じゃない？
そうでもないんだ。仕様が曖昧だったり間違ってたりすると、テストケースを証明できない。COINSはその証明可能性をスコアにするから、仕様の質を客観的に測れるんだよ。
ふーん。で、実際に試した結果はどうだったの？
HumanEvalの全164問で、人手で書いた仕様と比較したんだ。モデルによって性能差が大きくて、最高で28.05%、最低で1.22%だった。
え、そんなに差があるの？やっぱりモデルによって得意不得意があるんだね。
そう。でも重要なのは、モデル規模が大きいほど良いわけじゃないってこと。評価方法の設計が大事だって示されたんだ。
へえ、じゃあCOINSみたいな評価方法がもっと増えれば、LLMの性能も正しく比較できるようになるんだね。
うん。ただ、まだ限界もある。HumanEvalは小規模な問題だから、実際の大規模システムには適用しにくいかもしれない。
なるほどね。でも、仕様生成が難しいってのはよくわかったよ。私には到底無理そうだわ。
まあ、君が仕様を書くより、LLMに任せた方がまだマシかもしれないけどね。