LLMは人間レベルのコードリファクタリングを発見・実行できるか？CODETASTEベンチマークで検証

ああ、CODETASTEベンチマークの話だな。動機はシンプルで、LLMがどれだけリファクタリングの「発見」と「実行」を自律的にできるか、定量的に評価したかったんだ。

方法は二段階ある。まず「提案」タスク。改善が必要なコードだけ与えて、人間が選んだようなリファクタリングをLLMが自力で発見できるか。次に「実装」タスク。具体的なリファクタリング方法を指示して、それを正確にコードに反映できるか。

評価結果は対照的だった。実装タスクでは、最先端のLLMエージェントが詳細な指示があれば、複雑なリファクタリングも約70%一致するレベルで実行できた。

しかし、提案タスク、つまり「どこをどう直すべきか」を自律的に発見するのは極めて難しかった。人間が選んだリファクタリングを発見できたのは8%未満。

そう。この結果の意義は、リファクタリングの「提案」と「実装」は別の能力で、現状のLLMは後者に特化していることを示した点だ。だから、人間が改善点を提案してLLMに実装させる、という分業アプローチが現実的だと結論づけている。

限界は主に二つ。一つは、ベンチマークが特定のリファクタリングパターンに依存していること。もう一つは、コードの文脈やチームのコーディング規約といった、より高次で曖昧な判断を必要とするリファクタリングは評価できていないことだ。

…その比喩は、意外と的を射ているな。