ねえ、トモヤくん！この論文のタイトル『合成編集シーケンスでの言語モデルのトレーニングがコード合成を改善する』って面白そうだね！内容を教えてくれる？

もちろん！この論文は、ソフトウェアエンジニアが既存のコードを編集してプログラムを書くのに対して、LLMはプログラムを一度に合成するという違いに注目しているんだ。

へぇ、そうなんだ。でも、なんでLLMはコードを合成するのが難しいの？

それは、高品質な編集データが不足しているからなんだ。そこで、著者たちはLintSeqという合成データ生成アルゴリズムを開発したんだよ。

LintSeqって何？

LintSeqは、既存のコードをリファクタリングして、エディットシーケンスを生成するんだ。具体的には、エラーのない挿入を使ってプログラムを段階的に書くためのテキスト文字列を出力するんだ。

なるほど！それで、どんな実験をしたの？

実験では、小型のLLMをリファクタリングしたデータセットでファインチューニングして、コード合成のベンチマークでのパフォーマンスを比較したんだ。

結果はどうだったの？

結果として、合成エディットシーケンスでファインチューニングしたモデルは、より多様なプログラムを生成できて、HumanEvalのテストではGPT-4に匹敵する性能を示したんだ。

すごい！それって将来どんな応用が考えられるの？

将来的には、より効率的なコード生成ツールや、プログラミング教育の支援に役立つかもしれないね。ただ、まだ課題もあって、特に編集データの質や量が重要なんだ。

なるほど、課題もあるんだね。でも、トモヤくんの話を聞いて、すごく面白かった！

そう言ってもらえると嬉しいよ。これからも勉強していこう。

そうだね！でも、私もコードを合成するのは難しそうだな。まるで料理のレシピみたいだね！

確かに、でも料理は失敗しても食べられるから、コードよりは優しいかもね。

要点

ソフトウェアエンジニアは既存のプログラムを編集することでコードを書くが、LLMはプログラムを一度に合成する。

高品質な編集データが不足しているため、合成データ生成アルゴリズムLintSeqを開発した。

LintSeqは既存のコードをリファクタリングし、エディットシーケンスを生成する。

小型のLLMをリファクタリングしたデータセットでファインチューニングした結果、より多様なプログラムを生成できることがわかった。

HumanEvalのテストでは、合成エディットシーケンスでファインチューニングしたモデルがGPT-4に匹敵し、ベースラインよりも20%向上した。

150Mパラメータの小型モデルが、CodexやAlphaCodeよりも優れた性能を示した。

参考論文: http://arxiv.org/abs/2410.02749v1

The post 合成データでコード生成が進化する！？ first appeared on 亜美と智也のAI論文解説.