ねえ智也くん、この論文のタイト…
解説
ねえ智也くん、この「NExT: 大規模言語モデルにコード実行の推論を教える」という論文、何についてなの？
ああ、これはね、プログラムのコードを理解して、その実行を推論する方法を改善する研究だよ。具体的には、大規模言語モデルがコードの実行トレースを見て、どう動くかを理解するための新しい手法「NExT」を提案しているんだ。
実行トレースって何？
実行トレースは、プログラムが実行されるときにどの行がどう動いて、変数がどう変わるかを示すものだよ。これを理解することで、プログラムがどう動くかをより深く理解できるんだ。
へえ、それで、このNExTはどうやってそれを教えるの？
NExTは自己学習を使って、実行認識の根拠を合成する訓練セットを作るんだ。これにより、モデルが自然言語で推論を行いながら、正しいプログラムの修正方法を学べるようになる。
実験の結果はどうだったの？
実験では、NExTを使ったモデルがプログラムの修正率を大幅に改善したんだ。特に、理由の質も人間の評価者によって高く評価されたよ。
すごいね！これからの応用可能性は？
将来的には、さまざまなプログラミングタスクでこの技術が使われる可能性があるね。ただし、まだ解決すべき課題もあるから、研究は続けられるよ。
ねえ、もしロボットがプログラミングできたら、私たちのバグを直してくれるのかな？
それは、多分ね。でも、その前に君のバグを減らす努力も必要だよ。
要点
この論文では、大規模言語モデル（LLM）がコードの実行を理解し推論する能力を向上させる方法「NExT」を提案しています。
プログラマーがコードのデバッグや修正を行う際に、自然言語でコード実行をシミュレートするスキルが重要ですが、従来のLLMはコードの表層的なテキスト形式のみを学習していたため、実行時のセマンティックな理解が不足していました。
NExTは、プログラムの実行トレース（実行された行の変数状態）を調査し、思考の連鎖（CoT）による推論を通じて、その実行時の振る舞いについて推論することをLLMに教えます。
自己学習を用いて、正確なタスク解決につながる実行認識の根拠を合成する訓練セットをブートストラップします。
プログラム修正タスクにおける実験では、NExTがPaLM 2モデルの修正率を大幅に改善しました。
このモデルは、テスト時にプログラムトレースが存在しないシナリオにも一般化することができます。