ああ、IBMの研究だね。簡単に言うと、会社の中だけで使われている「秘伝のタレ」みたいな特殊なプログラムの書き方を、AIに効率よく教える方法についての論文だよ。

そこが問題なんだ。いくら賢いAIでも、その会社独自のルールや、公開されていない社内ライブラリの使い方は知らないだろ？だから、そのまま使うと見当違いなコードを出しちゃうんだよ。

そう。これまでの方法は、コードを適当な長さで区切って学習させてたんだけど、それだと意味が通じないところで切れちゃうことがあったんだ。セマンティックスコープは、関数のまとまりとか、意味のあるブロック単位でコードを切り出す手法のことだよ。

……まあ、例えとしては悪くないかな。そうやって意味のある単位で学習させることで、AIは「どこでコードを書き終えるべきか」も学べるんだ。だから、余計なことをダラダラ書かずに、ピタッと正確な補完ができるようになる。

この論文では「ファインチューニング（FT）」と「RAG」の2つを試しているよ。FTはAI自体を書き換えて覚えさせる方法、RAGは辞書を引かせる方法だね。結果として、セマンティックスコープを使ったFTが一番成績が良かったんだ。

そうなんだ。企業にとっては、自社のサーバーで安く速く動かせるっていうのは大きなメリットだからね。この研究は、特定の分野に特化させるなら、モデルの大きさよりも「データの質と切り出し方」が重要だってことを証明したんだよ。

その可能性は高いね。ただ、課題もある。今回はJavaとC++で試したけど、他の言語でも同じようにうまくいくかとか、コードが更新された時にどうやって自動で学習し直すか、といった運用面での研究がもっと必要だね。

君の場合は、まずお弁当を食べるスピードを「セマンティック」に制御するところから始めたらどうだい？

亜美、それはカエルじゃなくて『グレップ・ラグ』って読むんだ。プログラミングで特定の文字列を検索する「grep」っていうツールを、AIの回答精度を高めるRAGに組み合わせた研究だよ。

いい質問だね。巨大なプログラムを作るときは、何千ものファイルがバラバラにあるんだ。LLMは一度に読める量に限界があるから、全部のファイルを把握するのは無理なんだよ。だから、今書いているコードに関係がある部分を「検索」して持ってくる必要があるんだ。

あったよ。でも、今までの手法は「グラフ構造」を解析したり「ベクトル検索」っていう複雑な準備が必要で、検索に40秒以上かかることもあったんだ。プログラミング中に40秒も待たされたら、やる気なくなっちゃうだろ？

いや、単純すぎると問題もあるんだ。例えば「init」みたいなよく使われる言葉で検索すると、関係ないコードが大量にヒットして、AIが混乱しちゃうんだよね。これを「キーワードの曖昧さ」って言うんだ。

そこで提案されたのが『GrepRAG』だ。まず、検索結果の中で「クラス名」や「関数名」みたいな重要な言葉に重みを付けて並べ替える「再ランク付け」を行う。さらに、バラバラに見つかったコードの断片を、構造を考えて綺麗に繋ぎ合わせる「重複排除」っていう処理を加えたんだ。

そうだね。実用性がすごく高いから、VSCodeみたいなエディタにすぐ導入されるかもしれない。ただ、まだ課題もあって、検索キーワードをLLMが上手く作れない場合や、検索に引っかからない「隠れた依存関係」には弱いんだ。これからは、もっと賢い検索クエリの作り方が研究されると思うよ。

それはAIじゃなくて、自分の部屋を片付ける「構造化」から始めたほうがいいと思うよ。

……そんなわけないだろ。これはリポジトリ、つまりプロジェクト全体の膨大なコードの中から、今書いているコードに本当に必要な情報を探し出す技術の話だ。

それが難しいんだ。今のAIは今開いているファイルの中身はわかるけど、別のファイルにある独自の関数やルールを見つけるのが苦手なんだよ。これまではRAGっていう検索技術を使ってたけど、2つの大きな問題があったんだ。

1つは『探し方が下手』なこと。書きかけのコードだけを検索ワードにしても、本当に必要なコードに含まれるキーワードが入っていないことが多いんだ。これを『クエリとターゲットの不一致』と呼ぶ。もう1つは、検索エンジン自体がコードの文脈を理解して学習していないことだ。

まあ、例えとしては悪くないな。そこでAlignCoderは、まずAIに『続きのコードをいくつか予想』させるんだ。その予想図を検索ワードに混ぜることで、検索のヒントを増やす『クエリ拡張』を行うんだよ。

強化学習を使うんだ。検索エンジンが持ってきたコードを使ってAIが正解を書けたとき、その検索エンジンに『報酬』を与える。具体的には『パープレキシティ（PPL）』っていう、AIの納得感を示す数値を使って、納得感が高いほど良い検索だったと判断して学習させるんだ。

将来性は高いな。ただ、課題もある。何度もコードを生成するから計算に時間がかかるし、生成しすぎると逆にノイズが増えて精度が落ちることもあるんだ。最適な生成回数を見極める必要があるな。

ああ、それはAIにプログラミングを手伝ってもらう時に、ただコードを完成させるだけじゃなくて、人間の細かい注文をどれだけ守れるかっていう話だよ。

それが意外と難しいんだ。今までのAIの評価テストは「書いたコードがエラーなく動くか」しか見てなかったんだよ。でも実際の開発では「このアルゴリズムを使って」とか「3行以内で短く書いて」っていう制約が大事になるだろ？

例えは極端だけど、まあそういうことだね。この論文では、その「指示を守る能力」を測るために『C3-Bench』っていう新しいテストセットを作ったんだ。

大きく分けて2つあるよ。1つは『ICC』。これは「特定のデータ構造を使え」とか「例外処理を入れろ」っていう、中身の書き方を指定するテスト。もう1つは『SCC』で、これは「1行だけ書け」とか「if文のブロックだけ作れ」っていう、コードの長さを指定するテストだね。

40種類以上のモデルで実験したんだけど、面白い結果が出たよ。オープンソースのモデルは、普通のテストだとGPT-4みたいな高い性能を出すのに、この『指示を守るテスト』になると急に点数が下がっちゃうんだ。

はは、言い得て妙だね。既存のテストに特化して学習しすぎて、柔軟な指示への対応力が足りない可能性があるんだ。そこで著者たちは、Qwen2.5-Coderっていうモデルを使って、指示とコードがセットになった学習データを自動で作る仕組みを開発したんだよ。

今後はもっと複雑な指示、例えばプロジェクト全体のルールを守らせるような研究が進むだろうね。ただ、まだ完璧じゃない。指示が矛盾してたり、すごく長いコードだったりすると失敗することもあるから、そこがこれからの課題かな。