TL;DRこの論文では、現実世…
TL;DR
CoreForgeは、LLM（ChatGPT＋Codex）を用いて論文のみからMaxSATソルバをゼロ構築した実証実験。PM2・MSU3・OLLなどのアルゴリズムを実装し、ファジングやベンチマークで誤答は確認されなかったが、性能は手作りソルバに及ばず、人間による検証と反復が不可欠だった。
解説
ねえ智也くん、このブログのタイトル見て！「LLMで論文からMaxSATソルバを構築」って、すごく面白そうじゃない？
ああ、CoreForgeの話だね。論文の内容だけを頼りに、ChatGPTとCodexでMaxSATソルバをゼロから作ったんだ。
MaxSATって何だっけ？SATの仲間？
そう。充足可能性問題の最大化バージョンで、できるだけ多くの制約を満たす解を探す問題。実用的な応用も多いんだ。
なるほど。で、なんでわざわざLLMに作らせようと思ったの？
論文を読んで実装するのって結構大変で、時間もかかる。LLMがどれだけ正確に再現できるか試したかったんだと思う。
それで、実際にどんなアルゴリズムを実装したの？
PM2、MSU3、OLLっていう三つの主要なアルゴリズム。それぞれ論文の疑似コードをLLMに読ませて、コードを生成させたんだ。
へえ、それでうまく動いたの？
ファジングとベンチマークテストで誤答はゼロだった。つまり、論理的には正しいソルバができたってこと。
すごい！じゃあもう人間いらないじゃん！
いや、そこがポイント。性能は手作りのソルバに全然及ばなかった。最適化や細かいチューニングが足りないんだ。
ああ、動くけど遅いってこと？
そう。それに、論文の解釈ミスや曖昧な部分を人間が修正しないと動かなかった部分もあった。結局、人間の検証と反復が不可欠だったんだ。
なるほどね。でも、ベースラインを自動生成できるってのは大きいんじゃない？
そう。論文の再現性を高める手段として有望だし、実装の初期段階を大幅に短縮できる。ただ、最終的な性能は人間が詰める必要がある。
つまり、LLMは優秀な助手だけど、まだ監督が必要ってわけね。でも、将来はもっと賢くなるかもね！
そうだね。でも、その前に君が論文をちゃんと読めるようになったほうがいいと思うよ。
うっ…痛いところ突かれた。でも、まずはLLMに読んでもらうからセーフ！
それじゃ意味ないだろ。