解説ねえ智也、この論文のタイト…
TL;DR
4つのフロンティアAI(Claude, Codex, Grok, Gemini)をコード実行で公平にランク付けし、協調して検証可能な問題セットを構築。模倣学習(SFT)は既に有能なコード学生をむしろ劣化させる一方、同じ問題を強化学習(RLVR)環境として使うと学生の競技プログラミング性能が+49%向上。教師の価値は「答えの寄せ集め」ではなく「検証可能な環境の共同構築」にある。
解説
ねえ智也くん、このブログのタイトル面白いね!「競合→協調」ってどういうこと?
ああ、4つのフロンティアAIモデルを競わせてランク付けした後、協力して問題セットを作るって話だよ。
へえ、どんなモデルが出てきたの?
Claude、Codex、Grok、Geminiの4つ。コード実行で公平に評価して、Claudeが一番良かったみたい。
なるほど。でもそれって普通のベンチマークと変わらなくない?
そこが面白いところ。ランク付けが目的じゃなくて、その後で4つのモデルが協調して検証可能な問題セットを作るんだ。
検証可能ってどういうこと?
コードを実行して正解かどうか自動で判定できる問題ってこと。競技プログラミングの問題みたいなものだよ。
あ、それで「コード学習」ってタイトルにあるんだね。で、その問題セットを使って何をするの?
学生モデルを学習させるんだ。面白いのは、模倣学習(SFT)と強化学習(RLVR)を比較してるところ。
模倣学習って、教師の答えをそのまま真似させるやつだよね?
そう。でも結果は意外で、既に有能なコード学生にSFTをやるとむしろ性能が下がったんだ。
え、真似すると悪くなるの?
うん。一方で同じ問題をRLVR環境として使うと、競技プログラミングの性能が49%も向上した。
49%!それはすごいね。でもなんでSFTはダメなの?
論文では、教師の答えが完璧じゃない場合、模倣するとそのノイズを学習しちゃうからって考察してる。RLVRだと自分で試行錯誤できるから良いんだろうね。
なるほど。つまり教師の価値は「答えを教えること」じゃなくて「問題を作ること」にあるってこと?
まさにそれ。タイトルにもある「検証可能な環境の共同構築」が大事って結論だよ。
でもさ、4つのモデルで問題作るのってコストかからない?
確かに。そこは限界の一つで、もっと効率的な方法が必要かもね。あと、この結果が他の分野でも同じかはわからない。
ふーん…でも「AIにAIを教えさせる」ってなんかSFみたいでワクワクするね!
そうだね。でも次は君が自分でコード書いてみたら?模倣じゃなくてさ。
あはは、それってRLVRで学習しろってこと?私は人間だからSFTでいいや~
…その冗談、論文に載せたいくらいだよ。