「できない」を武器にする！AIをゼロから天才に育てる新理論

いや、全然違うよ。これはAI、特に数学やプログラミングみたいに「答えが正しいかすぐわかる」タスクで、どうやって効率よく強化学習を進めるかっていう研究だね。

いいところに気づいたね。今の主流な手法、例えばGRPOとかは、AIにとって「簡単すぎる問題」と「難しすぎる問題」の両方をあんまり重視しないんだ。ちょうどいい難易度の問題ばかりを学習に使おうとする。これを「対称的」な重み付けと呼んでいるんだよ。

その通り。特に、まだ何も知らない状態から学習を始める「from-scratch RL」だと、最初は全部の問題が「難しすぎる」状態なんだ。GRPOだと学習のヒント（勾配）がゼロになっちゃって、全然成長できないことがあるんだよ。

そう。具体的には「Linear-R」とか「Sqrt-R」っていう手法を提案していて、正答率が低い問題ほど大きな重みを与えて学習させるんだ。これなら、全部間違えたとしても「次はこうしてみよう」っていう信号をモデルに送れる。

スパルタというか、効率的な個別指導かな。実験では「TinyZero」っていうカウントダウンパズルを解くタスクで、GRPOが正答率74%で止まったのに対して、提案手法は80%まで伸びたんだよ。

そこが面白いところで、SFTっていう「お手本学習」を済ませた後のモデルだと、従来の手法とあんまり差が出なかったんだ。つまり、この手法は「何も知らない状態から天才を育てる」時に一番パワーを発揮するんだね。

その可能性はあるね。ただ、課題もある。今回は「答えが正しいか」がハッキリわかるタスクだけだったけど、文章の面白さみたいに曖昧なものにどう適用するかはこれからの研究課題だね。

亜美さんの場合は、全科目の重み付けが最大になっちゃうから、結局いつも通り全部教えることになるよ。