サンダルじゃないよ。FLOPs（フロップス）は計算量の単位のこと。AIを動かすために使った膨大な計算パワーを無駄にせず、再利用しようっていう研究なんだ。

実は、AIに難しい数学やプログラミングの問題を解かせる強化学習って、すごく効率が悪いんだ。難しすぎるとAIが一度も正解にたどり着けなくて、何を学べばいいか分からず立ち往生しちゃうんだよ。

そう。その「白紙で固まる」状態を防ぐために、過去にたまたま正解した時のデータや、他のモデルが解いた時の「正解までの途中経過」をヒントとして再利用するのがこの論文の肝なんだ。

それが意外とダメなんだよね。丸暗記させる手法をSFT（教師あり微調整）って言うんだけど、それだとAIが「自分で考える」のをやめて、多様性がなくなっちゃう。かといって、無理やり正解に導こうとすると学習が不安定になるんだ。

そこで『PrefixRL』の出番。正解データの「最初の数行（接頭辞）」だけを問題にくっつけて、そこから先はAIに自力で解かせるんだ。これを「オンポリシー」の強化学習って言うんだけど、自分の力で最後まで解き切ることで、学習がスムーズに進むようになる。

その通り。これによって、AIは「正解に近い状態」からスタートできるから、効率よく学習できるんだ。しかも面白いのが『バック汎化』っていう現象。ヒント付きの問題で練習しただけなのに、なぜかヒントがない元の難しい問題も解けるようになるんだよ。

従来の手法と比べて、同じ正解率に達するまでのスピードが2倍速くなった。しかも、最終的な正解率は3倍以上もアップしたんだ。別の種類のAIが作ったヒントを使っても効果があったから、かなり汎用性が高いよ。

将来性はかなりあるね。今まで捨てられていた「過去の計算結果」を全部学習の糧にできるわけだから。ただ、課題もある。そもそも「一つも正解データがない」ような超難問には使えないし、どの程度の長さのヒントが最適かっていう調整も必要だね。

亜美さんの場合は、バック汎化する前にそのまま寝ちゃいそうだからダメ。自分の力でやりなさい。