ねえ智也、この論文のタイトル見…
解説
ねえ智也くん！この『Towards On-Policy SFT』っていう論文、タイトルがかっこいいから気になっちゃった！「オンポリシー」って何のこと？
ああ、それはAIの学習方法に関する重要な概念だよ。簡単に言うと、モデルが「自分自身のやり方」で学習することを指すんだ。今の主流な学習法であるSFTには、実は大きな弱点があるんだよ。
えっ、SFTって頭が良くなる魔法の練習じゃないの？弱点なんてあるんだ！
SFTは効率はいいんだけど、外部のデータを無理やり覚え込ませるから、モデルが元々持っていた知識を壊しちゃうことがあるんだ。これを「破滅的忘却」って呼ぶよ。一方で強化学習（RL）は、モデルが自分で考えた回答を使うから、自然に賢くなれる。でもRLは計算がすごく大変なんだ。
なるほどねー。無理やり詰め込み教育をするのがSFTで、自分で考えて伸びるのがRLってことか！じゃあ、この論文はそのいいとこ取りをしようとしてるの？
その通り。彼らは「分布判別理論（DDT）」という理論を作って、あるデータがモデルにとって「自然（インディストリビューション）」か「不自然（アウトオブディストリビューション）」かを数学的に見分ける方法を考えたんだ。
数学的に見分ける……？どうやって？
「中心化対数尤度（CLL）」っていう指標を使うんだ。単にその言葉が出やすいかだけじゃなくて、モデルの「迷い（エントロピー）」も考慮して計算する。これで、モデルにとって「あ、これ知ってる！」っていうデータかどうかを判定するんだよ。
へぇー！モデルさんの「得意・不得意」を数値にするんだね。それで、どうやって教えるの？
具体的な手法は2つある。1つは「IDFT」。学習中に、モデルにとって不自然すぎるデータが出てきたら「これはノイズかも」と判断して、学習の強さを自動で弱めるんだ。逆に得意なデータはしっかり定着させる。
それって、先生が「ここは難しいから聞き流していいよー」って言ってくれるみたいな感じ？
まあ、そんな感じかな。もう1つは「Hinted Decoding」。これは、正解の答えをそのまま覚えさせるんじゃなくて、モデルに「自分の言葉で正解を書き直させる」手法だよ。自分の言葉にするから、モデルの頭に馴染みやすくなるんだ。
あ、それ私やってる！教科書を自分のノートにまとめ直すやつだ！それで、効果はあったの？
すごい効果だよ。実験では、DPOっていう有名な強化学習の手法と同じくらい賢くなったのに、計算コストはSFTみたいに低く済んだんだ。数学やコードの問題で特に高い性能が出ているよ。
すごーい！じゃあ、これからは高いスパコンがなくても、賢いAIが作れるようになるってこと？
そうだね。強化学習が難しい分野でも、この手法なら効率的にモデルを強化できる可能性がある。ただ、課題もあるんだ。ベースとなるモデルがある程度賢くないと、自分の言葉で書き直すこと自体ができないからね。
そっかー、元々の地頭は必要なんだね。でも、AIの学習がもっと「自然」になるのはワクワクするね！
うん。今後は、もっと複雑な対話や、データが少ない分野への応用が期待されているよ。AIが自分の限界を知りながら効率よく学ぶ、っていうのは大きな一歩だと思う。
よーし、私もIDFTを使って、智也くんの難しい話は自動で聞き流すことにするね！
それはただの「無視」だろ。ちゃんと聞いてくれよ。
要点
- SFT（教師あり微調整）は効率的だが、RL（強化学習）に比べて汎化性能が劣るという課題がある。これはRLがモデル自身の出力（オンポリシーデータ）を使うのに対し、SFTは外部データに無理やり合わせるためである。
- モデルの内部分布とデータがどれだけ一致しているかを定量化する「分布判別理論（DDT）」を提案。その指標として「中心化対数尤度（CLL）」が最適であることを数学的に証明した。
- DDTの応用として、損失関数を調整する「IDFT（インディストリビューション・ファインチューニング）」を提案。モデルにとって不自然なデータ（ノイズや難解すぎるもの）の学習を抑制し、破滅的忘却を防ぐ。
- データレベルの応用として「Hinted Decoding」を提案。正解のヒントを与えつつモデル自身の言葉で回答を書き直させることで、学習データをモデルの分布に適合させる。
- 実験の結果、提案手法はDPOやSimPOといった最新の強化学習手法と同等の性能を、SFT並みの低コストで実現できることが示された。