解説ねえ智也くん、この論文のタ…
TL;DR
オンポリシー蒸留(OPD)では、生徒モデルが繰り返し文を生成して教師と見かけ上一致する「縮退的一致」が起き、学習が失敗することがあります。本論文は、教師と生徒の「不一致」に着目し、生徒過剰トークンには有界なHellinger抑制を、生徒不足トークンには教師のTop-K注入を適用するTIDEを提案。数学推論ベンチマークでAvg@8を6.87%から20.20%に向上させ、応答長も約3.6倍短縮しました。
解説
ねえ智也くん、今日の論文のタイトル、なんか難しそうだね。「TIDE」って何の略？
ああ、TIDEは「Teacher-Injected Distillation with Hellinger suppression」の略だよ。教師モデルと生徒モデルの不一致をうまく使って、蒸留を安定させる手法なんだ。
蒸留って、大きなモデルの知識を小さなモデルに移すやつだよね？でも「不一致」ってどういうこと？
普通の蒸留は教師の出力に生徒を近づけようとするけど、オンポリシー蒸留だと生徒が自分で生成した文を教師と比べるんだ。すると生徒が繰り返し文を生成して、教師と見かけ上一致しちゃうことがある。これを「縮退的一致」って呼ぶんだ。
あー、つまり生徒が「はいはい、わかった」みたいに同じこと繰り返して、教師と似たような文を作っちゃうってこと？それで学習がうまくいかなくなるんだね。
そう。そこでTIDEは、教師と生徒の「不一致」に注目するんだ。生徒が過剰にトークンを生成してる場合は、有界なHellinger抑制を使って過剰な確率を抑える。逆に生徒がトークンを不足してる場合は、教師のTop-Kを注入して正しい方向に導く。
なるほど！つまり、生徒が「やりすぎ」なときはブレーキをかけて、「足りない」ときはアクセルを踏むって感じ？
まあ、そんなイメージだね。これで縮退的一致を防ぎつつ、教師の知識を効果的に取り込めるんだ。
で、実際どれくらいすごいの？評価結果は？
数学推論ベンチマークで、Avg@8が6.87%から20.20%に向上したんだ。しかも応答長も約3.6倍短縮された。つまり、より正確で簡潔な答えを出せるようになったってこと。
え、すごい！じゃあもう完璧な方法ってこと？
いや、まだ限界もあるよ。例えば、教師モデル自体が間違ってる場合は、その間違いを生徒に伝えちゃうかもしれない。あと、Top-KのKの値とか、Hellinger抑制の強さとか、ハイパーパラメータの調整が必要だし、タスクによっては効果が薄いかもしれない。
ふーん、やっぱり万能じゃないんだね。でも、蒸留の失敗を防ぐ新しい視点は面白いなあ。私も研究してみたいかも。
興味あるなら、まずはベースラインのコードを動かしてみるといいよ。
でも、私がやったら「縮退的一致」ならぬ「縮退的混乱」になりそうだな。
それ、教師モデルでも直せないやつだ。