解説ねえ智也、この論文のタイト…
TL;DR
8Bの推論モデル(DeepSeek-R1)から0.6Bの小モデル(Qwen3)へ知識蒸留し、ニュース記事の構造化抽出(要約＋5ラベル)をオンデバイスで高速実行。教師は39秒/記事に対し生徒は0.8秒。要約品質は教師とのギャップの58%を回復し、制約付きデコードより+16.8点高い。しかし、教師の種類で得意分野が異なる：推論教師は文章力、大規模パイプラインはラベル多様性、同サイズ非推論教師は短い記事への忠実性で優れる。単一のモデルですべての項目を最適化できないため、項目ごとに最適なエンジンを割り振るルーティングマップを提供する。
解説
ねえ智也くん、このブログのタイトル見てびっくりしたんだけど、8Bの教師から0.6Bの生徒に蒸留って、まるでサイズ違いのAIが師弟関係みたいだね！
ああ、知識蒸留ってやつだ。大きなモデルが教えて、小さなモデルが学ぶ。この研究ではDeepSeek-R1っていう8Bの推論モデルを教師にして、Qwen3の0.6Bモデルにニュース記事の構造化抽出を教えてるんだ。
構造化抽出って、要約とラベル付けみたいなやつ？
そう。要約に加えて5つのラベルを予測するタスク。教師は1記事あたり39秒かかるけど、生徒は0.8秒で終わる。オンデバイスで動かすにはこの速度が重要だ。
え、0.8秒ってめっちゃ速い！でも品質は落ちちゃうんじゃないの？
要約品質は教師とのギャップの58%を回復してる。制約付きデコードより16.8点高いスコアを出してるから、結構優秀だよ。
58%か…でもまだ完全じゃないんだね。それに、教師の種類によって得意分野が違うって書いてあったけど？
そう。推論教師は文章力に強くて、大規模パイプラインはラベルの多様性で勝る。同サイズの非推論教師は短い記事への忠実性が高い。単一モデルでは全部を最適化できないんだ。
じゃあ、どうするの？
そこでルーティングマップを提供してる。項目ごとに最適なエンジンを割り振る仕組みだ。例えば要約は推論教師から学んだモデル、ラベル多様性は大規模パイプラインから学んだモデル、みたいに。
なるほどねー。でも、それって結局複数のモデルを使うってことでしょ？オンデバイスって軽さが売りなのに、複数積むのは大丈夫なの？
良い指摘だ。そこがこの研究の限界の一つだね。ルーティング自体のオーバーヘッドや、モデル切り替えのコストが考慮されてない。あと、教師モデルの選び方ももっと探求の余地がある。
ふーん…でも、小さなモデルでもここまでできるんだったら、将来はスマホの中に先生が何人も住んでるみたいな感じになるのかな？
「スマホの中の小さな学校」か…でも、先生が多すぎて生徒が混乱しないようにしてくれよ。