TL;DR
下流ベンチマーク精度は、小モデルがゼロ点付近だと通常のスケーリング則で外挿しにくい。原論文は正解の一部開示などでベンチマークを易しくする「ヒント」を導入し、ヒント量Hとモデル規模Cの共同則L(C,H)を小モデルで当てはめ、H=0を評価して大モデル精度を予測する。Delphi/GSM8Kでは10^20FLOPs以下で学習したモデルから10^23FLOPsモデルの25.9%を3ポイント以内で予測し、複数モデル系・ベンチマークで中央誤差を21ポイントから4.3ポイントに下げたと報告する。
既存手法との違い
原論文の主な比較対象は、ベンチマーク精度をモデル規模Cだけの関数として当てはめる標準的なスケーリング則。ヒント付き則はHを含む共同則L(C,H)を小モデルの全ヒント水準に当てはめ、H=0の切片で大モデル精度を予測する。Delphi/GSM8Kでは、同じ小モデル群で当てはめた標準則が10^23FLOPsモデルを13ポイント過小予測したのに対し、ヒント付き則は3ポイント以内。標準則を10^22FLOPsモデルまで含めても12ポイント過小だったと報告する。複数モデル系・ベンチマークでは中央絶対誤差が標準則21ポイント対ヒント付き4.3ポイント。順位比較では、ヒント付き1回のロールアウトがヒントなし5回に近い精度でモデル順位を付け、Kendall’s τをAIMEで0.33、HLEで0.27改善したと報告する。
使える条件
原論文の評価対象は、同じ学習方法で規模だけが異なるモデル系（事前学習のDelphiラダー、事後学習済みのQwen2.5/Qwen3/Qwen3.5/Gemma-3系）と、GSM8K・AIME 2025/2026・HLEサブセット。ヒント方法のうちtruncationとmaskingは各問題の参照解が必要で、logit mixingは共有語彙を持つ「意味的に強い教師モデル」が必要。H=0が元ベンチマークになるよう設計され、truncation/maskingはHを0〜1で振り、logit mixingはH∈[0,∞)で教師logitsの混合重みを調整する。本記事は原論文の記述に基づく整理であり、提示本文にないベンチマークやモデル系への適用可否は未知。
限界と未検証の範囲
評価はDelphi/GSM8Kと複数の事後学習モデル系のAIME・HLEに限られ、長期的エージェントタスクや強化学習のスケーリングなどへの一般化は原論文でも今後の期待として述べられるにとどまる。truncation/maskingは参照解が前提で、参照解がないベンチマークにはそのまま使えない。logit mixingは強い教師モデルが必要で、Hを大きくすると教師の影響が支配的になり評価モデル間の差が小さくなる。ヒントはベンチマークを易しくするため、元ベンチマークの意味や難易度を変える可能性があり、モデル順位の保存も経験的傾向であって保証ではない。本記事は追試を行っておらず、数値は原論文の報告値。
解説
ねえ智也くん、この「ヒント付きスケーリング則」って論文、面白そうだけど何が問題なの？
普通のスケーリング則は、小さいモデルの結果から大きいモデルの性能を予測する。でも下流ベンチマークだと小モデルがゼロ点付近で、傾向が読めない。
ゼロだと外挿できないってこと？ じゃあ小さいので練習して大きいのを当てるのが無理じゃん。
そう。そこで正解の一部を見せる「ヒント」でベンチマークを易しくして、小モデルでもゼロより上にする。
ヒントって言ってもカンニングじゃないの？
原論文のヒントは、参照解の最初のH割を渡すtruncation、ランダムにH割だけ残すmasking、強い教師モデルのlogitsを混ぜるlogit mixing。H=0は元のベンチマーク。
なるほど。で、Hとモデル規模Cの両方で精度がなめらかに変わるから、L(C,H)を小モデルに当てはめる？
そう。全ヒント水準の小モデルデータで共同則をフィットして、H=0を評価すれば大モデルの元ベンチマーク精度を予測できる。
具体的にはどれくらい当たるの？
Delphi/GSM8Kで、10^20FLOPs以下のモデルで当てはめて、10^23FLOPsモデルの25.9%を3ポイント以内。標準則は同じ小モデルだと13ポイント過小、10^22まで入れても12ポイント過小。
それはけっこうすごい。複数のモデル系でも？
事後学習モデル系とGSM8K/AIME/HLEで、中央誤差が標準則21ポイントから4.3ポイントに下がったと報告してる。
ヒントでモデル間の差が広がるから、順位付けも少ない試行でいける？
うん。1回のヒント付きロールアウトが、ヒントなし5回に近い精度で順位付け。Kendall's τはAIMEで0.33、HLEで0.27改善。
へえ。じゃあヒントは予測のコストも下げるんだ。
ただし条件はある。truncationとmaskingは参照解が必要。logit mixingは共有語彙の強い教師モデルが必要。
参照解がないベンチマークにはそのまま使えないんだ。
そう。あと評価はDelphi/GSM8Kと複数の事後学習モデル系のAIME・HLEに限られてる。長期的エージェントタスクや強化学習への一般化は今後の期待として述べられてるだけ。
順位が保たれるのも保証じゃなくて経験的な傾向なんだね。
そこは注意。Hを大きくすると教師の影響が支配的になって、評価モデル間の差が小さくなる。あと本記事は追試してないから数値は原論文の報告値。
わかった。要はゼロ点付近でもヒントで傾きを作って、小さいモデルから大きいモデルの下流精度を当てる話だね。原論文は、下流精度の予測やモデル開発の予測タスクを安く正確にする一般の道具になり得ると述べてるってことか。
そういう整理でいい。ただヒントはベンチマークを易しくするから、元の意味や難易度を変える可能性は残る。
私のテストもヒント付きなら将来の成績を予測できるかな？
それは未来の点数じゃなくて、単にカンニングの予測になる。
ちぇー、じゃあヒントなしで頑張る。