TL;DR

標準のsoftmax/log-softmax/交差エントロピーには2つの数値バグがある。提案実装は最大値やターゲットを和から除外し、蒸留時はq-pをログ空間で直接計算する。これによりSlingshotを消し、重み減衰ありのgrokkingを速め、重み減衰なしの精度崩壊と蒸留時のドリフトを防ぐ。重み減衰時はロジットマージンがlog(1/ε)付近で平衡する。

既存手法との違い

原論文は、JAX/PyTorch/TensorFlow等で一般的な「最大ロジットを引いてsoftmax/交差エントロピーを計算する」標準実装を比較対象にする。標準実装は、ターゲット確率が高いと1+e^{-m}のe^{-m}が丸められてターゲット勾配が0になるSoftmax Collapseと、蒸留でq=softmax(zS)とp=softmax(zT)を別々に計算してq-pを引くため近接時に精度が落ちるSoftmax Cancellationを起こす。原論文は緩和策として代理損失・勾配射影・fp64キャストにも触れるが、提案はlog-softmax/softmax/交差エントロピー自体を修正する。比較条件はbf16/fp32/fp64、ε∈{10^-8,10^-12,10^-16}、modular addition等のgrokking実験と蒸留の数値例で、標準は精度クリフ（bf16≈5.5、fp32≈16.6、fp64≈36.7）で不正確になる一方、提案はその範囲でも勾配が和ゼロを保つと報告する。

使える条件

対象はsoftmax/log-softmax、hard-target cross-entropy、soft-target cross-entropy（知識蒸留・KL正則化）の実装。入力はKクラスのロジットz、hard target t、またはstudent/teacher logits zS,zT。浮動小数点bf16/fp32/fp64を想定し、勾配は自動微分で得る。原論文の評価はJAX実装、Adam/AdamW（およびRMSProp/LaPropの平衡点）を使うgrokking実験（1層幅64 ReLU Transformer、a+b mod 31等）と蒸留の数値例が中心。大規模LLM、RAG、他フレームワーク、実運用データでの有効性は提示本文からは確認できない。

限界と未検証の範囲

原論文の評価は小規模なmodular addition/grokkingと数値例が中心で、大規模モデル・多様なタスク・RAG/LLM運用への一般化は提示本文では未検証。提示本文はSection 6の途中までで、全ベンチマーク結果や計算コスト・メモリ影響、他言語・他フレームワークでの挙動は確認できない。Soft-target cross-entropyの修正はstop_gradientでカスタム勾配を入れるJAX実装例であり、他フレームワークへの移植性や数値的な限界は本文だけでは判断できない。重み減衰時のマージン平衡m*≈log(1/ε)はAdamW等の正規化勾配とεに依存する解析で、ε=0や異なる条件下の一般化には注意が必要。

解説

ねえ智也、softmaxと交差エントロピーに数値バグがあるって論文、どういうこと？ 普通に使ってる実装が壊れてるの？

壊れてるというか、特定の条件で勾配が変になる。まずSoftmax Collapse。正解クラスに自信がありすぎてマージンが精度の崖を超えると、標準実装は正解ロジットの勾配を0に丸める。でも他のクラスの勾配は残るから、勾配の和が0にならなくなる。

え、和が0じゃなくなるの気持ち悪い。それがSlingshotのlossスパイクにつながるの？

そう。Adam系は勾配の大きさで正規化するから、片方だけ0になると不安定になる。論文ではSlingshotを消すって報告してる。

もう一つのバグは？

Softmax Cancellation。蒸留でstudentとteacherのロジットが近いとき、q=softmax(zS)とp=softmax(zT)を別々に計算してq-pを引くと、ほぼ同じ確率の引き算で精度が落ちる。zS=zTでも非ゼロの勾配が残る。

近いほど正確にしたいのに、そこで壊れるんだ。

直し方はシンプル。log-softmaxとsoftmaxでは最大ロジットを和から除外して、softplusでまとめる。hard-targetの交差エントロピーはターゲットを和から外してmを計算する。

最大値やターゲットを「足さない」って発想なんだ。

soft-targetはq-pをログ空間で直接計算する。δ=zS-zTをpで中心化して、expm1とlog1pで扱う。最後に勾配の和が0になるように補正する。JAXの実装例はstop_gradientで前向きのlossとカスタム勾配を分けてる。

評価は何をやってるの？

modular additionのgrokking。1層幅64のReLU Transformerで、bf16/fp32/fp64、εを1e-8,1e-12,1e-16に変えて、標準と修正版の交差エントロピーを比較してる。重み減衰ありとなしも見てる。

結果は？

修正版は精度の崖を滑らかに超えて、重み減衰ありのgrokkingが速くなる。重み減衰なしでは標準だと精度が61%から23%に落ちる場面で、修正版は85%まで続く。蒸留でもstudentがteacherからドリフトしない。

すごいじゃん。で、なんで重み減衰ありだとマージンがlog(1/ε)付近で止まるの？

それは数値精度の崖じゃなくて、重み減衰とAdamWの正規化勾配の平衡。勾配がe^{-m}で小さくなると、εがあるせいで正規化ステップも小さくなる。だからm*≈log(1/ε)で止まる。ε=1e-8なら約18.4。

なるほど、崖とは別の話なんだ。比較対象は標準実装だけ？

標準はJAX/PyTorch/TensorFlowみたいな最大値シフトの実装。論文は緩和策として代理損失、勾配射影、fp64キャストにも触れるけど、提案はlog-softmax/softmax/交差エントロピー自体を直す。

使える条件は？

Kクラスのロジット、hard targetかstudent/teacherのsoft target、bf16/fp32/fp64で自動微分する想定。評価はJAX実装の小規模なgrokkingと蒸留の数値例が中心。

じゃあ大規模LLMとかRAGでも効くの？

提示された本文からは確認できない。大規模モデルや多様なタスク、他フレームワークへの移植、計算コストやメモリの影響も未検証。Section 6の途中までしか載ってないから、全ベンチマーク結果も判断できない。

わかった。数値の崖を直すだけじゃなくて、平衡点の理解まで話が広がるのが面白いね。じゃあ私のレポートの数値バグもついでに直してほしいな。

それはsoftmaxと関係ないだろ。

The post softmaxと交差エントロピーの数値バグを直し学習の不安定化を防ぐ first appeared on 亜美と智也のAI論文解説.

TL;DR

非同期強化学習では、古いデータを使うことで勾配が不安定になりポリシー崩壊を起こす。従来は重要度比の大きさだけでトークンを取捨していたが、論文は比の自然なスケールがトークンのエントロピーに依存することを発見。低エントロピーではノイズが増幅され、高エントロピーでは探索が抑制される問題を、エントロピーで閾値を動的に調整するESTRで解決。エージェントタスクで最高性能、同期GRPO比2.6倍の高速化を達成。

解説

ねえ智也くん、このブログのタイトル見て！「非同期RLの重要度比をエントロピーで補正」って、なんか難しそうだけど面白そうじゃない？

ああ、それね。非同期強化学習でよくある問題を扱ってるんだ。古いデータを使うと勾配が不安定になって、ポリシーが崩壊しちゃうことがあるんだよ。

ポリシー崩壊って、エージェントが全然動けなくなっちゃうみたいな？

そうそう。従来は重要度比っていう指標でデータの取捨選択してたんだけど、この論文はその比のスケールがトークンのエントロピーに依存するって発見したんだ。

エントロピーって、情報の不確かさみたいなやつだよね？それでどう補正するの？

そう。低エントロピーだとノイズが増幅されて、高エントロピーだと探索が抑制される。そこでESTRっていう手法で、エントロピーに応じて閾値を動的に調整するんだ。

なるほど！それでうまくいくんだ。評価はどうだったの？

エージェントタスクで最高性能を出して、同期GRPOと比べて2.6倍の高速化を達成したって書いてあるよ。

すごい！でも、なんか弱点とかはないのかな？

そうだね。エントロピーの計算に追加コストがかかるし、タスクによってはエントロピーの変動が激しいと調整が難しいかもしれない。あと、理論的な保証がまだ弱い部分もある。

ふーん、でも実用的にはかなり良さそうだね。ところで、このESTRって名前、なんかエストレアみたいで可愛くない？

お前はすぐそうやって名前で遊ぶんだから…。でも、論文の内容は真面目だからな。

The post 非同期RLの重要度比をエントロピーで補正：ESTRによる安定化手法 first appeared on 亜美と智也のAI論文解説.

解説

ねえねえ智也くん！この「エントロピーに基づいたデータ選択」っていう論文、タイトルがかっこよくて気になっちゃった！これってどういうこと？

ああ、それはAIを効率よく賢くするための「ダイエット作戦」みたいな研究だよ。最近のAIは学習に膨大なデータと計算パワーが必要で、お金も時間もかかりすぎるのが問題なんだ。

ダイエット？AIも太りすぎちゃうの？データはいっぱいあった方がいい気がするけど……。

ただ多ければいいわけじゃないんだ。質の低いデータや、簡単すぎて学習の参考にならないデータが混ざってると、逆に効率が悪くなる。だから、本当に「学習効果が高いデータ」だけを選び出す技術が必要なんだよ。

なるほど！でも、どうやって「いいデータ」を見分けるの？AIが自分で「これ好き！」って選ぶの？

そこで「エントロピー」を使うんだ。エントロピーっていうのは、情報の「不確実性」や「複雑さ」を表す指標のこと。この論文ではEUDSっていうフレームワークを提案していて、3つのエントロピーを使い分けているんだよ。

えんとろぴー……？難しそうだけど、その3つって何が違うの？

1つ目は「情報エントロピー（IE）」。これは単語のバリエーションとか、語彙の豊富さを見る。2つ目は「生成エントロピー（GE）」。AIが次の言葉を予測する時の難しさ、つまり「意外性」を見るんだ。

意外性！びっくり箱みたいなデータがいいってこと？

まあ、予測が簡単すぎないってことだね。そして3つ目が「意味エントロピー（SE）」。文章の意味がどれだけ多様か、あるいは曖昧かという深いレベルで評価するんだ。これらを組み合わせて、学習に最適な「ちょうどいい難易度」のデータを見つけ出すんだよ。

へぇ〜！それで、実際にやってみたらどうだったの？

感情分析や質問回答のテストで試したところ、データを大幅に削っても、全部のデータを使った時と同じか、それ以上の成績が出たんだ。しかも、GPT-4oとかで作った「合成データ」に対してもすごく効果的だったらしいよ。

すごーい！AIが自分で作った宿題の中から、いい問題だけを選んで勉強するみたいな感じだね！

その通り。この手法のすごいところは、特定のモデルに依存しない「モデルアグノスティック」な点だ。どんなAIモデルにも後付けで使えるから、汎用性が高いんだよ。

未来のAIは、もっと少ないエネルギーでどんどん賢くなれそうだね！でも、何か弱点はないの？

課題としては、最適なエントロピーの範囲をどう決めるかだね。今は一部のデータでテストして決めているけど、もっと自動でパッと決められるようになるとさらにいい。今後はもっと大規模なデータでの検証も必要になるだろうね。

よし！私もエントロピーを使って、今日の晩ごはんのメニューを「不確実性」で選んでみるね！何が出てくるかわからない闇鍋パーティーだよ！

それはただの「カオス」だろ。不確実すぎてお腹壊すから、普通に美味しいものを選んでくれ。

要点

• AIモデルの微調整（ファインチューニング）において、計算リソースとデータ選択の効率性を向上させる手法を提案している。
• 「EUDS（エントロピーに基づく教師なしデータ選択）」というフレームワークを開発し、学習に最適なデータを選別する。
• 語彙レベル（IE）、生成レベル（GE）、意味レベル（SE）の3つの異なるエントロピー指標を用いてデータの価値を評価する。
• 人間が作成したデータだけでなく、AIが生成した合成データに対しても有効であり、データ不足の解消に寄与する。
• 実験の結果、少ないデータ量でフルデータセットと同等、あるいはそれ以上の性能を達成し、計算コストを大幅に削減できることを示した。

The post AIのダイエット作戦？賢くデータを選んでサクサク学習させる新技術！ first appeared on 亜美と智也のAI論文解説.

解説

ねえ智也くん、この『LLMの出力の長さを予測する』っていう論文、タイトルが面白そう！AIがどれくらい喋るか、予知しちゃうってこと？

そうだね。ただの予知じゃなくて、LLMを動かすサーバーの無駄をなくして、もっと速く安く動かそうっていう真面目な研究だよ。

無駄？AIっておしゃべりしすぎると疲れちゃうの？

いや、計算リソースの話だ。複数の質問をまとめて処理する時、一番長い回答が終わるまで、短い回答の処理も終われないんだ。これを『バレル効果』って呼ぶんだけど、その間の空き時間を埋める『パディング』という無駄な計算が発生するんだよ。

あー、足の遅い子に合わせてみんなでゴールしなきゃいけないルールみたいな感じ？それは確かに時間がもったいないね！

その通り。だから、事前に出力の長さがわかれば、同じくらいの長さの質問をグループ化して、効率よく処理できる。でも、これまでの予測方法は別のAIモデルを使うから重かったり、精度が悪かったりしたんだ。

じゃあ、この論文はどうやって解決したの？

この論文が提案した『EGTP』は、LLM自身の『脳内（内部状態）』を再利用するんだ。特に『エントロピー』、つまりAIが次の言葉をどれくらい迷っているかに注目して、重要な情報を抜き出すんだよ。

エントロピー……。私が今日のランチをパスタにするかラーメンにするか、めちゃくちゃ迷ってる時のモヤモヤみたいなもの？

……まあ、概念的には近いかな。その『迷い』が大きい部分に、出力の長さを決めるヒントが隠されていることを彼らは突き止めたんだ。さらに、生成の途中で『あとどれくらいで終わるか』を何度も予測し直す『PLP』っていう仕組みも作った。

途中で予測し直すの？それって、話し始めてから『あ、やっぱり長くなるかも！』って気づく感じ？

そう。特に強化学習みたいに、同じ質問でも毎回答えが変わるような場面では、この動的な予測がすごく効くんだ。実験では、従来の方法より予測のズレを30%近くも減らせたらしいよ。

30%も！すごいじゃん！これがあれば、もっとサクサクAIが使えるようになるんだね。

そうだね。ただ、まだ非常に長い文章や、複雑な推論が必要な場合には限界もある。今後はもっと多様なモデルや状況で試していく必要があるだろうね。

なるほど〜。ねえ智也くん、この技術で智也くんの説教があと何分で終わるかも予測してほしいな！

……僕の説教は君が反省するまで終わらないから、予測するだけ無駄だよ。

要点

• LLMの推論時に出力の長さを事前に予測することで、計算資源の無駄（パディング）を減らし、処理効率を向上させる手法を提案。
• 外部の予測モデルを使わず、LLM内部の隠れ状態と「エントロピー（不確実性）」を再利用するEGTP（エントロピー誘導トークンプーリング）を開発。
• 生成の各ステップで残りの長さを動的に更新するPLP（段階的長さ予測）により、ランダム性の高い生成（強化学習のサンプリングなど）にも対応。
• 新たなベンチマーク「ForeLen」において、従来手法より予測誤差（MAE）を29.16%削減し、システム全体の処理能力（スループット）を大幅に改善した。

The post AIの「おしゃべりの長さ」を予知して爆速化！無駄を削る新技術 first appeared on 亜美と智也のAI論文解説.

ねえ、智也くん！『エントロピック分布マッチング』っていう論文、面白そうだね！内容教えてくれない？

もちろん！この論文は、大規模言語モデルが特定のタスクに特化するための方法について書かれてるんだ。特に、監視付きファインチューニングの問題点を解決しようとしてる。

監視付きファインチューニングって何？

簡単に言うと、モデルを特定のデータで訓練して、特定のタスクをうまくこなせるようにすることだよ。でも、従来の方法だと過剰適合が起きやすくて、出力の多様性が減っちゃうんだ。

過剰適合ってどういうこと？

過剰適合は、モデルが訓練データに対してあまりにも特化しすぎて、新しいデータに対してうまく機能しなくなることを指すんだ。これを防ぐために、GEMという新しい手法を提案してる。

GEMって何が特別なの？

GEMは、最大エントロピー原理を使って、モデルがデータを効果的に捉えつつ、フラットな分布を持つことを目指してるんだ。これにより、出力の多様性が向上するんだよ。

実験結果はどうだったの？

GEMは、Llama-3-8Bモデルのファインチューニングで、交差エントロピーよりも良い結果を出したんだ。特に数学的推論やコード生成タスクで、最大7ポイントの性能向上が見られたよ。

すごいね！この研究の意義は何だと思う？

この研究は、LLMのファインチューニングの新しいアプローチを提供して、より多様な出力を得る可能性を示してる。将来的には、さまざまなタスクに応じたモデルの適応が進むかもしれないね。

でも、何か課題はあるの？

そうだね、GEMはまだ新しい手法だから、他のタスクやデータセットでの効果を検証する必要がある。今後の研究でその辺りを深めていくことが重要だね。

なるほど！じゃあ、智也くんもGEMを使って、もっと面白いことを考えてみてね！

うん、頑張るよ。でも、GEMを使っても、君の面白さには勝てないかもね。

要点

大規模言語モデル（LLM）は、特定のタスクに特化するために監視付きファインチューニング（SFT）を使用する。

従来の交差エントロピー（CE）損失は、過剰適合や出力の多様性の制限を引き起こすことがある。

新しい分布マッチング手法であるGEMを提案し、最大エントロピー原理を利用して、データを効果的にキャッチしつつ、フラットな分布を好む。

GEMは、Llama-3-8BモデルのSFTにおいて、CEよりも優れた性能を示し、特に数学的推論やコード生成タスクでの出力の多様性を向上させる。

GEMは、特定のドメインデータを使用しなくても、最大7ポイントの性能向上を実現する。

参考論文: http://arxiv.org/abs/2408.16673v1

The post 新しいAI手法GEMの魅力を探る！ first appeared on 亜美と智也のAI論文解説.