10月 27 2026 0 生成推薦の候補探索を軽量デコーダへ分離し推論を高速化するDeco 投稿者: 亜美と智也のAI論文解説 編集部 Decoは、SIDベース生成推薦で「履歴の理解」と「SIDの綴り」を分離する手法です。重いバックボーンが履歴を一度読んで次アイテム概念を作り、トライ制約付きビーム探索を軽量デコーダに任せます。
10月 27 2026 0 softmaxと交差エントロピーの数値バグを直し学習の不安定化を防ぐ 投稿者: 亜美と智也のAI論文解説 編集部 標準のsoftmax/log-softmax/交差エントロピーには2つの数値バグがある。提案実装は最大値やターゲットを和から除外し、蒸留時はq-pをログ空間で直接計算する。これによりSlingshotを消し、重み減衰ありのgrokkingを速め、重み減衰なしの精度崩壊と蒸留時のドリフトを防ぐ。