LLMのデコード長予測における理論限界を正規近似で示す基礎論文

投稿者: 亜美と智也のAI論文解説 編集部

LLMが何トークン出力するかをprefill情報だけで予測するとき、予測器の工夫より自己回帰生成の確率的ばらつきが誤差の主因になる。論文はデコードを停止過程+セグメント更新としてモデル化し、正規近似とσ=αμ+bの分散則から、任意のprefill予測器が従うMAE・pass-rateの下限を導出。

視覚言語モデルの投機的デコードをプロンプトごとに適応させるSP2EC

投稿者: 亜美と智也のAI論文解説 編集部

SP2ECは、視覚言語モデル(VLM)の自己投機的デコードで、保持する層や視覚トークン数などのドラフト構成をプロンプトごとに適応選択する学習不要のバンディット手法です。受理トークン数と実時間をフィードバックに、単峰型のスループット構造を利用して壁時計時間の後悔を抑えます。