タグ: 推論速度

解説 ねえ、トモヤ！この論文のタイトル『PrefixQuant: 静的量子化が動的量子化を外れ値で上回る』って面白そうだね！内容を教えてくれない？ もちろん！この論文は、量子化が大規模言語モデルの展開において重要だって話…