4月 17 2024 0 大規模言語モデルの推論効率化について 投稿者: ユウ 解説 ねえ智也くん、この論文のタイトル「大規模言語モデルの推論加速のための自己選択的注意範囲」って何を意味してるの？ ああ、これはね、大規模言語モデルが新しいトークンを生成する際に、必要以上に多くのトークンに注意を払うこ…