タグ: FlashAttention

解説 ねえ、智也くん！この論文のタイトル「INT-FLASHATTENTION」って面白そうだね。内容を教えてくれない？ もちろん！この論文は、自己注意モジュールの計算がシーケンスの長さに対して二次的な時間とメモリの複雑…