タグ: 長文脈

後ろのトークンほど生成コストが高く、長文脈では最大7倍程度の差が出る。NVIDIAの論文は、履歴や入力を頻繁に圧縮して16K〜50K程度の短い文脈で運用しても、長horizon・長入力タスクの精度が大きく落ちないと報告する。長文脈モデル必須という前提に疑問を投げるが、対象ベンチとモデルは限定的。