TL;DR
Aggronは、長いマルチターンLLMエージェントのKVキャッシュ肥大化でバッチ処理が制限される問題に対し、毎ターン散文だけを選別要約し、別の要約キューからHOL(先頭詰まり)停滞中の空き計算・メモリで要約を走らせる serving system です。要約がエージェント実行前に終わるかを予測し、無理なら同期要約に戻します。論文では3モデル・4ベンチマークで精度が未圧縮比2.7pp以内、高負荷時に非同期要約方式比でP99 27–31%減、スループット1.34–1.40×と報告されています。一方、性能評価の一部はキャリブレーション済みシミュレータで、実運用や他環境への一般化は未検証です。
既存手法との違い
原論文は、同期要約と非同期要約を比較し、さらに非同期の最先端手法としてSlipstreamとAPECと比較しています。同期要約は要約がクリティカルパスに載り平均・P99レイテンシを上げ、非同期要約はエージェント要求と要約が計算・メモリ容量を競合します。Aggronは毎ターン、KVキャッシュ全体ではなく散文のみを選別要約し、別のSummarization QueueからHOL停滞中の空き資源を使って要約を起動します。さらに、対応するエージェント要求が実行される前に要約が完了できると予測した場合だけ発行し、予測できない場合は同期要約に戻します。評価は3モデル(Qwen3.6-35B-A3B、Gemma-4-26B-A4B、GLM-4.7-Flash)と4ベンチマークで行われ、高負荷時にSlipstream比・APEC比でP99レイテンシ27%減・31%減、平均レイテンシ11%減・15%減、スループット1.34×・1.40×と報告されています。性能評価はNVIDIA H100 NVL向けにキャリブレーションしたシミュレータも用いています。
使える条件
想定される利用条件は、ツール呼び出しを伴う長いマルチターンのLLMエージェントで、履歴の増加によりKVキャッシュ容量が同時実行数やバッチサイズのボトルネックになる状況です。Aggronは散文を要約対象とし、コードなど非散文はそのまま保持するため、散文と非散文を区別できることが前提になります。要約は別キューから、待機中エージェント要求のHOL停滞で生じる空き計算・メモリを使って実行され、キューに隠せる待ち時間がある場合に効果を狙います。待ちがない場合は同期要約に戻ります。論文の評価対象はNVIDIA H100 NVL、3モデル、SWE-bench・Terminal-Bench・MCPMark・DeepResearch Benchで、レイテンシとスループットの一部はキャリブレーション済みシミュレータによる評価です。これら以外のハードウェア、モデル、エージェント実装、本番運用での有効性は提示本文からは確認できません。
限界と未検証の範囲
論文の限界として、評価は4ベンチマーク・3モデル・H100 NVL環境に限定され、性能評価の一部はシミュレータに依存しています。実運用のマルチテナント環境や他ハードウェア、他モデルへの一般化は提示本文からは確認できません。精度は未圧縮比2.7pp以内と報告されていますが、すべてのタスクや長い軌道変化に対して保証されるものではありません。Aggronは非散文を要約しないため、コード中心のワークロードではメモリ削減効果が限定され、論文のTable 2では4K prose capによるKVメモリ削減が1.35–1.57×と報告されています。散文・非散文の選別方法の詳細や、HOL停滞が十分にない場合の効果、到着率や要求長の分布が異なる場合の挙動は、提示本文からは確認できません。
図1: 提案手法の概要(本記事による図解)
解説

ねえ智也くん、LLMエージェントって長く動くほどKVキャッシュが膨らんで、同時に走らせられる数が減るって話、ちょっとびっくりした。

うん。エージェントは何十回もLLM呼ぶし、毎回履歴が全部乗る。KVキャッシュがHBMを埋めると、計算が空いてても新しい要求をバッチに入れられない。

つまりGPUは暇っぽいのに、メモリ待ちで列が詰まる感じ?

そう。しかも待ってる要求が先頭で詰まるHOL停滞が起きる。Aggronはそこに目をつけた。

普通の圧縮って、閾値まで待ってまとめて要約するんでしょ?同期は遅くなるし、非同期は要約とエージェントが資源を取り合う。

その通り。Aggronは毎ターン、KVキャッシュ全部じゃなくて、精度に影響しにくい散文だけを選んで要約する。コードみたいな非散文はそのまま残す。

へえ、全部潰さないんだ。要約はどこで走らせるの?

別のSummarization Queueから出す。対象のエージェント要求がHOLで待ってる間に、空いた計算とメモリを使う。さらに、その要求が実行される前に要約が終わると予測したときだけ出す。無理なら同期要約に戻す。

待ち時間にこっそり要約を済ませる作戦か。賢い。

比較は同期・非同期だけでなく、非同期のSlipstreamとAPECともやってる。

結果は?

3モデル・4ベンチマークで、精度は未圧縮比2.7pp以内。高負荷でSlipstream比P99 27%減、APEC比31%減、平均レイテンシも11%と15%減、スループットは1.34倍と1.40倍。

けっこう派手な数字じゃん。

でも性能評価の一部はH100 NVL向けにキャリブレーションしたシミュレータ。実運用や他の環境への一般化は未検証。

あ、そこ大事だね。コード中心だと散文が少なくてメモリ削減も限られるんだっけ?

うん。Table 2では4K prose capでKVメモリ削減が1.35–1.57倍。非散文は要約しないから、効果はワークロード依存。

散文と非散文の選び方の詳細とか、HOL停滞が少ないときの挙動は本文からは確認できない、と。

そう。あと3モデル・4ベンチマーク・H100 NVL環境に限定してる。

でも、オンラインのマルチテナントでサーバ側が機会を見て圧縮するって発想は面白いね。

うん。待ちを隠す資源に変えるのがAggronの肝。

私も待ち時間に宿題を終わらせるAggronみたいになりたい。

亜美の待ち時間はだいたいスマホだろ。

うっ、否定できない。