TL;DR

Aggronは、長いマルチターンLLMエージェントのKVキャッシュ肥大化でバッチ処理が制限される問題に対し、毎ターン散文だけを選別要約し、別の要約キューからHOL(先頭詰まり)停滞中の空き計算・メモリで要約を走らせる serving system です。要約がエージェント実行前に終わるかを予測し、無理なら同期要約に戻します。論文では3モデル・4ベンチマークで精度が未圧縮比2.7pp以内、高負荷時に非同期要約方式比でP99 27–31%減、スループット1.34–1.40×と報告されています。一方、性能評価の一部はキャリブレーション済みシミュレータで、実運用や他環境への一般化は未検証です。

既存手法との違い

原論文は、同期要約と非同期要約を比較し、さらに非同期の最先端手法としてSlipstreamとAPECと比較しています。同期要約は要約がクリティカルパスに載り平均・P99レイテンシを上げ、非同期要約はエージェント要求と要約が計算・メモリ容量を競合します。Aggronは毎ターン、KVキャッシュ全体ではなく散文のみを選別要約し、別のSummarization QueueからHOL停滞中の空き資源を使って要約を起動します。さらに、対応するエージェント要求が実行される前に要約が完了できると予測した場合だけ発行し、予測できない場合は同期要約に戻します。評価は3モデル(Qwen3.6-35B-A3B、Gemma-4-26B-A4B、GLM-4.7-Flash)と4ベンチマークで行われ、高負荷時にSlipstream比・APEC比でP99レイテンシ27%減・31%減、平均レイテンシ11%減・15%減、スループット1.34×・1.40×と報告されています。性能評価はNVIDIA H100 NVL向けにキャリブレーションしたシミュレータも用いています。

使える条件

想定される利用条件は、ツール呼び出しを伴う長いマルチターンのLLMエージェントで、履歴の増加によりKVキャッシュ容量が同時実行数やバッチサイズのボトルネックになる状況です。Aggronは散文を要約対象とし、コードなど非散文はそのまま保持するため、散文と非散文を区別できることが前提になります。要約は別キューから、待機中エージェント要求のHOL停滞で生じる空き計算・メモリを使って実行され、キューに隠せる待ち時間がある場合に効果を狙います。待ちがない場合は同期要約に戻ります。論文の評価対象はNVIDIA H100 NVL、3モデル、SWE-bench・Terminal-Bench・MCPMark・DeepResearch Benchで、レイテンシとスループットの一部はキャリブレーション済みシミュレータによる評価です。これら以外のハードウェア、モデル、エージェント実装、本番運用での有効性は提示本文からは確認できません。

限界と未検証の範囲

論文の限界として、評価は4ベンチマーク・3モデル・H100 NVL環境に限定され、性能評価の一部はシミュレータに依存しています。実運用のマルチテナント環境や他ハードウェア、他モデルへの一般化は提示本文からは確認できません。精度は未圧縮比2.7pp以内と報告されていますが、すべてのタスクや長い軌道変化に対して保証されるものではありません。Aggronは非散文を要約しないため、コード中心のワークロードではメモリ削減効果が限定され、論文のTable 2では4K prose capによるKVメモリ削減が1.35–1.57×と報告されています。散文・非散文の選別方法の詳細や、HOL停滞が十分にない場合の効果、到着率や要求長の分布が異なる場合の挙動は、提示本文からは確認できません。

図1: 提案手法の概要(本記事による図解)

Aggronの全体像として、エージェント要求のKVキャッシュを散文中心に選別要約し、HOL停滞中の空き資源で別キューから起動、完了予測できない場合は同期要約に戻る関係を簡略化して示す(元図の再現ではない)。
Aggronの全体像として、エージェント要求のKVキャッシュを散文中心に選別要約し、HOL停滞中の空き資源で別キューから起動、完了予測できない場合は同期要約に戻る関係を簡略化して示す(元図の再現ではない)。

解説

AMI SURPRISED

ねえ智也くん、LLMエージェントって長く動くほどKVキャッシュが膨らんで、同時に走らせられる数が減るって話、ちょっとびっくりした。

TOMOYA EXPLAINING

うん。エージェントは何十回もLLM呼ぶし、毎回履歴が全部乗る。KVキャッシュがHBMを埋めると、計算が空いてても新しい要求をバッチに入れられない。

AMI THINKING

つまりGPUは暇っぽいのに、メモリ待ちで列が詰まる感じ?

TOMOYA NEUTRAL

そう。しかも待ってる要求が先頭で詰まるHOL停滞が起きる。Aggronはそこに目をつけた。

AMI NEUTRAL

普通の圧縮って、閾値まで待ってまとめて要約するんでしょ?同期は遅くなるし、非同期は要約とエージェントが資源を取り合う。

TOMOYA EXPLAINING

その通り。Aggronは毎ターン、KVキャッシュ全部じゃなくて、精度に影響しにくい散文だけを選んで要約する。コードみたいな非散文はそのまま残す。

AMI UNDERSTOOD

へえ、全部潰さないんだ。要約はどこで走らせるの?

TOMOYA EXPLAINING

別のSummarization Queueから出す。対象のエージェント要求がHOLで待ってる間に、空いた計算とメモリを使う。さらに、その要求が実行される前に要約が終わると予測したときだけ出す。無理なら同期要約に戻す。

AMI SMILE

待ち時間にこっそり要約を済ませる作戦か。賢い。

TOMOYA NEUTRAL

比較は同期・非同期だけでなく、非同期のSlipstreamとAPECともやってる。

AMI SURPRISED

結果は?

TOMOYA EXPLAINING

3モデル・4ベンチマークで、精度は未圧縮比2.7pp以内。高負荷でSlipstream比P99 27%減、APEC比31%減、平均レイテンシも11%と15%減、スループットは1.34倍と1.40倍。

AMI HAPPY

けっこう派手な数字じゃん。

TOMOYA THINKING

でも性能評価の一部はH100 NVL向けにキャリブレーションしたシミュレータ。実運用や他の環境への一般化は未検証。

AMI SAD

あ、そこ大事だね。コード中心だと散文が少なくてメモリ削減も限られるんだっけ?

TOMOYA EXPLAINING

うん。Table 2では4K prose capでKVメモリ削減が1.35–1.57倍。非散文は要約しないから、効果はワークロード依存。

AMI THINKING

散文と非散文の選び方の詳細とか、HOL停滞が少ないときの挙動は本文からは確認できない、と。

TOMOYA NEUTRAL

そう。あと3モデル・4ベンチマーク・H100 NVL環境に限定してる。

AMI UNDERSTOOD

でも、オンラインのマルチテナントでサーバ側が機会を見て圧縮するって発想は面白いね。

TOMOYA HAPPY

うん。待ちを隠す資源に変えるのがAggronの肝。

AMI SMILE

私も待ち時間に宿題を終わらせるAggronみたいになりたい。

TOMOYA NEUTRAL

亜美の待ち時間はだいたいスマホだろ。

AMI ANGRY

うっ、否定できない。