TL;DR
SwarmEvolveは、LLMエージェントを潜在空間で推論させ、KVキャッシュを共有する群れでプログラムを進化的に改善する枠組みです。1ラウンド450体、新規性フィルタ、要約エージェントによる統合が特徴で、21問題・60分予算で平均スコア最高、既存手法の60分スコアに中央値3〜8分で到達したと報告されています。
既存手法との違い
原論文ではOpenEvolve、ShinkaEvolve、CodeEvolveと比較しています。21問題（5領域）を60分・1GPU・8CPUコアで、Qwen3 8B/14B/32B-FP8、3シードで実行しています。16問題はAlphaEvolve付録B由来で、問題文・初期プログラム・評価器はOpenEvolveと同一、5問題は科学計算向けに新規設計です。ベースラインは既定設定でテキスト推論しvLLMで提供されます。SwarmEvolveは全モデルで平均スコア最高、Qwen3 8Bがベースラインの32B-FP8平均を上回り、32Bでは5つの疎線形システムを全問フル精度で解いた（ベースラインなし）と報告されています。主な違いは、潜在空間推論・KVキャッシュ通信・多数エージェント・新規性フィルタ・潜在空間での交叉です。
使える条件
対象は数学的発見・科学計算のプログラム探索です。初期プログラムと決定的評価器が必要で、実験は1GPU＋8CPUコア、60分、Qwen3 8B/14B/32B-FP8で実施されています。1ラウンドは10スワーム×45エージェント、各40潜在ステップ、新規性フィルタで各スワーム30体を保持し、要約エージェントがテキストでプログラムを出力します。毎ラウンド最大8個の数値パラメータ編集も行います。RoPE付きdecoder-only transformerのKVキャッシュを利用します。他モデル・他ドメイン・他資源での条件は提示本文からは確認できません。
限界と未検証の範囲
評価は21問題・5領域、Qwen3ファミリ、60分・1GPUの範囲に限られます。他LLM、他ドメイン、長時間予算、分散環境での有効性は提示本文からは確認できません。AlphaEvolveとの比較は同一実行条件の直接比較ではなく、公開された構成に対する改善が3問題で報告されるにとどまります。スワーム数・エージェント数・保持数・潜在ステップ数などの感度分析や、潜在空間の解釈性・安全性・失敗時の診断性は確認できません。要約エージェントは最終的にテキストでプログラムを書くため、完全なテキストレス運用ではありません。
解説
これ、LLMエージェントがいっぱいでプログラムを進化させる話？
そう。元の問題意識は、LLMでプログラム探索すると毎回テキストの思考を長く書くから遅いし高いってこと。
エージェント増やすと余計に重そう。
だから潜在空間で考える。テキストにデコードしないで、連続ベクトルのまま推論する。
KVキャッシュを渡すって？
各エージェントの推論をKVキャッシュとして持って、要約エージェントがまとめて読む。テキストメッセージをやり取りしないのがミソ。
1ラウンド何人？
10スワーム×45体で450体。各エージェントは40潜在ステップ。スワームごとに視点が違う。
450体の意見を全部まとめるの？
新規性フィルタで各スワーム30体だけ残す。平均隠れ状態のコサイン距離で、遠い考えを貪欲に選ぶ。
似た意見を捨てる感じか。交叉は？
潜在空間で自然に起きる。要約エージェントが複数の親プログラムを読んだエージェントのKVキャッシュをまとめて、1個のプログラムを書く。
親の選び方も種類ある？
改良・ハイブリッド・探索・新規開始の4タイプ。毎ラウンド最大8個の数値パラメータ編集もやる。
評価は？
21問題、5領域。OpenEvolve、ShinkaEvolve、CodeEvolveと比較。Qwen3 8B/14B/32B-FP8で60分、1GPU＋8CPUコア、3シード。
問題は全部新規？
16問はAlphaEvolve付録B由来で、問題文・初期プログラム・評価器はOpenEvolveと同じ。5問は科学計算用に新規設計。
結果はどうだった？
論文の報告では、全モデルで平均スコア最高。Qwen3 8BのSwarmEvolveがベースラインの32B-FP8平均を上回る。
速さは？
既存手法が60分で出す最高スコアに、中央値3〜8分で到達。スループットは5〜13倍。32Bでは5つの疎線形システムを全問フル精度、これはベースラインにない。
AlphaEvolveも超えた？
3問題で、凍結したQwen3 8BがAlphaEvolveの構成を改善したと報告されてる。ただし同一条件の直接比較じゃない。
意義は大きそう。
低コストなエージェント群で速く多様に探索できる可能性を示した点。でも評価は21問題・Qwen3ファミリ・60分・1GPUに限られる。他モデルや他ドメイン、長時間、分散環境は本文から確認できない。
弱点は？
スワーム数や保持数の感度分析、潜在空間の解釈性・安全性・失敗診断は確認できない。要約エージェントは最後テキストでプログラムを書くから、完全にテキストレスでもない。
じゃあ私も潜在空間で考えれば宿題3分で終わるじゃん。
お前の潜在空間はたぶんずっとゲームしてるだけだ。