TL;DR
WorkflowArenaは、LLMエージェントが自らマルチエージェントの作業分担・委譲・統合を設計する「ワークフロー編成」を、145の長期タスクで評価するベンチマークです。委譲の有無と方法をモデルに任せ、全委譲を記録し、編成にかかる時間も共有予算に含めます。成果物は隠し検証器で統合品質まで採点されます。9モデル25構成の比較では、全ドメインで最良の単一構成はなく、最强構成でも平均解決率は36.95%でした。実行者を固定した実験では、良質なワークフローが弱い実行者を底上げし、編成自体が性能要因になり得ることが示されています。
既存手法との違い
既存のエンドツーエンド型エージェントベンチマークはタスク完了を測りますが、エージェントを単一単位として扱うため、作業の分割や委譲の構造は見えません。マルチエージェント型ベンチマークは事前定義された協調プロトコルや独立エージェント間の協調を評価し、構造はベンチマーク設計者が決めます。ワークフロー生成の評価は計画やグラフ構造をオフラインまたはシミュレーションで採点することが多く、モデル自身が書いたワークフローが実成果物上で実行中に適応する様子は見ません。WorkflowArenaは、モデルが委譲の有無と方法を自律決定し、全委譲を記録し、共有予算内で実タスクを実行し、隠し検証で統合成果物を評価する点が異なります。原論文は既存ベンチマークとの同一条件での直接比較数値を提示していません（提示本文からは確認できません）。
使える条件
対象は、初期ワークスペース・公開ツール・共有予算・隠し検証器を持つ145の長期タスク（8ドメイン、17タスク形式）です。タスクは実務資料や依存関係を明示した作成シナリオから作られ、成果物は複数単位の統合を要求します。エージェントは委譲するか否かを含めてワークフローを自律設計でき、単一の逐次エージェントも有効なワークフローとして扱われます。評価は9モデル・25構成をClaude CodeまたはCodex上で比較し、さらに難易度の高いサブセットで実行者を固定し、Claude Opus 5.5が書いたワークフローを4つの弱い実行モデルに適用しています。原論文の評価範囲外のドメイン、ツール、ハーネス、予算設定での挙動は提示本文からは確認できません。
限界と未検証の範囲
評価は145タスク・8ドメイン・17形式に限定され、9モデル・25構成とClaude Code/Codexという特定ハーネスでの結果です。最高構成でも平均解決率は36.95%で、全ドメインで最良の単一構成はありません。実行者固定の転移実験は難易度の高いサブセットに限られ、他の実行者やタスクへの一般化は未検証です。ワークフロー品質と単独能力の分離はこの設定での測定であり、実運用のコスト・安全性・監査性は評価対象として提示されていません。隠し検証器や専門家レビューの詳細、他のベンチマークとの直接比較数値は提示本文からは確認できません。
解説
ねえ智也、LLMマルチエージェントのワークフロー設計力を測るベンチマークって、何が面白いの？
長いタスクだと、単体モデルの能力より「仕事をどう分けて、誰に渡して、どう統合するか」が効く。でも既存評価はエージェントを一個の塊として見たり、構造をベンチ側が決めたりしてた。
へえ、つまり“段取り力”そのものを測るってこと？
そう。WorkflowArenaは145タスク、8ドメイン、17形式。初期ワークスペースと成果物、隠し検証器があって、委譲するかどうかもモデルに任せる。全委譲は記録され、編成時間も共有予算に入る。
単一エージェントでやるのもありなの？
あり。ワーカー数やワークフロー形状では報酬を変えず、統合成果物として評価する。だから並列化が常に得とは限らない設計。
評価はどうなったの？
9モデル25構成をClaude CodeかCodexで比較。最強はClaude Opus 5.5のmax effortで平均解決率36.95%。でも全ドメインで最良の単一構成はなかった。高effortだとClaude系はワークフロー起動が少なめでワーカー多め、GPT系は小さい単位で頻繁に委譲する傾向。
じゃあ“最強の型”はないんだ。
さらに実行者を固定した難問サブセットで、Opusが書いたワークフローが4つの弱い実行者を平均6.41ポイント底上げ。Astraのワークフローは助けが小さく、2つは下げた。ここから編成品質が単独能力と別の性能要因になり得る、って論文は言ってる。
でも制限もあるよね？
ある。評価はその145タスクと9モデル25構成、Claude Code/Codexに限定。転移実験も難問サブセットだけ。他の実行者やタスクへの一般化、実運用のコスト・安全性・監査性は提示本文では未評価。既存ベンチとの直接比較数値も確認できない。
なるほどね。じゃあ私もワークフロー編成を任せたら、家事を分担してくれる最強エージェントになれるかも？
まず自分の部屋の統合からだな。