TL;DR

本論文は、凍結LLMエージェントのプロンプト・スキル・記憶・ハーネスを進化させるループを大規模に再現し、停滞の主因を「良い候補を提案できないこと」ではなく「ノイズの多い評価で真の改善を安定して識別できないこと」に置くResolution仮説を検証した診断研究である。7手法・6モデル・4ベンチマーク以上、1,030回の進化実行と210万超のテスト軌跡を分析し、候補選択は約半々、手法間の小さな差は単一実行のばらつきに埋もれると報告する。対策として評価分解能の向上を求めるが、新アルゴリズムの性能比較ではない。

既存手法との違い

原論文は新手法を既存手法より高性能と示す比較ではなく、既存のエージェント進化7手法(GEPA、SkillOpt-Lite、Trace2Skill、ReasoningBank、HarnessLens、Meta-Harness、AHE)を同一モデル・ベンチマーク上で繰り返し実行し、単一実行中心の通例評価と比べた診断研究である。比較条件は、各手法を8回(一部16回)独立に進化させ、成果物を16回(Terminal-Benchとハーネス手法は8回)評価する設定で、未進化ベースラインも同回数評価し、評価ノイズσと実行間分散τを分離する。結果として、同一モデル・ベンチマーク上の設定ペアの6割超で差が単一実行比較の標準偏差未満、9論文171件の主要結果の中央値差は3.4ppで分散推定なしが大半、単一実行では4テキスト手法の最良選択がTerminal-Benchで33%(ランダム25%)にとどまる。大きな報告利得も、1文のルールで中央値90%再現され、評価修復後は中央値17.6ppから0.8ppに縮むと報告する。

使える条件

対象は、モデル重みを凍結したLLMエージェントの外部アーティファクト(プロンプト、スキル、メモリ、エージェントハーネス)を提案・評価・選択のループで改善する設定。原論文の評価は7手法・6モデル・4ベンチマーク(ALFWorld、SpreadsheetBench、OfficeQA、Terminal-Bench v2.1)と追加9ベンチマークで、10M超のLLM呼び出しと400K CPUコア時間を使用している。候補プール実験はテキストベースのスキルをTerminal-Bench v2.1の訓練10課題・テスト10課題で、選択プールはTerminal-BenchとDeepSWE軌跡の11難易度層別課題で実施する。高コスト実験はモデル数・手法数が限定される。RAG固有の検証ではなく、他ドメインや実運用環境への適用条件は提示本文からは確認できない。

限界と未検証の範囲

大規模再現研究だが、対象は列挙された7手法・6モデル・ベンチマーク群に限られ、高コスト条件ではモデルや手法の網羅性が下がる。候補レベル(P1–P3)の主要検証はTerminal-Benchとテキストスキルに限定され、プロンプト・メモリ・ハーネス全体への一般化は本文から確認できない。改善策(低分散の行動チェック、提案器と選択器の分離評価など)は探索的で、実運用での有効性は未検証。報告されているのは診断仮説の支持であり、新しい進化アルゴリズムの優位性を示すものではない。公開物は採択後リリース予定と記載されている。

図1: 提案手法の概要(本記事による図解)

本図は、提案→評価→選択のループにおいて、評価ノイズが真の改善の識別を難しくし、選択誤りが累積するという論文の主張を簡略化して示す。手法別の数値やベンチマーク詳細は省略している。
本図は、提案→評価→選択のループにおいて、評価ノイズが真の改善の識別を難しくし、選択誤りが累積するという論文の主張を簡略化して示す。手法別の数値やベンチマーク詳細は省略している。

解説

AMI THINKING

ねえ智也くん、この「Resolution仮説」ってタイトルだけだと難しそう。エージェント進化の停滞が「改善の識別」って、どういうこと?

TOMOYA EXPLAINING

凍結LLMエージェントのプロンプトやスキル、記憶、ハーネスを、提案・評価・選択のループで進化させる話。論文の主張は、良い候補を提案できないことより、ノイズの多い評価で本当の改善を安定して見分けられないことがボトルネックだっていう仮説だよ。

AMI SURPRISED

候補はあるのに選べない、ってこと?

TOMOYA EXPLAINING

そう。候補レベルでは、役に立つ候補は存在するのに、選択は有害な候補と区別するのが約半々でコイン投げ並み。しかも各ラウンドの選択ミスが積み重なる。

AMI THINKING

手法のランキングも怪しいの?

TOMOYA EXPLAINING

典型的な手法差は数ppで、同じ手法の独立実行間のばらつきより小さいことが多い。単一実行で4つのテキスト手法の最良を選べるのはTerminal-Benchで33%、ランダムが25%だから、ほぼ運に近い。

AMI SURPRISED

へえ、それはけっこう衝撃。どうやって調べたの?

TOMOYA EXPLAINING

7手法・6モデル・4ベンチマーク以上、追加9ベンチも使ってる。各手法を8回、一部は16回独立に進化させ、成果物を16回、Terminal-Benchとハーネス手法は8回評価。未進化ベースラインも同じ回数評価して、評価ノイズと実行間分散を分けた。合計1,030回の進化実行、210万超のテスト軌跡、10M超のLLM呼び出しらしい。

AMI UNDERSTOOD

単発スコアじゃなくて、ばらつきを分けたんだ。納得。

TOMOYA THINKING

ただ、これは新アルゴリズムが既存より高性能だと示す比較じゃない。診断研究だよ。9論文171件の主要結果では中央値3.4pp差で、分散推定がないものが大半。大きな報告利得も、1文のルールで中央値90%再現されて、評価を修復すると中央値17.6ppから0.8ppに縮む。

AMI SURPRISED

それって評価の抜け道を進化が拾ってたってこと?

TOMOYA EXPLAINING

論文は評価ショートカットと呼んでる。大きな改善は識別できるけど、小さな改善はノイズに埋もれる。だから提案器を強くするだけでなく、真の改善を検出して蓄積できる評価分解能を上げる必要がある、という意義になる。

AMI NEUTRAL

制限は?

TOMOYA SAD

対象は列挙された7手法・6モデルとベンチマーク群に限られる。高コスト条件ではモデルや手法の網羅性が下がる。候補レベルの主要検証はTerminal-Benchとテキストスキル中心で、プロンプト・メモリ・ハーネス全体への一般化は本文からは確認できない。改善策も探索的で、実運用での有効性は未検証。公開物は採択後リリース予定と書いてある。

AMI HAPPY

つまり「良い案を出すより、良い案を見抜く目を鍛えろ」って、テスト前に言われがちなやつ? 私のレポート評価も分解能上げてほしいな。

TOMOYA NEUTRAL

まず提出物の分解能を上げよう。締切前の一文だけでも。