TL;DR
本論文は、エージェントのタスク精度はハーネス差の影響が小さい一方、コストはハーネス側のプロンプト・ツール・実行パターンで大きく変わる点に着目する。実トレースを分析して、既存コンテキストの再読、ツール呼び出し、情報の少ないツール出力、ファイル探索、並列サブタスクという5つのコスト機会を整理し、Claude CodeやCodex上で透過的に最適化を実装できる介入基盤Agencyを提案する。試作手法により、実ベンチマークで精度を大きく損なわず最大35%のコスト削減を報告している。
既存手法との違い
原論文の比較軸は、Claude Code/Codexと、プロンプト・ツールを絞ったBasic-full/Basic-bash（naive ReAct）などのハーネス。100タスクではハーネスによる精度差は小さく、Claude Code/CodexはBasic系より約2倍のコストになる例が示される。また既存研究として同一モデル・タスクでもハーネス側差で最大2.6倍のコスト差があり得ると述べる。既存のコスト削減策（新規セッション、安価LLMへのサブエージェント委譲、未使用コンテキストの自動削除）は、ユーザー判断・モデル挙動・ファインチューニングに依存し、Agencyは決定的で透過的なシステム最適化を狙う点が違う。
使える条件
対象は固定プロンプトの市販コーディングエージェントハーネス（Claude Code、OpenAI Codex）とBasic ReAct。Agencyはコンテキスト・ツール・環境を監視/操作する抽象化を提供し、最適化をハーネス間で再利用する。評価はSWE-bench Verified、SWE-bench Pro、Terminal-Bench 2、OfficeQA Proと公開トレース（TraceLab、FreeInference）、モデルはGPT-6-Luna、GPT-6.1-Sol、Sonnet 5.5、Opus 5.5、Qwen3.8-27B。test-time learningでプロンプトを進化させるハーネスは対象外。実世界の連続タスク向けコストベンチマークは未整備で、提示本文からは一般的なRAG/LLM運用への直接検証は確認できない。
限界と未検証の範囲
試作（proof-of-concept）段階で、評価は論文内のベンチマーク/公開トレースに限られる。公開トレースはツール出力内容が秘匿されサイズのみ。コンテキスト削除はキャッシュを無効化し得るため削除対象・タイミングの選択が難しく、ツール出力圧縮は必要情報を消すと再取得コストが増えるトレードオフがある。精度影響はAbstractで「損なわず」、Introductionで「軽微な損失」と表現され、詳細な条件別の精度検証は提示本文だけでは確認できない。実運用の多様なハーネス・モデル・タスクへの一般化は未検証。
解説
ねえ智也くん、このブログのタイトル『エージェント実行コストを最大35%削減するハーネス基盤Agency』ってどういう意味？ ハーネスって何？
ハーネスはLLMに環境を触らせるための土台だよ。システムプロンプト、ツール、LLM呼び出しのループをまとめたもの。Claude CodeとかCodexがそう。
なるほど。で、何が問題なの？
原論文の出発点は、最近のエージェントモデルだとタスク精度はハーネス差の影響が小さいのに、コストはハーネス側のプロンプトやツール、実行パターンで大きく変わるって点。長いセッションは短いセッションの10〜100倍コストになる例もある。
精度は同じくらいなのに、お金だけめっちゃ変わるってこと？
そう。論文ではClaude Code/Codexと、プロンプトとツールを絞ったBasic-full/Basic-bashを比較してる。100タスクでは精度差は小さくて、Claude Code/CodexがBasic系の約2倍コストになる例も示されてる。
じゃあプロンプト消せば安いって話？
論文はそう単純には言ってない。プロンプトやツールは挙動やユーザー体験に必要だから、全部消すんじゃなくて、ハーネス側で透過的にコスト最適化するシステムを狙ってる。
透過的って、ユーザーが意識しなくてもってこと？
そう。Agencyはコンテキスト、ツール、環境を監視・操作する統一的な抽象化を提供して、一度書いた最適化をClaude CodeやCodexみたいな既存ハーネス間で再利用できるようにする。
具体的には何を最適化するの？
実トレースを分析して5つのコスト機会を整理してる。既存コンテキストの再読、ツール呼び出し、情報の少ないツール出力、ファイル探索、並列サブタスク。たとえばキャッシュ読みが最大73%を占めたり、ツール出力は平均27%しか後で使われなかったり。
ツール出力、半分以上は捨てられてるのに残ってるんだ。もったいない。
だからコンテキストのガベージコレクションやツール出力の圧縮、ツール呼び出しのバッチ化を試作してる。でもコンテキストを削るとキャッシュが無効になるし、必要な情報を消すと再取得で逆に高くなるトレードオフがある。
評価はどうなってるの？
SWE-bench Verified、SWE-bench Pro、Terminal-Bench 2、OfficeQA Proと、公開トレースのTraceLab/FreeInferenceを使ってる。モデルはGPT-6-Luna、GPT-6.1-Sol、Sonnet 5.5、Opus 5.5、Qwen3.8-27B。試作手法で実ベンチマーク上、最大35%のコスト削減を報告してる。
精度は落ちないの？
Abstractは『精度を損なわず』、導入は『軽微な精度損失』って表現が揺れてる。本文だけだと条件別の詳細な精度検証は確認できない。あと公開トレースはツール出力の中身が秘匿されてサイズだけらしい。
制限もあるんだね。
ある。試作段階で、評価は論文内のベンチマークと公開トレースに限られる。固定プロンプトの市販コーディングハーネスが主対象で、test-time learningでプロンプトを進化させるハーネスは対象外。実世界の連続タスク向けコストベンチマークも未整備で、一般的なRAG運用にそのまま当てはまるかは提示本文からは確認できない。
でも、同じ精度なら安い方がいいもんね。ハーネス側で決定的に最適化できるのは大きいかも。
うん。ユーザー判断やモデルの気まぐれに頼らず、ハーネス側で測って制御できる方向に意義がある。既存の新規セッション推奨や安いLLMへのサブエージェント委譲、未使用コンテキストの自動削除とは違うアプローチ。
じゃあAgencyを私の生活にも入れて、無駄な買い物コストを35%削減してほしいな。
それはモデルじゃなくて君の自制心の問題だ。