TL;DR
TradeWarは、LLMエージェントの多国間貿易交渉を、合意率だけでなく、署名後の関税・貿易シェアの検証、容量制約付き決済、遅延する経済指標EHIで評価するベンチマークです。TACTICは基盤LLMの重みを更新せず、過去の交渉と決済結果から戦略をエピソード間で適応させます。論文では、合意率が高くても執行後EHIが低い例や、決済に基づく適応が長期的交渉を改善する結果が報告されています。
既存手法との違い
原論文では、既存の二者間交渉・複数論点交渉・Diplomacy型・エージェント市場ベンチマークは、合意や最終スコア、取引可能性、利得、市場厚生を主な評価対象とし、署名した言語合意が実行可能な政策になり、遅延するマクロ経済成果を生むかを直接測らないと位置づけています（Table 1）。TradeWarは6カ国、実行可能な政策項、第三者への貿易グラフ効果、容量制約付き四半期決済、遅延EHIフィードバックを組み合わせます。手法比較では、zero-shot CoTのPromptLLMは合意率75%だが最終EHI 57.1（×100）、TACTICは68.8と報告されています。20連続エピソード・3シードでTACTICの最終EHIは58.2から73.2に改善し、エピソード間更新なしのアブレーションは65.2でした。技術規制・エネルギー危機ショック下ではTACTICの性能低下がPromptLLMとMemoryLLMより小さいと報告されていますが、MemoryLLMの具体数値は提示本文では確認できません。
使える条件
対象は、6カ国の異質な国々による複数年の貿易交渉・執行ループです。交渉は4四半期ごとに開かれ、署名済み提案は関税・貿易シェア項に正規化され、当事者・方向・製品エッジ・政策種別・シェア範囲の検証を通った場合のみ状態を変更します。決済は生産能力と貿易グラフ制約下で四半期ごとに行われ、EHIはGDP成長、インフレ、失業、貿易収支、重要供給完了を固定重みで集約します。TACTICは基盤LLMを固定し、経験メモリ、相手プロファイル、有界計画、構造化リフレクションを用いてエピソード間で戦略ガイダンスを更新します。必要な計算資源、実装詳細、製品数は提示本文からは確認できません。本論文はRAGではなく、多国間貿易交渉のベンチマークと適応エージェントの研究です。
限界と未検証の範囲
TradeWarは予測型経済シミュレータではなく、制御されたエージェントベンチマークです。EHIは固定重みの共通スコアであり、厚生推定や政策助言ではありません。6カ国・特定の貿易設定・スチライズドなマクロ指標に限定され、実世界の貿易制度、法的拘束力、為替・政治要因への一般化は未検証です。評価は20四半期（5年）、20連続エピソード、3シードなど提示条件に依存し、他のLLM、言語、製品数、ショック分布への外挿は不明です。TACTICは基盤LLMを更新しませんが、相手プロファイルや経験メモリの設計に依存します。提示本文ではMemoryLLMの詳細数値、計算コスト、失敗事例の定量分析は確認できません。
解説
ねえ智也、TradeWarって論文、まず何が問題なの？
ざっくり言うと、交渉ベンチマークが合意率ばかり見てて、合意した内容が実行後に価値を生むかを見てないって問題。貿易だと、条項が実行可能か、容量制約で実際にどれだけ届くか、遅れて経済指標に出るかまで見ないと意味ない。
合意できたのに実際はあんまり良くない、みたいなこと？
そう。論文は「表面的な合意の罠」と「実行拘束の失敗」を挙げてる。会話上は合意でも、検証で落ちたり、決済で供給が足りなかったり、別の経済指標を悪化させたりする。
で、TradeWarは何をシミュレーションするの？
6カ国の異質な国が複数年にわたって貿易交渉する。交渉は4四半期ごとに開かれて、署名した提案が関税や貿易シェアの項に変換される。当事者や方向、製品エッジ、シェア範囲の検証を通った時だけ状態が変わる。
決済は普通に即時？
いや、容量制約と貿易グラフ制約つきの四半期決済。第三国のアクセスも影響を受ける。評価はEHIで、GDP成長、インフレ、失業、貿易収支、重要供給完了を固定重みでまとめる。予測型の経済シミュレータじゃなくて、制御されたベンチマークって位置づけ。
TACTICは何がすごいの？
基盤LLMの重みは更新しない。代わりに経験メモリ、相手プロファイル、有界計画、構造化リフレクションを使って、署名された条項と決済結果からエピソード間で戦略ガイダンスを更新する。遅れて来る実行フィードバックに適応する感じ。
既存手法との比較は？
論文のTable 1では、二者間交渉や複数論点交渉、Diplomacy型、エージェント市場は合意・利得・市場厚生・取引可能性などが主な評価対象で、実行後の遅延フィードバックまで直接は測らない。TradeWarは多国間、実行可能な政策項、第三者への効果、遅延EHIを組み合わせる。
数字は？
zero-shot CoTのPromptLLMは合意率75%だけど最終EHIは57.1（×100）。TACTICは68.8。20連続エピソード・3シードでTACTICの最終EHIは58.2から73.2に改善、エピソード間更新なしのアブレーションは65.2。技術規制とエネルギー危機ショックではTACTICの性能低下がPromptLLMとMemoryLLMより小さいと報告されてる。ただMemoryLLMの具体数値は提示本文からは確認できない。
なるほど、合意率だけ見てたら騙されるってことか。
そう。論文の主張は、CoTの熟考やエピソード内メモリだけじゃ遅延実行フィードバックは十分扱えず、決済に根ざした適応が長期的交渉を改善するってこと。ここは論文の報告で、俺たちが追試した話じゃない。
使える条件は？
6カ国・特定の貿易設定・固定重みEHI・20四半期（5年）・20連続エピソード・3シードの範囲。TACTICは基盤LLM固定で、相手プロファイルや経験メモリの設計に依存する。計算資源や製品数、実装詳細は提示本文からは確認できない。
限界は？
スチライズドなベンチマークだから、実世界の貿易制度、法的拘束力、為替や政治要因への一般化は未検証。EHIも厚生推定や政策助言じゃない。他のLLM、言語、製品数、ショック分布への外挿も不明。MemoryLLMの詳細数値や計算コスト、失敗事例の定量分析も提示本文では確認できない。
じゃあ、合意率が高い恋人同士ほど実行後の関係EHIが低い可能性もあるってこと？ 深いね。
交渉ベンチマークの話を恋愛に飛ばすな。検証も決済もないだろ。