TL;DR
ReTraceは、SOPと推論付きのエージェント実行ログから、実行時に毎ステップLLMで計画しない再利用可能なワークフローを一度だけ構築する手法です。各ステップの条件・入力元を抽出し、ルール文書を経てコードやワークフローグラフを生成します。公開ベンチマークと社内79手順で、エージェントに近い精度を保ちながら時間・コストを下げる一方、SOPにない判断や自由文読取では劣る場合があります。
既存手法との違い
論文では、実行時も毎ステップLLMで計画する元のエージェントを基準に、zero-shot、few-shot、execution-only（推論を除いたログ）、AWM、Skill Factory、τ2-benchのみBPOPと比較しています。ReTraceは実行時プランナーなしで、構築時のみLLMを使います。τ2-benchではReTrace 75.8%、元エージェント80.6%、AWM 82.3%で、zero-shot比+37.1ポイント、few-shot比+5.3ポイントは有意でないと報告されています。SOP-Benchでは未修理のReTrace 80.6%がfew-shot 83.6%に劣り、execution-only 80.9%と同程度、zero-shot 67.7%とSkill Factory 60.5%を上回ります。社内79手順では完了率93.8%対エージェント96.8%です。修理によりτ2-bench k=2で66.7%→81.2%、SOP-Benchで80.6%→87.8%へ向上したと報告されています。
使える条件
自然言語のSOPがあり、同じ手順が大量に繰り返される業務に向きます。構築時に、推論とツール呼び出しを含む少数の実行ログが得られること、ツール定義や入出力・条件判断に使える情報が整理できることが前提です。構築時のLLM利用は許容し、実行時の毎ステップLLM計画を避けたい場合に適します。出力先がPythonコードまたは型付きワークフローグラフに変換できる必要があります。ツール自体がモデルを呼ぶことは許容されます。論文の評価はτ2-benchのtelecom solo設定（ユーザー模擬なし）、SOP-Benchの8ドメイン、社内79手順で、全ドメインや他プラットフォームでの一般化は提示本文からは確認できません。
限界と未検証の範囲
ReTraceは精度で元エージェントやAWMに常に勝つ手法ではありません。τ2-benchで75.8%対元エージェント80.6%、SOP-Bench未修理で80.6%対few-shot 83.6%と報告されています。ラベルがSOPに明記されない手順では、IRがSOPに従うため取りこぼす場合があります。自由文を実行時に読む必要がある工程ではエージェントが有利です。修理は訓練入力の失敗とラベル付き再実行が必要で、常に使えるとは限りません。生成物の検査はロード可能・計画呼び出しなしを確認するもので、タスク正しさを保証しません。ログの推論が重要で、推論を除くと性能が下がると報告されています。評価は論文内の3設定に限られ、独立追試や他プラットフォームへの一般化は提示本文から確認できません。
解説
ねえ智也くん、ReTraceってタイトルだけだと何がすごいのかよくわかんない。SOPと実行ログから、プランナー不要の業務ワークフローを作るって話？
そう。同じSOPを何度も回す業務で、毎回LLMに次の一手を考えさせるのが重い。だから構築時にだけLLMを使って、実行時はコードが次のステップを選ぶワークフローにする話だよ。
毎ステップLLMが考えるの、時間もコストもかかりそう。なんで実行ログだけで作れないの？
ツール呼び出しだけだと、なぜその操作をしたかの条件が抜けやすい。注文を調べてエスカレーションした時、出荷済みだったからなのかはログだけではわからない。エージェントの推論に条件が書かれていることがあるから、そこも使う。
へえ、推論が大事なんだ。で、どうやってワークフローにするの？
三段階。各ステップから条件・ツール・入力元を抽出して、複数ログの証拠をマージしてルール文書にする。最後にその文書から実行可能なコードやワークフローグラフを生成する。実行時は最初に成立するルールをコードが選ぶ感じ。
プラットフォーム依存は最後だけってこと？
そう。ルール文書までは共通で、最後の変換だけターゲットに合わせる。だからPythonコードにも型付きグラフにもできる。
評価はどうだったの？エージェントに勝ったの？
そこは注意。τ2-benchではReTraceが75.8%、元エージェントが80.6%、AWMが82.3%。zero-shotより37.1ポイント高いけど、few-shotとの差は有意じゃない。社内79手順では完了率93.8%対96.8%で、コストはタスクあたり24%低い。速さはτ2-benchで1.3秒対170秒。
SOP-Benchは？
未修理のReTraceは80.6%でfew-shotの83.6%に負けてる。execution-onlyの80.9%とは同程度。ただ訓練失敗から最大3回修理すると87.8%まで上がって、エージェントの85.5%を上回る。τ2-benchもk=2で66.7%から81.2%に上がる。
なるほど、毎回計画しない分、繰り返し業務では効きそう。でも万能ではないんだね。
そう。SOPにない判断や自由文を実行時に読む工程では劣る場合がある。生成物の検査もロードできて計画呼び出しがないかを見るだけで、正しさを保証するわけじゃない。修理も訓練失敗とラベル付き再実行が必要。
使える前提は？
自然言語のSOPがあって、同じ手順が大量に回る。構築時に推論付きの少数の実行ログが取れる。実行時のLLM計画は避けたいけど、構築時のLLM利用は許容できる、みたいな場面。評価範囲もτ2-benchのtelecom solo、SOP-Benchの8ドメイン、社内79手順に限られる。
つまり、SOPとログから思考の跡をルールに固めて、実行時はコードに任せる感じだね。智也くん、これで毎回考えるのをやめられるなら、私の今日の予定もワークフロー化してくれない？
無理。きみの予定はSOPにない判断だらけで、ログにない分岐ばっかりだから。