TL;DRText-to-SQ…
TL;DR
TTHEは、LLMエージェントの動作を決める「ハーネス」（制御プログラム）を、テスト時に実行痕跡のみを使って進化させる手法。モデル重みは固定し、正解ラベルも使わず、エージェント自身が生成した候補ハーネスを評価・選択することで、テキスト-to-SQLや競技プログラミングなど5領域でReActベースラインを改善した。
解説
ねえ智也くん、この論文のタイトル、『テスト時にエージェントの制御プログラムを進化させるTTHE』って面白そう！でも「ハーネス」って何？
ハーネスはエージェントの制御プログラムのことだよ。LLMエージェントがどう動くかを決めるコードみたいなもの。
へえ、じゃあそのハーネスをテストのときに進化させるってどういうこと？普通は学習フェーズでやるんじゃないの？
そう。でもTTHEはモデルの重みは固定したまま、テスト時に実行痕跡だけを使ってハーネスを改善するんだ。正解ラベルも使わない。
実行痕跡って、エージェントが動いたログみたいなもの？それだけでどうやって良くするか判断するの？
そう。エージェント自身が候補のハーネスをいくつか生成して、それで動かした結果を比較して良いものを選ぶんだ。進化的アルゴリズムみたいな感じ。
なるほど！それでテキスト-to-SQLとか競技プログラミングでReActより良かったんだって？どれくらい改善したの？
5つの領域で試してて、特にテキスト-to-SQLで顕著だった。ReActベースラインより最大で10%以上精度が上がったケースもある。
すごい！でもそれって、テスト時に何度もエージェントを動かすから計算コストがかかりそうじゃない？
その通り。論文でも計算コストが課題として挙げられてる。あと、進化の過程でハーネスが複雑になりすぎて解釈しにくくなることもある。
でも、正解ラベルなしで改善できるのは面白いね。これって将来的には、エージェントが自分で自分の動き方をチューニングするってこと？
そういう方向性だね。特に実環境では正解データが手に入らないことが多いから、そういう場面で役立つかもしれない。
じゃあ、このTTHEを応用すれば、将来のAIは「テスト勉強」を自分でやるようになるのかな？私はテスト前にしか勉強しないけどね！
その例えだと、君は正解ラベルなしで進化してるってことになるな。