TL;DR
DeepSearchエージェントが検索結果を毎回すべて持ち回る無駄を減らすQRAE。推論モデル自身の一部の注意ヘッドの反応から検索チャンクの関連度をスコア化し、高スコアのチャンクだけを推論コンテキストに残します。不確実なチャンクは候補キャッシュに退避し、後で再評価できます。追加の生成圧縮パスや注意演算の変更は不要と論文は報告。複数ベンチマーク・モデルで成功率平均+2.35ポイント、遅延約30%減、報告トークン約45%減（原論文の報告）。ただし評価対象は論文のDeepSearch設定です。
既存手法との違い
原論文では、非圧縮のDeepSearchを基準に、LLMLingua-2、ACON、Rerank、QRHead、SideQuestと比較しています。比較は推論バックエンドを揃えた条件で行われ、QRAEは追加のLLM生成圧縮パスや注意演算の変更なしに、モデル内部の注意エントロピーで残す検索チャンクを選ぶ点が異なります。ACONは履歴要約、LLMLingua-2はトークン削除、Rerankは検索結果の再順位付け、QRHeadは注意ヘッドによるテキスト選択、SideQuestは文脈管理とKVキャッシュ最適化を組み合わせる手法です。原論文の要約では、DeepDiver-7Bを主に4ベンチマークで評価し、複数モデル・ベンチマーク平均で成功率+2.35ポイント、遅延約30%減、報告トークン約45%減と報告されています。ただし提示本文は表1の個別数値が途切れており、各ベースラインとの個別比較の全数値は確認できません。
使える条件
DeepSearchエージェントが検索で得たテキストチャンクを推論コンテキストに持ち回る設定が対象です。推論LLMは凍結し、prefill時に選択した注意行へアクセスできるバックエンドフックが必要です。重み変更や注意演算子の変更は不要とされています。オフラインでモデルごとにHotpotQA軌跡100件を使い、回答トークンへの注意が高いヘッドを選び、そのヘッドを固定します。オンラインではクエリ付き/なしのpaired prefillを実行し、候補バッチKはエージェントの検索結果件数に一致します。|Ut|≥Kで最大1回/クエリ更新評価し、保持率ρ=0.5が既定です。候補キャッシュはKV状態ではなく生テキストを保持します。評価はBrowseComp-Plus、XBench-DeepSearch、FRAMES、SimpleQA、モデルはDeepDiver-7BほかLiteResearcher-4B、WebSeer-14B、OpenResearcher-30B、OpenPangu-2.0-Flash-92Bです。その他のタスク・モデル・バックエンドでの動作は提示本文からは確認できません。
限界と未検証の範囲
評価はDeepSearchベンチマークと列挙モデルに限られ、一般的な検索拡張生成や他種のエージェントへの一般化は未検証です。ヘッドのオフライン定位はHotpotQA 100軌跡に依存し、モデルごとに実施が必要です。ホワイトリスト入りは永続的で、後で不要になっても推論コンテキストから外れません。不確実チャンクは候補キャッシュに残りますが推論コンテキスト外なので、再評価されるまで利用されません。固定保持率ρ=0.5で絶対スコア閾値はありません。注意行取得のバックエンドフックが必要で、対応できない環境では適用困難です。クエリ付き/なしprefillの最終読み出し位置が一致しない近似があり、付録で影響を評価していると本文にありますが詳細は提示本文から確認できません。個別ベースライン比較の全数値は提示本文では確認できません。成功率向上は平均+2.35ポイントと控えめで、全設定で一貫して改善するかは不明です。
解説
ねえ智也くん、このQRAEって論文、検索結果を毎回全部持ち回る無駄を減らすってやつ？何が問題なの？
うん。DeepSearchエージェントは検索のたびにチャンクを推論コンテキストに積んで、後のステップでも何度も読む。でも後で使わない結果も多いから、トークンと遅延が増える。
ふーん、じゃあ要約して圧縮する感じ？
そこが違う。QRAEは要約パスを追加しない。モデル自身の一部の注意ヘッドの反応を使って、残すチャンクを選ぶ。
注意ヘッド？難しそう。
オフラインで、回答トークンに注意が向くヘッドをモデルごとに選ぶ。HotpotQAの100軌跡を使って、そのヘッドを固定する。
オンラインではどう使うの？
クエリ付きとクエリなしのpaired prefillをして、注意の差分を取る。クエリで増えた反応を正にクリップして、チャンク内で正規化エントロピーを計算する。反応が複数の支持トークンに広がるほど高スコア。
なるほど、ピンポイントじゃなくて広がってるやつを残すんだ。
そう。高スコアはホワイトリストに入って推論コンテキストに残る。不確実なものは候補キャッシュに退避して、後で再評価できる。
捨てないのがいいね。でもホワイトリストに入ったら外れないの？
論文では入ったら永続的。後でスコアが変わっても外れない。これは制限の一つ。
評価は？
BrowseComp-Plus、XBench-DeepSearch、FRAMES、SimpleQA。モデルはDeepDiver-7Bが主で、LiteResearcher-4B、WebSeer-14B、OpenResearcher-30B、OpenPangu-2.0-Flash-92Bも。
比較は？
非圧縮のDeepSearchが基準。LLMLingua-2、ACON、Rerank、QRHead、SideQuestと比較。QRAEは追加の生成圧縮も注意演算の変更も不要って報告。
結果はすごいの？
原論文の報告では、複数ベンチマーク・モデル平均で成功率+2.35ポイント、遅延約30%減、報告トークン約45%減。約100Bパラメータのモデルにも一般化したと。
成功率は控えめだけど、遅延とトークンは大きいね。
ただ提示本文では表1の個別数値が途切れてて、各ベースラインとの全比較は確認できない。あと評価は論文のDeepSearch設定に限られる。
じゃあ普通のRAGとかにそのまま使えるかは不明なんだ。
うん。ヘッド定位はモデルごとに必要で、HotpotQA 100軌跡依存。バックエンドで注意行を取れるフックも必要。固定保持率ρ=0.5で絶対閾値なし。候補キャッシュは推論コンテキスト外だから再評価まで使われない。
でも「モデル自身の信号で選ぶ」って面白いね。要約モデルを別に呼ばないのが省エネっぽい。
そう。モデル内部の証拠信号を使って、丸ごとチャンクを残すか退避するかを決める。回復可能な先送りって設計がポイント。
つまり、検索結果の「保留リスト」を作る感じ？ 私もレポートの参考文献、QRAEで選別してほしいな。どうせ読まないし。
レポートはまず全部読めよ。