TL;DR
対話型LLMでは、ユーザーが応答を見て次の依頼や難易度を変えるため、モデル自身が評価用プロンプト分布を変えます。固定プロンプトのオフライン評価は「共通分布効果」、ユーザーをランダム割付するA/Bテストは「誘導分布効果」を推定し、大標本でも一致せず順位が反転し得ます。論文は両者の分解、順位一致を保証する十分条件、事前スクリーニングの考え方、ユーザー適応が推定分散を増やす条件を示します。
既存手法との違い
既存のLLM評価は、固定プロンプト集合の静的ベンチマークや、デプロイ履歴の会話を候補モデルにリプレイする比較が中心で、プロンプト分布を所与として扱います。本論文は、ユーザーがモデル応答後にプロンプト戦略・タスク種別・難易度を変える「ユーザー適応」と、モデル応答が次のプロンプトに影響する「プロンプト内生性」を明示し、オフライン評価の差の平均推定量が共通分布効果、ライブA/Bテストの差の平均推定量が誘導分布効果に収束することを示します。原論文は実データでの手法比較ではなく、理論的枠組みと例示・様式化モデルによる比較です。
使える条件
対象は、書き物・プログラミング・検索など多様なタスクを扱い、ユーザーが応答を見て次の依頼を変える対話型LLMシステムです。主結果は、次のプロンプトが直前のモデル応答のみに依存し、モデル応答が現在のプロンプトのみに依存するマルコフ・単一ターン依存を仮定し、ユーザー間・会話間の独立も仮定します。事前スクリーニングでは、M0下の履歴プロンプト分布、履歴デプロイデータによる分布シフトの近似、既存プロンプトによるM1の性能異質性の近似が必要です。大標本領域の議論であり、必要サンプル数や計算資源の具体的要件は提示本文からは確認できません。
限界と未検証の範囲
主結果はマルコフ・単一ターン依存とユーザー間独立の仮定に依存し、ユーザー同士の学習や他会話からの波及は扱いません。分散解析は様式化線形モデルで、フィードバック強度γPγMの3領域を特徴づけるにとどまります。順位一致の十分条件は保証であり、必要な条件の一般解ではありません。提示本文には実運用のA/Bテストや公開ベンチマークでの実証結果は確認できず、例示の数値は説明用の例として提示されています。バーンイン除去の是非は、共通分布効果・短期性能・長期性能のどれを測るかで変わります。
図1: 提案手法の概要（本記事による図解）
解説
智也、この論文タイトル長いけど、要はLLMの評価がズレるって話？
そう。対話型LLMだと、ユーザーが応答を見て次の依頼を変える。そのせいでモデル自身が評価用のプロンプト分布を変えちゃう。
え、プロンプト分布って、質問の集まりが変わるってこと？
そう。難しい依頼に移ったり、プロンプトの書き方を変えたり。モデル応答が次のプロンプトに影響するから、プロンプトが内生になる。
普通の評価とライブのA/Bテストって、何が違うの？
オフライン評価は同じ固定プロンプト集合で比べる。A/Bテストはユーザーをモデルにランダム割付して、その後のやり取りごと測る。
なるほど。で、この論文は何を分けたの？
共通分布効果と誘導分布効果。前者は同じプロンプト分布での性能差、後者は各モデルがユーザーとの相互作用で誘導した分布での性能差。
名前は難しいけど、同じ質問で比べるか、そのモデルが実際に引き出した質問で比べるか、って感じ？
その理解でいい。で、オフラインの差の平均は共通分布効果、A/Bテストの差の平均は誘導分布効果に大標本で収束する。
サンプル増やしても一致しないことがあるの？
ある。だから順位が反転し得る。論文のメール作成の例だと、最初は同じ成功率でも、良い応答がユーザーを難しい依頼に向かわせて、集計では別モデルが勝つことがある。
それ、評価方法でデプロイ先が変わるってこと？怖い。
そう。誘導分布効果は共通分布効果と分布シフト項に分解できる。共通分布効果が、シフトと新モデルの性能異質性に対して十分大きければ順位一致が保証される。
十分条件って、事前にスクリーニングできるの？
できる想定。M0下の履歴プロンプト分布、履歴デプロイデータから分布シフトを近似、既存プロンプトからM1の性能異質性を近似して、条件を満たすか見る。
じゃあオフラインで足りるか、A/Bテストすべきかの判断に使えるんだ。
ただし仮定はある。主結果は、次のプロンプトが直前のモデル応答だけに依存し、応答が現在のプロンプトだけに依存するマルコフ・単一ターン依存。ユーザー間の独立も仮定する。
ユーザー同士が学び合うとか、他会話の影響は扱わないってことだね。
そう。分散解析も様式化した線形モデルで、フィードバック強度の積が小さいとターン数で減るけど、中くらいで線形、大きいと指数で分散が増える。
評価の分散までユーザー適応で変わるんだ。
だからユーザー数と時間幅を適応性に合わせて設計する必要がある。あと報酬ハッキングや新規性効果も、ユーザー適応の共通メカニズムとして解釈できる。
既存研究とは何が違うの？
既存は固定プロンプトの静的ベンチマークや、履歴を候補モデルにリプレイする比較が中心で、プロンプト分布を所与として扱う。この論文はモデルがユーザー行動を通じて分布自体を変える点を見る。
でも実データでA/Bテストと公開ベンチマークを比較した結果は？
提示された本文からは確認できない。例示と様式化モデルが中心で、実運用での実証は本文にはない。十分条件も保証であって必要条件的な一般解じゃない。
なるほど。評価では共通分布効果と誘導分布効果を分けて、プロンプト構成やタスク別性能も見るべきなんだ。
そう。モデル性能だけでなく、モデルがユーザー行動をどう変えたかも測る必要がある。バーンイン除去も、共通分布効果を見たいのか短期か長期かで意味が変わる。
じゃあ私が難しいタスクばっか投げるのって、モデルに誘導された結果かもしれないじゃん？
いや、それは単に好奇心。