TL;DR
深掘りリサーチAIは、引用付きの長文レポートで、証拠が混在・限定的でも断定的な結論を出しがちです。論文は結論クレームごとに支持・反対の証拠を集め、観点別に整理して1〜5点で「平滑化」を測るSMOOTHSCOREを提案しています。7システム・4データセットで広く見られたと報告されています。
既存手法との違い
既存のクレーム検証や長文ファクトチェックは、個々のクレームが引用先に支持されるかを二値的に判定するものが中心です。SMOOTHSCOREは、引用文献全体から支持証拠と反証・限定条件を別々に抽出し、観点（アスペクト）ごとに並べて、主張の強さや範囲が証拠に対して過剰かを1〜5で評価する点が異なります。提示された本文では、既存手法との直接の数値比較は確認できません。
使える条件
対象は、引用付きの長文レポートを生成する深掘りリサーチ／研究エージェントです。原論文は7システム（GPT Luna 5.6+Websearch、GPT Sol 5.6+Websearch、Claude Sonnet 5+Websearch、Claude Opus 5.5+Websearch、Gemini Deep Research、DR Tulu、QUEST）と4データセット（ResearcherBench、ScholarQA-CS2 Expert-Written、DeepResearchBench II、ResearchRubrics）で評価しています。複数文書の統合が必要なクエリを手動選択しており、入力は質問・生成レポート・引用文献です。計算資源や日本語レポートでの適用可否は、提示された本文からは確認できません。
限界と未検証の範囲
結論を含むクレームの平滑化に焦点を当てた研究であり、広範なハルシネーション検出としての性能は未検証です。スコア5は純粋なハルシネーションも含み得ますが稀とされ、主眼は平滑化分析に置かれています。評価は4データセット・7システム・手動選択クエリに限られ、他領域・多言語・非研究タスクへの一般化は不明です。判定にLLM judgeを用いますが、そのバイアスや人手評価との一致は提示された本文からは確認できません。引用ページを開く割合の低さと平滑化の関連は報告されていますが、因果や介入効果は本文だけでは断定できません。
解説
ねえ智也くん、この「SMOOTHSCORE」って何？ 深掘りリサーチAIが、証拠は混ざってるのに断定しちゃう問題を測るやつ？
そう。論文ではそれをsmoothingと呼んでる。引用付きの長文レポートが、複数資料をまとめる時に、証拠のギザギザを消して、引用以上に強い結論を出す現象だね。
読む側からすると、引用がいっぱいあると正しそうに見えるから怖い。
そこがmotivation。個々の主張が引用に支持されるかを見るだけじゃ足りない。支持はあるけど、反対証拠や限定条件を落として範囲を広げるケースがある。
既存のクレーム検証は二値判定が多いってこと？
うん。従来はクレームやサブクレームが引用先に支持されるかを判定するものが中心。SMOOTHSCOREは引用文献全体から支持証拠と反証・限定条件を別々に集めて、観点ごとに並べて、主張の強さや範囲が過剰かを1〜5で見る。提示本文では既存手法との直接の数値比較は確認できない。
方法はどうやってるの？
まずレポートから結論を含む主張を抽出する。次に各主張について、Support Agentが支持的証拠を、Skeptic Agentが反証・限定・別アプローチの成功なんかを拾う。
支持と反対を別々に探すのがミソ？
そう。そのあと証拠をaspectって呼ぶ観点にクラスタリングして、同じ観点の支持・反対を並べて比較できる形にする。最後にjudgeが質問・主張・観点別証拠を見て、主張が証拠をどれだけ忠実に圧縮してるかを1〜5で採点する。高いほど平滑化が強い。
評価はどれくらいの規模？
7システムと4データセット。GPT Luna 5.6+Websearch、GPT Sol 5.6+Websearch、Claude Sonnet 5+Websearch、Claude Opus 5.5+Websearch、Gemini Deep Research、DR Tulu、QUESTで、ResearcherBench、ScholarQA-CS2 Expert-Written、DeepResearchBench II、ResearchRubricsを見てる。複数文書の統合が必要なクエリを手動で選んでる。
結果は？
平滑化は広く見られた。結果節では、≥3がどのシステム・データセットでも少なくとも22%の主張にあったと報告されてる。Gemini Deep Researchは22〜35%が≥4のsevere smoothing。抽象では少なくとも25%と書いてて、本文内で数字の表現が揺れてる点は注意。
へえ、Gemini結構強いんだ。オープンソース系は？
DR TuluとQUESTはmean scoreがSonnet-5と同程度か少し上くらい。≥3が少なくとも約59%と約55%、≥4が7〜23%と報告されてる。あとLunaが引用ページの19%しか開かないとか、引用文献との接触が少ないことも平滑化に関係してそうって話。
でもそれ因果って言い切れる？
提示本文だけでは因果や介入効果までは断定できない。あくまで関連の報告。
意義は、引用があるかじゃなくて、主張の強さと範囲が証拠に合ってるかを見れること？
そう。claim-levelでcalibrationを見る枠組みってのがcontribution。引用に支持されてるのにsmoothedってケースを拾える。
限界は？
まず結論を含む主張の平滑化に焦点を当てた研究で、広いハルシネーション検出としての性能は未検証。スコア5は純粋なハルシネーションも含み得るけど稀で、主眼は平滑化分析。評価も4データセット・7システム・手動選択クエリに限られる。LLM judgeのバイアスや人手評価との一致、日本語レポートでの適用可否、計算資源の前提は提示本文からは確認できない。
じゃあ私の「このレポート完璧！」も、証拠を平滑化した断定ってことで1点にして。
それは平滑化じゃなくて、単なる未提出だ。