TL;DR

深掘りリサーチAIは、引用付きの長文レポートで、証拠が混在・限定的でも断定的な結論を出しがちです。論文は結論クレームごとに支持・反対の証拠を集め、観点別に整理して1〜5点で「平滑化」を測るSMOOTHSCOREを提案しています。7システム・4データセットで広く見られたと報告されています。

既存手法との違い

既存のクレーム検証や長文ファクトチェックは、個々のクレームが引用先に支持されるかを二値的に判定するものが中心です。SMOOTHSCOREは、引用文献全体から支持証拠と反証・限定条件を別々に抽出し、観点（アスペクト）ごとに並べて、主張の強さや範囲が証拠に対して過剰かを1〜5で評価する点が異なります。提示された本文では、既存手法との直接の数値比較は確認できません。

使える条件

対象は、引用付きの長文レポートを生成する深掘りリサーチ／研究エージェントです。原論文は7システム（GPT Luna 5.6+Websearch、GPT Sol 5.6+Websearch、Claude Sonnet 5+Websearch、Claude Opus 5.5+Websearch、Gemini Deep Research、DR Tulu、QUEST）と4データセット（ResearcherBench、ScholarQA-CS2 Expert-Written、DeepResearchBench II、ResearchRubrics）で評価しています。複数文書の統合が必要なクエリを手動選択しており、入力は質問・生成レポート・引用文献です。計算資源や日本語レポートでの適用可否は、提示された本文からは確認できません。

限界と未検証の範囲

結論を含むクレームの平滑化に焦点を当てた研究であり、広範なハルシネーション検出としての性能は未検証です。スコア5は純粋なハルシネーションも含み得ますが稀とされ、主眼は平滑化分析に置かれています。評価は4データセット・7システム・手動選択クエリに限られ、他領域・多言語・非研究タスクへの一般化は不明です。判定にLLM judgeを用いますが、そのバイアスや人手評価との一致は提示された本文からは確認できません。引用ページを開く割合の低さと平滑化の関連は報告されていますが、因果や介入効果は本文だけでは断定できません。

解説

ねえ智也くん、この「SMOOTHSCORE」って何？ 深掘りリサーチAIが、証拠は混ざってるのに断定しちゃう問題を測るやつ？

そう。論文ではそれをsmoothingと呼んでる。引用付きの長文レポートが、複数資料をまとめる時に、証拠のギザギザを消して、引用以上に強い結論を出す現象だね。

読む側からすると、引用がいっぱいあると正しそうに見えるから怖い。

そこがmotivation。個々の主張が引用に支持されるかを見るだけじゃ足りない。支持はあるけど、反対証拠や限定条件を落として範囲を広げるケースがある。

既存のクレーム検証は二値判定が多いってこと？

うん。従来はクレームやサブクレームが引用先に支持されるかを判定するものが中心。SMOOTHSCOREは引用文献全体から支持証拠と反証・限定条件を別々に集めて、観点ごとに並べて、主張の強さや範囲が過剰かを1〜5で見る。提示本文では既存手法との直接の数値比較は確認できない。

方法はどうやってるの？

まずレポートから結論を含む主張を抽出する。次に各主張について、Support Agentが支持的証拠を、Skeptic Agentが反証・限定・別アプローチの成功なんかを拾う。

支持と反対を別々に探すのがミソ？

そう。そのあと証拠をaspectって呼ぶ観点にクラスタリングして、同じ観点の支持・反対を並べて比較できる形にする。最後にjudgeが質問・主張・観点別証拠を見て、主張が証拠をどれだけ忠実に圧縮してるかを1〜5で採点する。高いほど平滑化が強い。

評価はどれくらいの規模？

7システムと4データセット。GPT Luna 5.6+Websearch、GPT Sol 5.6+Websearch、Claude Sonnet 5+Websearch、Claude Opus 5.5+Websearch、Gemini Deep Research、DR Tulu、QUESTで、ResearcherBench、ScholarQA-CS2 Expert-Written、DeepResearchBench II、ResearchRubricsを見てる。複数文書の統合が必要なクエリを手動で選んでる。

結果は？

平滑化は広く見られた。結果節では、≥3がどのシステム・データセットでも少なくとも22%の主張にあったと報告されてる。Gemini Deep Researchは22〜35%が≥4のsevere smoothing。抽象では少なくとも25%と書いてて、本文内で数字の表現が揺れてる点は注意。

へえ、Gemini結構強いんだ。オープンソース系は？

DR TuluとQUESTはmean scoreがSonnet-5と同程度か少し上くらい。≥3が少なくとも約59%と約55%、≥4が7〜23%と報告されてる。あとLunaが引用ページの19%しか開かないとか、引用文献との接触が少ないことも平滑化に関係してそうって話。

でもそれ因果って言い切れる？

提示本文だけでは因果や介入効果までは断定できない。あくまで関連の報告。

意義は、引用があるかじゃなくて、主張の強さと範囲が証拠に合ってるかを見れること？

そう。claim-levelでcalibrationを見る枠組みってのがcontribution。引用に支持されてるのにsmoothedってケースを拾える。

限界は？

まず結論を含む主張の平滑化に焦点を当てた研究で、広いハルシネーション検出としての性能は未検証。スコア5は純粋なハルシネーションも含み得るけど稀で、主眼は平滑化分析。評価も4データセット・7システム・手動選択クエリに限られる。LLM judgeのバイアスや人手評価との一致、日本語レポートでの適用可否、計算資源の前提は提示本文からは確認できない。

じゃあ私の「このレポート完璧！」も、証拠を平滑化した断定ってことで1点にして。

それは平滑化じゃなくて、単なる未提出だ。

The post LLM研究レポートの過剰な断定を定量化するSMOOTHSCORE first appeared on 亜美と智也のAI論文解説.

解説

ねえねえ智也くん、この論文のタイトル見て！「説得攻撃」だって。AIが誰かに説得されて「はい、その通りです！」って言っちゃうってこと？なんか可愛くない？

可愛い話じゃないよ、亜美。これは自動ファクトチェック、つまり情報の真偽を判定するAIの脆弱性についての深刻な研究なんだ。言葉巧みにAIを騙して、嘘を信じ込ませる手法を提案しているんだよ。

ええっ、AIって嘘を見破るのが得意なんじゃないの？どうやって騙すの？

これまでの「敵対的攻撃」っていうAIを騙す手法は、わざとタイポを入れたり、単語を入れ替えたりしてAIを混乱させるものが多かったんだ。でもこの論文は、人間が使うような「説得のテクニック」を文章に混ぜ込むことでAIをバグらせるんだよ。

説得のテクニック……？「今買わないと損ですよ！」みたいな感じ？

まあ、似たようなものかな。具体的には、わざと曖昧な言い方をしたり、論点をずらしたり、感情に訴えかけたりする15種類のテクニックを使うんだ。生成AIを使って、元の主張の「正解」は変えずに、言い回しだけを「説得モード」に書き換えるんだよ。

へー！でも、言い方を変えるだけでAIは騙されちゃうの？中身は同じなんでしょ？

そこがこの論文の面白いところだね。AIは文章の表面的なパターンに強く影響されるんだ。特に「巧みな言い回し」っていうカテゴリーの技を使うと、具体的な情報がぼかされるから、AIが正しい証拠を見つけられなくなったり、推論を間違えたりするんだよ。

なるほど、AIも「なんかそれっぽいこと言ってるな〜」って流されちゃうんだね。人間みたい！

実験結果も衝撃的だよ。FEVERっていう有名なデータセットで試したんだけど、この説得攻撃を使うとAIの正解率がガクンと落ちるんだ。特に、AIにとって一番ダメージが大きいテクニックをわざと選んで攻撃すると、正解率がほぼゼロになることさえあったんだ。

ほぼゼロ！？それって、ファクトチェックの意味がまったくないじゃん！

そうなんだ。しかも、この攻撃は「証拠を探すステップ」と「真偽を判定するステップ」の両方を同時に壊しちゃうんだよ。証拠が見つからないし、見つかっても判定を間違える。まさに完敗だね。

うわー、じゃあ悪い人がこの技術を使ったら、フェイクニュースがどんどん信じられちゃうってこと？

その危険性があるからこそ、この研究は重要なのさ。これからは、単に事実を確認するだけじゃなくて、こういう「説得のレトリック」に惑わされない、もっと頑丈なAIを作らなきゃいけないっていう警鐘を鳴らしているんだ。

今後の研究はどうなるの？

まずは、AIにこういう説得テクニックをあらかじめ学習させて、耐性をつけることが必要だね。あとは、文章の内容とスタイルを切り離して理解する能力を鍛えるとか。課題は山積みだよ。

そっかー。よし、私も智也くんを説得して、今日のお昼ご飯を豪華にしてもらう「説得攻撃」を練習しよっと！「智也くん、今日のランチは私の運勢を左右する重要なイベントなの！」

それはただの「無理難題」だよ。僕の財布のガードはAIより固いからね。自分で払いなさい。

要点

• 自動ファクトチェック（AFC）システムを騙すための新しい手法「説得インジェクション攻撃」を提案した。
• 従来の攻撃（タイポや類義語置換）とは異なり、LLMを用いて「言い回し」や「説得テクニック」を注入することでAIを混乱させる。
• 15種類の説得テクニックを検証し、特に「巧みな言い回し（Manipulative Wording）」がAIの判定精度と証拠検索能力の両方を著しく低下させることを示した。
• 最強の攻撃パターン（オラクル攻撃）では、AIの判定精度がほぼゼロにまで落ち込むことが判明した。
• AIが情報の真偽だけでなく、レトリック（修辞）によって容易に操作される脆弱性を浮き彫りにし、より堅牢なシステムの必要性を主張している。

The post AIも口車に乗せられる！？言葉巧みに嘘を信じ込ませる「説得攻撃」の脅威 first appeared on 亜美と智也のAI論文解説.

ねえ、智也くん！この論文のタイトル「事実に向き合おう！RAGベースのファクトチェックパイプラインを現実的な設定で評価する」って面白そうだね！内容を教えてくれない？

もちろん！この論文は、ファクトチェックのプロセスを自動化するための新しい手法について書かれているんだ。特に、Retrieval-Augmented Generation、略してRAGという手法を使っているよ。

RAGって何？

RAGは、情報を検索してその情報を基に文章を生成する手法なんだ。これにより、ファクトチェックの精度が向上するんだよ。従来の手法は、特定の事実確認記事が存在することを前提にしていたけど、RAGはその制約を取り除いているんだ。

なるほど！それで、どんな実験をしたの？

実験では、RAGを使った手法が異なる知識ベースに対してどれだけ効果的かを評価したんだ。結果として、LLMベースのリトリーバーが他の手法よりも優れていることがわかったけど、異なる知識ベースには苦戦していることも分かったよ。

それって、どういうこと？

つまり、LLMは特定の情報を引き出すのが得意だけど、情報源が多様だと正確な判断が難しくなるってことだね。大きなモデルは判決の信頼性が高いけど、小さなモデルは文脈に合った情報を提供するのが得意なんだ。

人間の評価ではどうだったの？

人間の評価では、ゼロショットとワンショットアプローチが情報の豊富さで好まれ、ファインチューニングされたモデルが感情の整合性で優れていることがわかったよ。

すごい！この研究の意義は何なの？

この研究は、ファクトチェックのプロセスを効率化する可能性があるんだ。特に、SNSなどで広がる誤情報に対抗するために、AIを活用することが期待されているよ。

でも、何か課題はあるの？

そうだね、異なる知識ベースに対する対応や、生成された情報の正確性を保つことが課題だね。今後の研究では、これらの問題を解決する方向に進む必要があると思う。

じゃあ、智也くんもファクトチェックして、私の宿題が正しいか確認してくれる？

それは無理だよ、宿題は自分でやらないと。

要点

自動ファクトチェックのためのRetrieval-Augmented Generation (RAG)手法の評価を行った。

従来の手法の制約を取り除き、より現実的なシナリオでの評価を目指した。

LLMベースのリトリーバーが他の手法よりも優れているが、異なる知識ベースには苦戦している。

大きなモデルは判決の信頼性が高いが、小さなモデルは文脈の適合性が良い。

人間の評価では、ゼロショットとワンショットアプローチが情報の豊富さで好まれ、ファインチューニングされたモデルが感情の整合性で優れている。

参考論文: http://arxiv.org/abs/2412.15189v1

The post AIがファクトチェックを助ける？面白い研究の話！ first appeared on 亜美と智也のAI論文解説.

ねえ、智也くん！この「VERITAS: A Unified Approach to Reliability Evaluation」っていう論文、面白そうだね！内容教えてくれる？

もちろん！この論文は、大規模言語モデルが文脈から情報をうまく合成できず、信頼性が低い問題について話してるんだ。

信頼性が低いってどういうこと？

例えば、LLMが生成する内容が、見た目は正しそうでも実際には間違っていることがあるんだ。これを幻覚って呼ぶんだよ。

幻覚？それって面白い言葉だね！でも、どうしてそんなことが起こるの？

主に、LLMが自分の知識だけに頼って情報を生成するからなんだ。特に、関連する資料がない場合、正しい情報を思い出せないことが多いんだ。

なるほど！それで、VERITASって何なの？

VERITASは、幻覚を検出するための新しいモデルで、さまざまな文脈で柔軟に動作するんだ。コストと遅延を最小限に抑えながら、信頼性を高めることができるんだよ。

すごい！そのモデルはどれくらい効果的なの？

VERITASは、主要な幻覚検出ベンチマークでのパフォーマンスが10%向上していて、GPT-4ターボに近い性能を持っているんだ。

それってすごいね！この研究の意義は何なの？

この研究は、LLMの信頼性を向上させることで、より安全に使えるアプリケーションを作る手助けになるんだ。将来的には、さまざまな分野での応用が期待されているよ。

でも、何か課題はあるの？

そうだね、まだいくつかの限界があって、特に複雑な会話の中での幻覚検出は難しいんだ。今後の研究でその辺を改善していく必要があるね。

じゃあ、智也くんも幻覚を見ないように気をつけてね！

それは君の方が気をつけるべきだよ、亜美さん。

要点

大規模言語モデル（LLM）は、文脈から情報を合成して正確な応答を生成するのが苦手で、信頼性が低い。

LLMの信頼性を高めるためには、堅牢なファクトチェックシステムが必要で、さまざまな形式の幻覚を検出できることが重要。

既存のオープンアクセスのファクトチェックモデルは特定のタスクに限定され、会話形式では効果が薄い。

VERITASは、さまざまな文脈で柔軟に動作し、コストと遅延を最小限に抑えた幻覚検出モデルのファミリー。

VERITASは、主要な幻覚検出ベンチマークでの平均パフォーマンスが10%向上し、GPT-4ターボに近い性能を達成している。

参考論文: http://arxiv.org/abs/2411.03300v1

The post 信頼性を高める新しいアプローチ！VERITASの魅力とは？ first appeared on 亜美と智也のAI論文解説.

ねえ智也くん、この「RAGAR, Your Falsehood RADAR」という論文のタイトルが面白そう！何について書かれてるの？

これは、政治的な議論における誤情報に対抗するための新しいファクトチェック手法についての研究だよ。大規模言語モデルと検索拡張生成技術を使って、より正確で効率的な多モーダルファクトチェックを実現しているんだ。

多モーダルって何？

多モーダルとは、テキストだけでなく、画像や音声など複数のモードを含む情報のことを指すよ。

へぇ、それで、どんな方法を使ってるの？

この研究では、Chain of RAGとTree of RAGという二つのアプローチを提案しているよ。これらは、以前の証拠に基づいて次に答えるべき質問を推論することで、情報の真実性を判断する手助けをするんだ。

実験の結果はどうだったの？

実験では、これらの新しい手法が従来のファクトチェック手法よりも優れていることが示されたよ。特に、真実性の予測と説明の生成が向上しているんだ。

それって、どんな意味があるの？

これにより、誤情報をより効果的に識別し、対処することが可能になる。つまり、公共の場での情報の信頼性が向上するわけだ。

未来の研究の方向は？

今後は、さらに多くのデータモードを統合し、アルゴリズムの精度を高めることが考えられるね。また、異なる文化や言語における誤情報に対応できるようにすることも重要だろう。

ふーん、でも私が誤情報を見分けるRADARがあれば、もうデートの失敗はないね！

それはちょっと違う使い方かもしれないけど…、まあ、確かに役立つかもね。

要点

この論文では、政治的な議論における誤情報の問題に対処するための新しいファクトチェック手法を提案しています。

提案された手法は、大規模言語モデル（LLMs）と検索拡張生成（RAG）を組み合わせたもので、テキストと画像の両方を分析することができます。

具体的には、Chain of RAG（CoRAG）とTree of RAG（ToRAG）という二つの新しい方法論が紹介されています。

これらの手法は、以前の証拠に基づいて次に答えるべき質問を推論することで、多モーダルな主張を処理します。

実験結果によると、従来のファクトチェック手法よりも真実性の予測と説明の生成が向上しています。

参考論文: http://arxiv.org/abs/2404.12065v1

The post 政治的誤情報に挑む新技術 first appeared on 亜美と智也のAI論文解説.

ねえ智也くん、この論文のタイトル見て興味が湧いたんだけど、「クレームチェック価値検出って何？」って教えてくれる？

もちろん、亜美。クレームチェック価値検出（CW）は、テキストがファクトチェックを必要とするかどうかを判断するタスクだよ。特に、社会にとって興味深いかどうかを基準にしてね。

へえ、それってどうやって判断するの？

この論文では、大規模言語モデルを使って、ラベルなしデータでもクレームの価値を判断できる方法を提案しているんだ。具体的には、プロンプトと呼ばれる指示をモデルに与えてね。

プロンプトって何？

プロンプトは、モデルに何をすべきかを教えるための短いテキストだよ。この場合、どの情報がチェックされるべきかをモデルに伝えるために使うんだ。

実験の結果はどうだったの？

異なるドメインでのデータセットを使ってテストした結果、プロンプトの詳細度がドメインによって最適なレベルが異なることがわかったよ。また、文脈を追加してもパフォーマンスは向上しなかったんだ。

それってどういう意味があるの？

これは、ファクトチェックの自動化を進める上で、どのようにモデルを訓練すれば効果的かを理解する手助けになるね。将来的には、より正確で信頼性の高い情報検証ツールが開発される可能性があるよ。

未来の研究の方向性はどうなると思う？

今後は、さらに多くのドメインや言語での実験が必要だね。また、プロンプトの最適化やモデルの校正方法の改善も重要な研究テーマになるだろう。

ふむふむ、なるほどね！でも、プロンプトって言うたびに、プロンプトって何かのお菓子みたいでお腹が空いてくるなあ！

それは…ちょっと違うけど、勉強になったみたいで何よりだね。

要点

ディスインフォメーションの増加に対応して、ファクトチェックの自動化が重要になっています。

クレーム検出（CD）とクレームチェック価値検出（CW）は、テキストセグメントがファクトチェックを必要とするかどうかを識別するタスクです。

ゼロショットおよびフューショットの大規模言語モデル（LLM）プロンプティングは、ラベル付きデータセットを必要とせず、クレームと価値基準を直接使用できるため魅力的です。

5つの異なるドメインからのCD/CWデータセットを使用して、LLMの予測精度と校正精度を評価しました。

プロンプトの詳細度と提供される文脈の量を変える実験を行い、最適なプロンプトの詳細度はドメイン依存であることがわかりました。

文脈を追加することはパフォーマンスを改善しないことが示されました。

信頼スコアを直接使用して、信頼性の高いチェック価値ランキングを生成できます。

参考論文: http://arxiv.org/abs/2404.12174v1

The post クレームチェック価値検出についての解説 first appeared on 亜美と智也のAI論文解説.