TL;DR
乳腺病変のRAGシステムで、検索評価用の正解データ（グラウンドトゥルース）を「チャンク」ではなく「証拠スパン」単位で見直すと、認識される証拠数が25→37に増え、受け入れチャンクも36→51に増えた。ただし検索ランキング自体は変わらず、スコアはアノテーションの網羅性に依存することが示された。ハイブリッド検索＋クロスエンコーダ再ランクが最も高い検索性能（Recall@3=0.94など）を示したが、小規模開発セットでの結果であり独立検証が必要。
解説
ねえ智也くん、このブログ記事面白そうだね！RAGの検索スコアが正解データの作り方で変わるってどういうこと？
ああ、乳腺病変のQAシステムで、検索評価に使う正解データの単位をチャンクから証拠スパンに変えたら、評価スコアが変わったって話だよ。
チャンクと証拠スパンって何が違うの？
チャンクは文書を分割した塊で、証拠スパンはその中でも実際に答えの根拠になる部分だけを指す。正解データを証拠スパン単位で見直すと、認識される証拠数が25から37に増えて、受け入れチャンクも36から51に増えたんだ。
へえ！じゃあ検索のランキング自体も良くなったの？
いや、ランキングは変わらなかった。スコアはアノテーションの網羅性に依存するって示されたんだ。つまり、正解データの作り方で評価スコアが変わるってこと。
なるほどね。で、検索性能はどうだったの？
ハイブリッド検索とクロスエンコーダ再ランクを組み合わせた方法が一番良くて、Recall@3が0.94だった。でも小規模な開発セットでの結果だから、独立した検証が必要だってさ。
ふーん、評価データの作り方一つでスコアが変わるって、なんかテストの採点基準みたいだね。先生によって点数が変わる的な。
まあ、そういうことだな。でもテストと違って、正解データが曖昧だとシステムの改善も難しくなるから、証拠スパン単位で見直すのは重要だと思う。