TL;DRLLM-as-Jud…
TL;DR
BioASQタスク14Bで1位を獲得したシステム。2つの並列検索パイプライン（ハイブリッド＋エージェント）をBGE品質ゲートで評価し、弱い質問だけを再検索することで12%のコスト削減とlist F1向上を両立。複数LLMの回答は、LLM-as-judge（選択型）と同義語ユニオン（融合型）を指標に応じて使い分ける理論的枠組みを提案。
解説
智也くん、このBioASQの論文、面白そうだね！1位を取ったシステムなんでしょ？
うん。BioASQタスク14Bで1位。特にコスト削減と精度向上を両立してるのがポイントだよ。
コスト削減って、どうやってやったの？普通、精度上げようとするとお金かかるイメージなんだけど。
2つの検索パイプラインを並列で動かして、BGEっていう品質ゲートで評価してるんだ。弱い質問だけを再検索することで、全体の12%のコストを削減しつつ、list F1も向上させてる。
へえ、無駄な再検索を減らすってことか。でも、複数のLLMの回答をどう扱ってるの？
そこがもう一つの工夫。LLM-as-judgeっていう選択型と、同義語ユニオンっていう融合型を、指標に応じて使い分けてるんだ。例えば、正確さが大事なときは選択型、網羅性が大事なときは融合型って感じ。
なるほど！状況に応じて戦略を変えるって、すごく理論的だね。でも、この方法ってどんな限界があるの？
BGEゲートの品質に依存するから、ゲート自体の精度が低いと効果が薄れる。あと、LLM-as-judgeの判断基準がブラックボックスになりがちで、解釈性に課題がある。
確かに、AIに判断させるって、中身が見えないと不安だよね。でも、全体としてはすごくバランスの取れた研究だと思う！
そうだね。実用的な視点と理論的な枠組みを両立してるのが評価できる。
じゃあ、このシステムを使って、私の卒論も自動で書いてもらおうかな？
それはさすがに無理だよ。自分で書かないと意味ないから。