TL;DR
LISTQAは、3〜10要素のリストで答える事実知識検索を測る人手検証済み9,045問のベンチマーク。単純リストと複合リストを含み、最適な要素対応付けとLLM判定で正解・幻覚・形式を評価する。34モデルでは最高でも標準推論のLLM-Judge-F1が37%未満で、複合質問はより難しく、元のWikipediaページを与えるoracle RAG条件では大幅に改善した。
既存手法との違い
論文の表1では、単一回答QA（TriviaQA、Natural Questions、PopQA、SimpleQAなど）、複数回答QA（QAMPARI、RoMQA）、多段推論QA（HotpotQA、MuSiQue、GPQA）、表・構造化QA（WikiTableQuestions、HybridQA）、時系列QA（FreshQA、RecencyQA）、長文事実性（FActScore、FACTS Grounding）、知識較正（SelfAware）と比較している。LISTQAは、複数要素検索、構造化出力、evergreen設計、知識と指示追従の同時評価を狙う点が異なると論文は主張する。既存の複数回答QAは集合の重複評価が中心で、構造や形式遵守を測らない。単一回答QAは、要素の完全性、余計な幻覚、リスト形式を測れない。表QAは与えられた表の理解が中心。評価面では、完全一致やROUGEは言い換え・順序違い・一部幻覚を適切に扱えず、LLM-as-judgeやatomic-claim検証は要素ごとの対応付け機構を持たない、と述べられている。
使える条件
本ベンチマークは、LLMが複数の事実を列挙し、構造化リストで返す能力の評価に使う。入力はWikipedia表に基づく客観的・閉じた質問で、正解は3〜10要素。SimpleListQAは単一ファセットのフラットリスト、ComplexListQAは複数ファセットの階層リスト。8カテゴリ・60カ国以上、2000〜2024年を中心に2017〜2024年を重視し、2024年12月31日時点で正しいground truthを持つ。出力は番号付きリストなどregexパーサで要素抽出できる形式が前提。評価は、最適二部マッチングとLLMの意味判定によるLLM-Judge-F1に、カバレッジ、精度、形式遵守、語彙重複の指標を加える。データセットと評価コードは公開されると記述。oracle RAG実験では元Wikipediaページをモデルに与える条件も評価している。
限界と未検証の範囲
論文が報告する限界・注意点: 最高の標準推論モデルでもLLM-Judge-F1は37%未満で、複合質問は全モデルで難しい。思考有効化は事実精度を改善するが、形式遵守への影響はモデル系やアーキテクチャに依存する。元Wikipediaページを与えると全モデルで大きく改善し、パラメータからの想起が主ボトルネックとされる。データはWikipedia表由来の8カテゴリ、3〜10要素、客観的・閉じた質問に限定され、主観的・オープンエンドな質問、長いリスト、Wikipedia以外のソース、8カテゴリ外、2024年12月31日以降の変化への一般化は本文からは確認できない。順序付きは14.6%で、順序要求の網羅性は限定的。曖昧な質問表現に起因する残存誤り1.7%が報告されている。評価はregexパーサとLLM判定に依存し、judgeの詳細な検証条件、自由形式応答への頑健性、他言語への一般化は提示本文からは確認できない。
解説
ねえ智也くん、この「LISTQA」ってベンチマーク、タイトルだけだと難しそう。何を測るの？
一言で言うと、LLMが「複数の事実を漏れなくリストで答える」力を測るベンチマーク。普通のQAは答えが1つだけど、現実には「条件に合うものを全部挙げて」みたいな質問が多いんだ。
なるほど。旅行で「2022年以降に就航した直行路線を全部」とか、研究で「条約を批准した国を全部」みたいなやつだね。既存のベンチマークじゃ足りないの？
論文では、単一回答QAは要素の完全性、余計な幻覚、リスト形式を測れないって指摘してる。複数回答QAも集合の重複評価が中心で、構造化出力や形式遵守は見てない。表QAは与えられた表の理解が中心だしね。
じゃあLISTQAは、複数要素検索・構造化出力・evergreen設計・知識と指示追従の同時評価を狙うのが違いなんだ。表1でTriviaQAやQAMPARI、HotpotQA、WikiTableQuestions、FreshQA、FActScore、SelfAwareとかと比較してるんだよね。
そう。で、中身は9,045問の人手検証済み質問。正解は3〜10要素のリストで、SimpleListQAはフラットな単一ファセット、ComplexListQAは各要素にサブ属性がある階層リスト。Wikipediaの表に基づいて、8カテゴリ・60カ国以上、2000〜2024年、特に2017〜2024年を重視してる。
evergreenって、時間が経っても正解が古くならないようにする工夫だよね。具体的には？
質問に明示的な時間制約を入れたり、歴史的に不変な事実を使ったりする。あと2024年12月31日時点で正しいground truthになってる。人手監査では481問中8問、1.7%の残存誤りで、主に曖昧な質問表現が原因だったって報告されてる。
評価はどうやるの？リストって順番も表記ゆれもあるから、完全一致は厳しそう。
論文は要素マッチングを線形和割当問題として捉えてる。予測要素と参照要素を最適二部マッチングで対応付けて、LLMで意味的に正しいか判定する。これがLLM-Judge-F1で、事実精度と幻覚へのペナルティを要素単位で見られる。ほかにカバレッジ、精度、形式遵守、語彙重複の指標も使う。
完全一致やROUGEだと「New England Patriots」と「NE Patriots」の違いや順序違い、1個だけ幻覚が混ざったときにうまく扱えないもんね。LLM-as-judgeも、要素ごとの対応付けがないとリスト全体をなんとなく受け入れがちなんだ。
その通り。で、34モデル・8ファミリ・42構成を評価して、標準推論の最高でもLLM-Judge-F1は37%未満。複合質問は全モデルでより難しかった。
思考有効化はどうだったの？
事実精度は一貫して改善するけど、形式遵守への影響はモデル系やアーキテクチャに依存する。あと元のWikipediaページを与えるoracle RAG条件では全モデルで大きく改善して、パラメータからの想起が主ボトルネックだと示してる。
つまり「リストに並べる能力」より「正しい事実をパラメータから取り出す能力」がボトルネックってことか。意義は、要素ごとに監査できるから、どの項目が幻覚でどこが抜けたかを具体的に見られることだね。
そう。ユーザーや自動評価が各要素を独立に確認できるし、臨床や法務みたいに各項目が独立した結果を持つ領域では特に重要だと論文は言ってる。
でも限界もあるよね。Wikipedia表由来の客観的・閉じた質問で、3〜10要素、8カテゴリ、2024年12月31日時点のground truthに限定されてる。主観的・オープンエンドな質問や長いリスト、Wikipedia以外のソース、8カテゴリ外、その後の変化への一般化は提示本文からは確認できない。
あと順序付きは14.6%で、順序要求の網羅性は限定的。評価はregexパーサとLLM判定に依存してて、judgeの詳細な検証条件や自由形式応答への頑健性、他言語への一般化も本文からは確認できない。
ふむふむ。じゃあ私もまずは「今日やることリスト」を3〜10要素で漏れなく出して、oracle RAGならぬoracle母に確認してもらおうかな。
それは検索じゃなくてただの忘れ物確認だろ。