TL;DR
ReX-GGは、複数LLMにJSON形式で関係抽出させ、匿名ピアランキングで最良出力を選び、埋め込みでノード表記ゆれを統合してHTML関係グラフ化する軽量パイプラインです。英語科学記事の4関係を対象に、人手正解との比較で平均知覚精度0.778を報告しています。ただし小規模なユーザー調査であり、既存手法との直接比較や汎用性の検証は限定的です。
既存手法との違い
原論文は既存手法との同一条件での直接的な性能比較を提示していません。Related Worksでは、既存のLLMアンサンブルは追加のランキングモジュール、トークン/スパン解析、ファインチューニング、外部知識リポジトリを要する重い構成が多いと整理しています。提案法はスキーマ強制JSONと匿名ピアランキングで軽量化を狙う点が違いです。評価は人手注釈グラフを基準とした匿名ユーザー調査で、平均知覚精度0.778を報告していますが、これは既存手法との優劣比較ではありません。
使える条件
原論文の評価対象は英語のポピュラーサイエンス記事で、叙述的な直接ペア関係4種（強い因果、弱い因果、対比、構成）を抽出します。LLMはJSON構造化出力が可能で、API経由または自社環境に柔軟配置できるとされています。埋め込みモデルとNetworkX/PyVisを用いてインタラクティブHTMLグラフを生成します。提示本文ではOpenRouter経由の7モデル構成、4000トークン制限、固定seed、約£10のコストが示されています。他言語、他分野、大規模データ、リアルタイム性は未検証です。
限界と未検証の範囲
評価は英語科学記事20件程度（人手注釈2件＋パイプライン処理18件）と小規模で、各記事を6名のテスト者が評価する匿名ユーザー調査です。報告される0.778は知覚精度であり、グラフの有用性は現評価に含まれていません。既存手法との直接比較、幻覚抑制効果の定量評価、大規模ベンチマークは提示本文からは確認できません。対象は4関係に限定され、他言語・他ドメイン・別モデル構成への一般化は未検証です。API構成は評価されていますが、自社LLM環境での実運用評価は提示本文からは確認できません。
解説
ねえ智也くん、このReX-GGってタイトル見ただけで難しそう。LLMアンサンブルと匿名査読で関係抽出を軽くするって、どういうこと？
ざっくり言うと、複数のLLMに関係をJSONで出させて、匿名の相互採点で一番マシな出力を選ぶパイプライン。重い追加モジュールをなるべく使わないのが狙い。
なんでそんなの作るの？
既存のLLMアンサンブルは、ランキング用の追加モジュールとか、トークンやスパンの解析とか、ファインチューニングや外部知識リポジトリに頼る構成が多い。だから軽くて構造化出力を守るやつにした、って整理してる。
既存手法と比べて何点勝った、みたいな話？
そこは注意。原論文は同一条件での直接的な性能比較を出してない。評価は人手正解を基準にした匿名ユーザー調査で、平均知覚精度0.778って報告してる。
知覚精度って？
テスト参加者が、このグラフの情報はどれくらい正確に見えるかを評価した値。論文の言い方だとperceived accuracy。だから客観的なF1とかとは違う。
ふーん。で、中身はどう動くの？
まず英語の科学記事を複数LLMに渡して、強い因果・弱い因果・対比・構成の4関係をJSONで抽出させる。次に出力をA、B、C…って匿名化して、各モデルが10点満点で相互採点する。
匿名にするのは？
自分の出力をひいきするバイアスを避けるため。で、最高点の出力を採用する。
その後は？
埋め込みモデルでノードの表記ゆれを統合する。a coffeeとcoffeeみたいなのを同じ概念に寄せる。それからNetworkXとPyVisで、色分けされたインタラクティブHTMLグラフにする。
色分けって？
強い因果が赤、弱い因果がオレンジ、対比がシアン、構成がグリーン。論文ではこの色分けがグラフの読みやすさに効くっていう逸話的証拠に触れてる。
評価はどれくらいの規模？
英語科学記事20件程度。人手注釈の2件を理想精度の基準にして、残り18件をパイプラインで処理。各記事を6人の匿名テスターが評価する小規模なユーザー調査。
じゃあ汎用性バッチリ、とは言えない？
言えない。対象は英語のポピュラーサイエンス記事と4関係に限定。他言語・他ドメイン・大規模データ・リアルタイム性は未検証。グラフの有用性も今回の評価には入ってない。
幻覚が減ったとかは？
仕組みとしてはスキーマ強制JSONと匿名ピアランキングで、幻覚や壊れた出力のリスクを下げる狙い。でも抑制効果を定量的に比べた結果は、提示された本文からは確認できない。
使うときの前提は？
JSON構造化出力ができるLLMが必要。API経由でも自社環境でも置ける設計って書いてある。提示本文の実験はOpenRouter経由の7モデル構成で、4000トークン制限、固定seed、全体コスト約£10。
自社LLMでの運用評価は？
そこも提示本文からは確認できない。あくまで構成の柔軟性をうたってるだけで、自社環境での実運用評価までは示されてない。
意義は？
軽量でモジュール化された関係抽出からHTMLグラフまでを一通り出せること。構造化出力と匿名ランキングで失敗点を減らす狙い。あとオープンライセンスで公開して再現性を促す、ってのが論文の主張。
なるほどね。じゃあ私のレポートも匿名査読でお願いします。10点満点で。
却下。まずJSONで出して。