TL;DRPolyUQuest…
TL;DR
EnSI-RAGは、長文書QAの精度を上げるRAGフレームワークです。文書を固定長チャンクではなく「エンティティ中心のパッセージ」に分割し、エンティティの種類・プロパティ・関係・側面を構造化インデックスとして保持します。クエリ時はこのインデックスで証拠パッセージを特定し、LLMが原文から回答を生成します。LoongとOolongの平均精度78.24を達成し、公開ベースライン比+6.62ポイントと報告されています。
解説
ねえ智也くん、このEnSI-RAGって論文、タイトルからして難しそうなんだけど、簡単に教えてくれない？
ああ、長い文書の質問応答を改善するRAGのフレームワークだよ。普通は文書を固定長で切るけど、それをエンティティ中心のパッセージに分割するんだ。
エンティティ中心？つまり、人名とか組織とかを基準に切るってこと？
そう。エンティティの種類、プロパティ、関係、側面を構造化インデックスとして保持するんだ。クエリが来たら、そのインデックスで証拠パッセージを特定して、LLMが原文から回答を生成する。
なるほど！でも、なんで固定長チャンクじゃダメなの？
固定長だと、一つのエンティティに関する情報が複数のチャンクに分かれちゃうことがあるんだ。エンティティ中心にすると、関連情報がまとまって見つけやすくなる。
それで、性能はどうなの？
LoongとOolongというベンチマークで平均精度78.24を達成して、公開ベースラインより+6.62ポイント高いんだ。
すごい！でも、何か弱点とかはないの？
うーん、エンティティ抽出に依存するから、抽出がうまくいかないと性能が落ちる可能性はある。あと、構造化インデックスの構築にコストがかかるかもしれない。
なるほどね。でも、長文書QAの精度が上がるなら、実用化が楽しみだな。
ああ、特に法律や医療の文書とかで役立つかもしれない。
じゃあ、私が論文を読むときも、エンティティ中心にまとめてくれたら楽なのにね！
それは自分でやろうね。