LLMによる論文データ抽出：専門家プロンプトと自己生成プロンプトの実践比較

ああ、最近は構造化データの抽出もLLMでやる研究が増えてるよ。特に科学論文から情報を引っ張り出すのは、手作業だとすごく時間かかるからね。

科学論文からデータを抽出するタスクを4段階のワークフローに分けて、各LLMの性能を比較したんだ。抽出するデータは、例えば実験条件とか結果の数値とかだね。

まず論文のセクションを特定して、次に該当する文を抽出、それから必要な情報をフィールドにマッピングして、最後に値を正規化する、みたいな感じ。

専門家が作ったプロンプトを使った場合、GPT-5.5が最高精度95.7%を達成したよ。他のモデルも結構良かったけど、やっぱり最新モデルは強いね。

いや、そこがこの研究の面白いところで、LLMに自分でプロンプトを生成させて使う方法も試してるんだ。専門家が作ったプロンプトには及ばないけど、それでもかなり近い性能が出たんだよ。

そう。完全な自律抽出はまだ難しくて、人間の監視が必須だって結論になってる。特にエラーが起きやすいケースがあるから、最終チェックは必要だね。

LLMを使ったデータ抽出の実用的な評価をしたことだと思う。どのモデルがどのタスクに強いか、プロンプトの作り方でどれだけ変わるか、っていう知見が得られてるから、今後の研究の指針になるよ。

うん。まず、評価に使った論文の数が限られてるから、一般化できるかはまだわからない。それに、LLMの出力は不安定で、同じ入力を何回やっても結果が変わることがあるんだ。

そう、複数回実行して多数決を取ることで、結果の安定性が上がるって示してるよ。それでも完全には解決しないけどね。

確かに。でも、まだまだ研究段階だから、実用化にはもう少し時間がかかるかもね。

いや、俺はもっと別の分野だから、直接は関係ないけど、手法は参考になるかも。

それはまだ無理だよ。AIが書いたら、君の勉強にならないでしょ。