TL;DR

7つの最先端LLMを使い、科学論文からのデータ抽出を4段階のワークフローで評価。専門家作成プロンプトではGPT-5.5が最高精度95.7%を達成。LLM自己生成プロンプトは専門家に近い性能を示すが、完全な自律抽出は困難で、人間の監視が必須。複数回実行と多数決が再現性向上に有効。

解説

ねえ智也くん、このブログのタイトル見て！LLMで論文データを抽出するんだって。AIって文章生成だけじゃないんだね。

ああ、最近は構造化データの抽出もLLMでやる研究が増えてるよ。特に科学論文から情報を引っ張り出すのは、手作業だとすごく時間かかるからね。

なるほど。で、この研究では何をしたの？7つの最先端LLMを使ったって書いてあるけど。

科学論文からデータを抽出するタスクを4段階のワークフローに分けて、各LLMの性能を比較したんだ。抽出するデータは、例えば実験条件とか結果の数値とかだね。

4段階ってどんな流れ？

まず論文のセクションを特定して、次に該当する文を抽出、それから必要な情報をフィールドにマッピングして、最後に値を正規化する、みたいな感じ。

へえ、結構細かいんだね。で、どのLLMが一番すごかったの？

専門家が作ったプロンプトを使った場合、GPT-5.5が最高精度95.7%を達成したよ。他のモデルも結構良かったけど、やっぱり最新モデルは強いね。

95.7%ってすごい！じゃあ、もう人間の手は要らないんじゃない？

いや、そこがこの研究の面白いところで、LLMに自分でプロンプトを生成させて使う方法も試してるんだ。専門家が作ったプロンプトには及ばないけど、それでもかなり近い性能が出たんだよ。

自分でプロンプトを作るって、なんか賢い感じ！でも完全には専門家に勝てないんだ。

そう。完全な自律抽出はまだ難しくて、人間の監視が必須だって結論になってる。特にエラーが起きやすいケースがあるから、最終チェックは必要だね。

じゃあ、この研究の意義ってどこにあるの？

LLMを使ったデータ抽出の実用的な評価をしたことだと思う。どのモデルがどのタスクに強いか、プロンプトの作り方でどれだけ変わるか、っていう知見が得られてるから、今後の研究の指針になるよ。

なるほどね。でも、やっぱり限界もあるんでしょ？

うん。まず、評価に使った論文の数が限られてるから、一般化できるかはまだわからない。それに、LLMの出力は不安定で、同じ入力を何回やっても結果が変わることがあるんだ。

あー、それは困るね。でも、この研究では再現性を上げる方法も提案してるんでしょ？

そう、複数回実行して多数決を取ることで、結果の安定性が上がるって示してるよ。それでも完全には解決しないけどね。

ふーん、やっぱりAIって万能じゃないんだね。でも、これだけできれば十分すごいと思うけどな。

確かに。でも、まだまだ研究段階だから、実用化にはもう少し時間がかかるかもね。

じゃあ、智也くんもこの研究を参考に自分の論文を書くの？

いや、俺はもっと別の分野だから、直接は関係ないけど、手法は参考になるかも。

そっか。でも、AIに論文を読ませるなんて、将来は私の卒論もAIが書いてくれたりして？

それはまだ無理だよ。AIが書いたら、君の勉強にならないでしょ。

The post LLMによる論文データ抽出：専門家プロンプトと自己生成プロンプトの実践比較 first appeared on 亜美と智也のAI論文解説.

解説

ねえ智也くん、この『Artisan』っていう論文、タイトルがかっこいいね！「職人」って意味でしょ？AIが伝統工芸でも作るの？

いや、全然違うよ。これはソフトウェア工学の研究で、論文に書かれた実験結果が本当に正しいか、AIが「再現」してくれるっていう研究なんだ。

再現？あ、論文に書いてある実験をもう一回やってみるってこと？

そう。研究者が論文と一緒に公開するプログラムやデータのことを「アーティファクト」って呼ぶんだけど、実はこれが曲者でね。数年経つと動かなくなってたり、そもそも論文の数字と合わなかったりすることが多いんだよ。

ええっ、そんなの困るじゃん！ちゃんとチェックしないの？

人間が手作業でチェックしてるんだけど、1本の論文を確認するのに8時間から10時間もかかるんだ。だから全部の論文をチェックするのは無理がある。そこで、この『Artisan』の出番ってわけ。

なるほど、AIに代わりにやってもらうんだね。でも、AIが「できました！」って嘘ついたらどうするの？

そこがこの論文の賢いところだよ。Artisanはただ結果を出すんじゃなくて、誰でも実行できる「再現用スクリプト」を生成するんだ。スクリプトっていうのは、コンピュータへの命令をまとめた台本みたいなものだね。

台本！それなら後で人間が「本当に動くかな？」って確認できるね。

さらに、AIがズルをしない工夫もされてる。論文の表にある数値を「？」で隠して渡すんだ。これを「テーブル難読化」って呼んでる。答えを知らない状態で、実験データからその「？」に入る数字を導き出せって命令するんだよ。

クイズみたい！答えを見ずに計算して、ピッタリ合ったら合格ってこと？

その通り。しかも、単に保存されている結果ファイルをコピーしてくるような手抜きも「判定メカニズム」で見抜くようになっているんだ。ちゃんと手順を踏んで計算しているかをチェックする二段構えだね。

厳しい先生みたいだね。で、そのArtisanくんはちゃんと仕事できたの？

『Artisan-Bench』っていう専用のテストセットで試したところ、60個のタスクのうち44個で正しい再現スクリプトを作れたんだ。これ、既存のAIエージェントと比べると3倍以上の性能なんだよ。

3倍！すごいじゃん！

しかも、1タスクあたり平均48分、費用もたったの0.45ドル。人間が10時間かけるよりずっと効率的だよね。驚くことに、この実験の過程で、実際の論文やデータの中に20個も新しい間違いを見つけたらしいよ。

ひえー、AIに間違いを指摘されるなんて、研究者の人たちドキドキだね。これがあれば、これからの論文はもっと信頼できるようになるのかな？

そうだね。将来的には、論文を投稿する前にこのAIでチェックするのが当たり前になるかもしれない。ただ、まだ複雑な環境設定が必要なものには対応しきれていないっていう課題もあるけどね。

そっかー。じゃあ私も、智也くんが私のプリンを勝手に食べた証拠を再現するスクリプト、Artisanに作ってもらおうかな！

そんなことにAIの最新技術を使おうとするな！そもそも食べてないし！

要点

• 研究論文の信頼性を支える「アーティファクト評価（実験結果の再現確認）」を自動化するLLMエージェント『Artisan』を提案した。
• 再現プロセスを「独立して実行可能な再現スクリプトを生成するタスク」として定義。これにより、エージェントがいなくても人間が後から検証できる仕組みを実現した。
• エージェントが既存の結果を単にコピーして誤魔化すのを防ぐため、表の数値を隠す「テーブル難読化」と、実行方法が妥当かを調べる「自動判定メカニズム」を導入した。
• 23本のソフトウェア工学論文から作成したベンチマーク『Artisan-Bench』で評価し、既存手法の3倍以上の成功率（60タスク中44タスク成功）を達成した。
• Artisanの活用により、実際の論文やデータから20個の新しいエラー（論文とデータの不一致など）を発見し、実用性の高さを示した。

The post AIが研究のウソを見抜く！？自動で論文の実験をやり直す職人エージェント『Artisan』 first appeared on 亜美と智也のAI論文解説.

ねえねえ、智也くん！これ見て！『ReasonBENCH: Benchmarking the (In)Stability of LLM Reasoning』って論文のタイトル。なんかすごそう！

ああ、それか。確かに今、重要な問題に取り組んでいる論文だね。簡単に言うと、AIの推論って、実はすごく不安定で、同じ質問をしても毎回違う答えを出すことがあるってことを調べたんだ。

え？AIって賢いんじゃないの？計算問題とかも解けるって聞いたよ。不安定ってどういうこと？

そうなんだよ。例えば、歴史のクイズを出したとするよね。「ムハンマド・アリは、フレイザーとの『世紀の対決』の後、ヒューストンで次に誰と戦ったか？」って。AIに同じ質問を10回しても、正しい答えを出すときもあれば、全然違う人を答えたり、違う推論の道筋をたどったりするんだ。

へえー！それは困るね。でも、テストのときは一番いい点数だけ報告すればいいんじゃない？

それが問題なんだ。今の評価方法は、ほとんどが1回か数回しか試さない「単一実行評価」なんだ。だから、たまたまうまくいった高い点数だけが報告されて、実際に使うときの信頼性がわからない。医療の診断補助とか、法律の書類チェックみたいな、間違えられない場面で使おうと思ったら、これはすごく危険だよね。

なるほど！確かに、お医者さんAIが「今日は正解だけど明日は間違い」みたいなことになったら怖いね。で、この論文はどうやって調べたの？

この論文のチームは「ReasonBench」っていうベンチマークを作ったんだ。ベンチマークってのは、公平に性能を比べるためのテストセットみたいなものだよ。ここでは、数学の問題とか検索が必要なクイズとか、7種類のタスクを用意して、10種類以上の異なる推論のやり方と、4つの異なるモデルでテストした。

ふむふむ。で、どうやって「不安定さ」を測るの？

キモは「マルチラン評価」だね。同じ条件で、10回も独立して実行するんだ。そうすると、平均点だけでなく、点数のばらつきや、信頼区間っていう「だいたいこの範囲に収まるだろう」という幅が計算できる。実験科学で当たり前の「実験は繰り返せ」ってことを、AI評価に持ち込んだんだ。

すごい！で、結果はどうだったの？やっぱり不安定だった？

うん、かなり深刻だった。ほとんどの推論戦略とモデルが高い不安定性を示したんだ。例えば、平均正答率が同じ70%の二つの方法があったとしても、一方は65%から75%の間に収まるくらい安定しているのに、もう一方は50%から90%まで大きくぶれる、みたいなことが起きた。信頼区間の幅が4倍も違うケースもあった。

わあ、それは全然違うね！平均だけ見て「同じ性能」って判断しちゃダメだ。

そう。もう一つ重要な発見は、トップクラスの性能を出す方法ほど、かかるコスト（使うトークン数や時間）が高くて、しかもそのコストも不安定だってこと。高いお金を払って高性能な方法を使っても、コストが予測不能で、しかも結果が安定しないんじゃ、実用は難しいよね。

この研究って、すごく意味あるね！AIがどんどん社会に入ってくるから、ホントに信頼できるかどうか知りたい。

そうだね。この論文の意義は、AIの推論評価に「再現性」と「信頼性」という新しい物差しを持ち込んだことだと思う。これからは、平均点だけじゃなくて、信頼区間とか、ばらつきを示す指標も一緒に報告するのが当たり前になるべきだって主張している。

未来のAIはもっと安定するようになるのかな？

それはこれからの課題だね。この論文でも、モデルの規模を大きくしても必ずしも安定するわけじゃないとか、プロンプトの書き方で安定性が変わるとか、まだわからないことが多い。ReasonBenchがオープンソースで公開されているから、世界中の研究者がこの問題に取り組んで、より安定した推論AIを作る土台になるはずだ。

ふーん、すごい世界だなあ。じゃあ、私がAIに「智也くんは私のことが好き？」って10回聞いたら、10通りの答えが返ってくるかもしれないってこと？

……それは推論の問題じゃなくて、君が変な質問をするからだよ。論文の話を真面目に聞いてたのに。

要点

現在の大規模言語モデルの推論評価は、単一実行の正答率のみを報告する傾向があり、確率的な生成に伴う本質的な不安定性（ばらつき）を無視している。

この問題は、特に医療や金融など安全が重要な分野での信頼性を損なう可能性がある。

論文では「ReasonBench」というベンチマークを提案し、推論の不安定性を定量的に評価するための枠組みを提供している。

具体的には、10回の独立した実行を行い、正答率やコストの平均だけでなく、信頼区間やばらつきも報告する「マルチラン評価プロトコル」を採用している。

評価結果として、多くの推論戦略やモデルが高い不安定性を示し、平均性能が似ていても信頼区間の幅が最大4倍異なる場合があることを明らかにした。

また、高性能な手法ほどコストが高く、かつ不安定になる傾向があることも示された。

推論の再現性と信頼性を確保するためには、分散を考慮した評価指標の報告が重要であると主張している。

参考論文: http://arxiv.org/abs/2512.07795v1

The post AIの推論はホントに信頼できる？「今日は正解、明日は不正解」の危険性に迫る first appeared on 亜美と智也のAI論文解説.

ねえ、智也くん！この論文のタイトル『SUPER: Evaluating Agents on Setting Up and Executing Tasks from Research Repositories』って面白そうだね！内容を教えてくれる？

もちろん！この論文は、LLMが研究リポジトリからの結果を自動的に再現できるかどうかを評価するためのベンチマーク、SUPERを提案しているんだ。

へえ、LLMが研究を手伝えるってこと？それってすごいね！

そうだね。研究者が他の研究の結果を再現するのは重要だから、LLMがそれを助けることができれば、研究の進展が早くなるかもしれない。

具体的にはどんな問題を解決するの？

SUPERは、45のエンドツーエンド問題、152のサブ問題、604の自動生成問題から成り立っているんだ。これらは、研究者が直面する現実的な課題を反映している。

それって、すごくたくさんの問題があるんだね！評価実験はどうだったの？

最先端のモデルでも、エンドツーエンドの問題の16.3%しか解決できなかったんだ。これは、このタスクがどれだけ難しいかを示している。

なるほど、難しいんだね。でも、SUPERは研究コミュニティにとって役立つリソースになるんだよね？

そうだね。進捗を測定する手段を提供することで、研究者たちがより良い成果を出せるようになると思う。

未来にはどんな応用が考えられるの？

例えば、研究の再現性を高めたり、新しい研究のアイデアを生み出す手助けができるかもしれない。ただ、まだ課題や限界もあるから、今後の研究が必要だね。

智也くん、LLMが研究者の助手になったら、研究室がAIに占領されちゃうかもね！

それはちょっと困るな。AIは助手だけど、研究者の代わりにはなれないからね。

要点

LLMが研究リポジトリからの結果を自動的に再現できるかを評価するためのベンチマークSUPERを提案。

SUPERは、機械学習と自然言語処理の研究リポジトリにおける現実的な課題を捉えることを目的としている。

45のエンドツーエンド問題、152のサブ問題、604の自動生成問題から構成されている。

最先端のアプローチでも問題解決が難しく、GPT-4oはエンドツーエンドセットの16.3%しか解決できなかった。

SUPERは研究コミュニティにとって貴重なリソースとなり、進捗を測定する手段を提供する。

参考論文: http://arxiv.org/abs/2409.07440v1

The post LLMが研究を助ける未来の可能性 first appeared on 亜美と智也のAI論文解説.