TL;DR
Scientist Worldは、論文を再現済みの実行可能な研究環境に変換し、AI科学者が既存手法を改善する能力と新規手法を考案する能力をFNIで測る。試行ログを学習にも使い、小モデルを研究アイデア提案で強化できると報告。一方、環境構築の失敗・計算予算・評価範囲などの制約は残る。
既存手法との違い
原論文の比較は主に位置づけで、Figure 2で既存のAI-Scientist向け環境（過去のMLコンペ、手作り研究タスク、シミュレーション、結果再現、アイデアの文章判定、コード系など）と比較し、Scientist Worldはスケーラブル・進化・実行根拠を同時に満たすと主張する。フロンティアモデル間は同一環境でFNIにより比較し、改善と新規考案で最良モデルが異なると報告する。既存手法との数値的な直接比較は提示本文からは確認できない。
使える条件
対象は、手法と評価が再現でき、改善余地があり、制約付きタスクとして設計できる研究論文。構築には共有計算基盤、GPU予算、複数のビルダーエージェント、検証エージェントが必要。評価はsource methodを基準に、visible/held-out分割とFNI（凍結したフロンティアコホートのばらつきで正規化）を用いる。最初の1,000環境は高品質論文から選別される。分野横断の一般性や非AI分野への適用可否は提示本文からは確認できない。
限界と未検証の範囲
環境化できない論文は棄却され、計算予算で実験規模を縮小するため元論文と同一条件とは限らない。FNIはフロンティアコホートの分布に依存する。改善と新規考案は別能力で、最良改善モデルが最良発明モデルではない。小モデル訓練は固定のフロンティア実行者で評価され、任意の研究プロセス全体を代替するかは未検証。実世界の実験、長期的な新規性、分野一般化は提示本文からは確認できない。
解説
智也くん、Scientist Worldって論文をそのまま実行環境に変えちゃう研究？
そう。AI科学者は論文を読めても、その研究を実際に走らせて試せない。だから論文を実行可能な環境に変える。
へえ、読むだけじゃなくて走らせるってことか。なんでそんなことするの？
人間の科学者は文献という“世界”で問題とアイデアを共有してる。AIにも同じ土台が要る、ってのが動機。
で、どうやって論文を環境にするの？
ビルダーエージェントが4役で分担する。再現役が論文の手法と結果を再現し、設計役が改善対象と制約を決め、梱包役がどこでも動く形にして、検証役が別視点で監査する。
人間が手で作らないんだ。じゃあ再現した手法が基準になる？
うん。source methodを基準に、新しい手法がどれだけ改善したかをFNIで測る。可視用と隠し用の評価セットも分けて、カンニングを防ぐ。
既存の研究環境と何が違うの？
Figure 2では、過去コンペや手作りタスク、シミュレーション、文章でアイデアを判定する既存環境と比較して、スケール・進化・実行根拠を同時に満たすと主張してる。ただ既存手法との数値的な直接比較は提示本文からは確認できない。
ふーん、位置づけの比較ね。評価は何を見るの？
二つ。既存手法を改善するimproveと、問題だけから新規考案するinnovate。フロンティアモデルを同じ環境で比べると、最良の改善役と最良の発明役は違った、って報告。
じゃあ“改善は得意だけど発明は苦手”みたいな差が出るんだ。
そう。あと試行ログを学習に使って、小モデルを研究アイデア提案で強化できた、とも報告してる。
ベンチマークだけじゃなくてデータセットで、訓練場でもあるのか。でかいな。
ただし制約もある。環境化できない論文は棄却されるし、計算予算の都合で実験規模を縮小することがある。FNIもフロンティア集団の分布に依存する。
分野一般化とか、実世界の実験まで見たかは？
提示本文からは確認できない。小モデル訓練も固定のフロンティア実行者で評価してて、研究プロセス全体を代替するかは未検証。
なるほどね。論文がジムになるって、AI科学者の筋トレ施設みたいじゃん。
筋トレ施設って言うな。まあ、実験結果が報酬ってところは筋トレっぽいけど。