TL;DR
FRONTIERPHYSICSは、物理学者自身の研究を基にした56タスクで、AIエージェントが文献調査から計画、実験・計算、数値成果物、論文執筆までを完遂できるかを評価する。決定論的検証と専門家ルーブリックを併用し、22モデル・26構成で最高でも168回中46回しか全通過しなかった。主な弱点は物理知識より推論の厳密さと専門家的直感にある。
既存手法との違い
既存の物理ベンチマークは、固定問題、孤立したサブタスク、解法付きの論文再現が中心で、研究品質と正しさを同時に評価しにくい。FRONTIERPHYSICSは、寄稿者自身の研究に基づく56タスクを、参照解をエージェントに与えず、文献レビューや論文執筆まで採点し、専門家ルーブリックと決定論的検証器、失敗分析を備える点で異なる（Table 1）。モデル比較では22モデル・26構成を同一ベンチマークで評価し、最高構成でも168ロールアウト中46通過にとどまる。原論文は特定の既存手法との性能比較ではなく、ベンチマーク設計の比較とモデル構成間の比較が中心である。
使える条件
対象は理論・計算・実験物理の研究エージェント評価。各タスクはPI風の高レベル指示と、必要なデータ・シミュレータ・テンプレートを含むサンドボックスで実行し、数値成果物とpaper.pdfを提出する。採点は決定論的検証器と、GPT-5.6 Solをレビュアーにしたルーブリック（ブロッカー／非ブロッカー）で行う。評価規模は56タスク・9領域、22モデル・4ハーネス・4,364ロールアウト。物理以外の分野や一般的なLLM性能への適用は、提示された本文からは確認できない。
限界と未検証の範囲
タスクは56件・9領域で物理に限定される。人手による失敗モード分析はGPT-6 Astraの168ロールアウトに限定されている（Fig. 2, Fig. 6）。レビュアーエージェントはGPT-5.6 Solで、Claude Opus 5.5に替えるとほぼ同じ判定だが自モデル系に甘くなる（Table 6）。ルーブリックはタスク依存で主観が残り、図2の概要では偽陰性7%、誤採点3%が示される。非物理分野や他ハーネスへの一般化、長期的な研究能力は未検証である。
解説
ねえ智也くん、この「FRONTIERPHYSICS」って、AIが物理研究を最初から論文までやれるか見るベンチマークなんだって。なんかすごい大げさじゃない？
大げさじゃないよ。既存の物理ベンチマークは固定問題とか、切り出されたサブタスク、解法付きの論文再現が中心で、研究の質と正しさを同時に見にくい。だから端から端まで評価する必要がある。
なるほど。じゃあこのベンチは、物理学者自身の研究から作ったタスクなの？
そう。42人の物理学者が自分の研究を基に56タスク作ってる。理論・計算・実験の9領域。平均で1タスク約270日、合計8000時間以上の研究が元になってる。著者の平均引用数は420。
えっ、自分の研究をそのままベンチマークにしちゃうの？ 再現性とか大丈夫なの？
だから一般品質レビュー、同分野の専門家レビュー、失敗モード分析を通してる。182件の投稿から56件だけ採用。元研究が2週間以上で、人間が作った指示とルーブリックかも確認する。
タスクの中身はどんな感じ？ 答えは与えられないの？
PIが最初に渡すような高レベル指示だけ。方法や解き方は指定しない。必要なデータやシミュレータ、テンプレートはサンドボックスに入ってる。参照解はエージェントに見せない。
で、出すものは？
数値成果物とpaper.pdf。数値は決定論的検証器でチェックして、論文は専門家が作ったルーブリックでレビュアーエージェントが採点する。ブロッカーを全部満たして、非ブロッカーも見る。ブロッカーは科学的有効性に必須の二値ゲート。
採点がAIって、それ公平なの？ なんか不安。
全ロールアウトを同じGPT-5.6 Solのレビュアーで採点してる。Claude Opus 5.5に替えた再採点でもGPT-6 Astraのほぼ全部で合否は同じ。ただ自モデル系には甘くなる。あと概要では偽陰性7%、誤採点3%も示されてる。
評価規模はどれくらい？
22モデル、26構成、4ハーネスで4364ロールアウト。最高構成でも168回中46回しか全通過しない。約27.4%。つまりまだかなり難しい。
へえ。で、何が弱いってわかったの？
GPT-6 Astraの168ロールアウトを人手で見ると、物理知識や実行エラーより、推論の厳密さと専門家的直感が足りないのが主な弱点。失敗モードは14個に整理されてる。文献27%、指示26%も引っかかってる。
専門家的直感って、ベンチマークで測るの難しそう。そこは限界？
そう。タスクは56件で物理の9領域に限定。人手の失敗分析もGPT-6 Astraの168ロールアウトだけ。ルーブリックはタスク依存で主観も残る。非物理分野や他のハーネスへの一般化は、提示された本文からは確認できない。
既存ベンチとの違いはTable 1で比較されてるんだっけ？
されてる。既存は固定問題や孤立サブタスク、解法付き再現が多く、参照解なし・文献レビュー採点・論文採点・専門家ルーブリック・決定論的検証器・失敗分析を全部備えるのはFRONTIERPHYSICSだけ、って主張。ただし特定の既存手法と性能を比べたというより、ベンチマーク設計とモデル構成間の比較が中心。
なるほどね。でもさ、私が任されたら、まず論文の書き方で詰みそう。智也くん、代わりに『専門家的直感』だけ貸してくれない？
貸し出し禁止。まず実験ノートを開け。