TL;DR
MassSpecGym由来の100検体で、Claude Opus 5はツールなしだとID 52%だがOOD 2%。de novo生成器をツールとして足すとOODは最大38%に改善する。LLM単体の推論より、候補を出す専門ツールとエージェントによる再ランキングの組み合わせが重要という論文。
既存手法との違い
原論文は、同一のエージェント・プロンプト・採点器を固定し、LLMのツールアクセスだけをL0（ツールなし）、L1（部分式注釈）、L2（順方向予測）、L3（de novo生成器）と段階的に変えて比較した。さらにFRIGID、MS-GPT、LSM-GENを非エージェントのde novoモデル単体としても評価している。L0はID 52%/OOD 2%で、L3でde novo生成器を追加するとOOD Top-1は12–38%に改善した。エージェントは生成器が提案した候補の再ランキングで機能し、IDでは生成器単体を上回るが、OODでは生成器の候補被覆率を超えにくい。
使える条件
入力はMS/MSの(m/z, intensity)ピーク、precursor m/z、中性分子式。出力は最大5位までのSMILESランキング。評価はMassSpecGym v1.5のtest foldから作成した100検体（ID 50、OOD 50、取得条件を1:1対応）で、モデルはClaude Opus 5 high reasoning、出力64,000トークン、ツール呼び出し最大20回、固定ハーネスという条件。ID/OODは文献テキスト量の代理指標で分割され、OODは化学的新規性を意味しない。提示本文から確認できない環境・データへの適用性は未知。
限界と未検証の範囲
評価は100検体・単一モデル・単一ハーネスに限定される。OODはPubMed記録・MeSH・PubChem名称によるテキスト分布の代理であり、モデルの真の訓練データ既知性ではない。公開ツールとin-houseツールに依存し、他モデル・他ツール・他データへの一般化は未検証。OOD改善はde novo生成器の候補被覆率に強く制約され、エージェント単体のOOD候補生成は限定的。順方向予測はIDで負に働く場合がある。RAG一般への知見ではなく、MS/MS de novo構造推定に限定した結果である。本文にない数値・比較は確認できない。
解説
ねえ智也、この論文「LLMはMS/MS構造推定で専門ツール依存」ってやつ、タイトルからして面白いんだけど、何が問題なの？
出発点は、最先端LLMがNMRの逆構造推定をツールなしで解いたって報告。でもMS/MSのde novoにそのまま移せる保証はない。MS/MSのフラグメンテーションは確率的で非局所だから、NMRの化学シフトみたいに部分構造から足し算的に予測しにくい。
なるほど。NMRはまだ規則っぽいけど、MS/MSは壊れ方が複雑ってことか。で、この論文は何を比べたの？
MassSpecGym v1.5のtest foldから100検体を作った。50がID、50がOOD。IDはPubMed記録100以上・MeSHあり・一般名、OODはPubMed記録ゼロ・MeSHなし・IUPAC名。取得条件はprecursor m/z、ピーク数、付加体、装置で1:1対応させてる。
ID/OODって化学的新規性の話じゃないんだ？
そう。ここでのOODは文献テキストの足跡がほぼないって意味だけ。化学的に新規かどうかとは別。
評価はどうやるの？
入力はMS/MSの(m/z, intensity)ピーク、precursor m/z、中性分子式。出力は最大5位までのSMILESランキング。Top-1/Top-5とTanimoto@1、MCES@1を見る。モデルはClaude Opus 5の高推論設定で、ハーネス・プロンプト・採点器を固定して、ツールだけ変える。
ツールは何を足すの？
L0がツールなし。L1が部分式注釈、L2が順方向予測、L3がde novo生成器。生成器はFRIGID、MS-GPT、社内製のLSM-GEN。生成器単体も非エージェントの比較基準として評価してる。
結果は？
L0はID Top-1 52%、OOD 2%。L1はID 62%だけどOOD 2%。L2はID 56%でOOD 2%、順方向予測はIDでは少し逆効果。L3でde novo生成器を足すとOODがFRIGID 12%、MS-GPT 26%、LSM-GEN 38%まで上がる。全体Top-1はそれぞれ40%、56%、59%。
ツールなしだとOODがほぼゼロなのが怖いね。つまりLLMはスペクトルを読むより、文献で見た記憶に頼ってる？
論文はそう解釈してる。IDとOODは取得条件で対応してるから、単純なスペクトル難易度差だけでは説明しにくい。で、de novo生成器を足すとOODが上がる。ここが専門ツール依存って話。
生成器単体だとどれくらいなの？
生成器単体のOOD Top-1はFRIGID 6%、MS-GPT 18%、LSM-GEN 32%。エージェントと組むとそれぞれ12%、26%、38%まで上がる。IDでもエージェント側が上。
エージェントは何がうまいの？
生成器が出した候補の再ランキング。正解が候補プールにあるとき、IDで93–97%、OODで67–95%はTop-1に上げられてる。でもOODではエージェント自身が生成器の候補被覆率を超えにくい。MS-GPTで26%対カバレッジ36%、LSM-GENで38%対40%。だからボトルネックは候補生成側。
IDではエージェントが生成器単体を上回るんだ？
うん。IDではFRIGID 68%対カバレッジ30%、MS-GPT 86%対58%、LSM-GEN 80%対64%で、生成器が持ってない正解も出してる。でもOODではその外挿がほぼ効かない。
意義は、LLM単体の推論より「専門ツール＋エージェントの再ランキング」ってことだね。
そう。ただし評価は100検体・単一モデル・単一ハーネスに限定。OODはテキスト分布の代理で、真の訓練データ既知性ではない。他モデルや他ツール、他データへの一般化は本文からは確認できない。MS/MSのde novo構造推定に限定した結果だ。
なるほどね。じゃあLLMも私みたいに、自分で考えるより先に優秀な検索友達を欲しがるタイプなんだ。
それ、ただの丸投げだろ。