TL;DR
Pyriteは、タンパク質-リガンドの候補ポーズをペアで比較する姿勢ランキング用ベンチマークです。専門家化学者や物理スコア単体は高精度ではなく、LLMが直接推論するPyriteReasonerは最大67%、LLMが特徴量を発見してロジスティック回帰に渡すPyriteFeaturizerは最大74%の精度を報告しています。一方、評価はペアワイズで、独自cofoldingモデル由来の高品質ポーズに限定される点に注意が必要です。
既存手法との違い
原論文では、3D可視化とMM-GBSA・Mogul情報を利用できる専門家化学者が偶然近辺の性能だったこと、MM-GBSAや相互作用数、トーションひずみ、Mogulの異常トーション数などの物理スコア単体が低精度だったこと、Boltz-2信頼度も同様だったことが比較されています。自動化手法では、テキスト推論で直接比較するPyriteReasonerが最大67%、LLMがコードで特徴量を構築しロジスティック回帰で分類するPyriteFeaturizerが最大74%の精度を示し、LLM-guided feature discoveryが直接推論より一般に優位でした。またGRPOによりオープンウェイトモデルがクローズドソースのフロンティアモデルに匹敵または上回る可能性が報告されています。
使える条件
対象はタンパク質-リガンド複合体のペアワイズ姿勢ランキングです。入力は独自cofoldingモデルと多様性促進サンプリング由来の候補ポーズ、およびPyriteRepとして構造化された29特徴量（分子形状、相互作用、物理化学スコアなど）で、RDKitやOpenMM等のツール出力を含みます。評価は1,500ペア、285構造、1,799ユニークポーズで、pre-AF3 curated、post-AF3 all、post-AF3 curatedのスプリットが用いられています。ヒト注釈は750ペアのcurated subsetで収集されています。未知の条件として、他分野や他cofoldingモデルへの一般化、実運用での大規模ランキング、計算コストや再現性の詳細は提示された本文からは確認できません。
限界と未検証の範囲
評価はペアワイズ比較に限定され、全体ランキングへの直接的な一般化は未検証です。ベンチマークは独自cofoldingモデル由来の高品質ポーズを含み、公開モデルより多様性が高いと報告されていますが、その性質が他の候補生成器にも当てはまるかは不明です。専門家注釈はcurated subsetに限られ、LLMエージェントと専門家を直接比較できるのはpost-AF3 curatedのみです。pre-AF3は訓練用に確保され、LLMエージェント評価には使われていません。物理スコアの反相関はこの高品質領域の性質として述べられており、符号反転などの単純な規則が外部で通用するかは未検証です。最大精度は報告されていますが、平均・分散・コスト・実薬開発への有効性は提示された本文からは確認できません。
解説
ねえ智也くん、Pyriteって論文、名前はかわいいけど中身はタンパク質-リガンドの姿勢ランキングのベンチマークなんだって？
そう。候補ポーズをペアで比べて、どっちが結晶構造に近いか選ぶ。cofoldingは候補をたくさん出せるけど、ランキングが難しいんだ。
へえ、候補がいっぱい出ても選べないと意味ないもんね。なんでそんなに難しいの？
物理スコアが単体だと弱いし、ペアによっては違う方を推す。専門家でも3Dを見ながら迷う。論文では専門家化学者が偶然と同程度だったって報告してる。
え、専門家でも？ じゃあMM-GBSAみたいなスコアを使えばいいんじゃないの？
PyriteではMM-GBSAがむしろ逆相関することもある。相互作用数やトーションひずみ、Mogulの異常トーション数も単体では低精度だった。Boltz-2の信頼度も同じように低かった。高品質なポーズ同士だから余計に効きにくい、という整理だね。
なるほど、強い候補ばかりだと差が難しいのか。で、どうやって自動化するの？
まずPyriteRepっていう29特徴量の構造化表現を作る。分子形状、タンパク質-リガンド相互作用、物理化学スコアなんかをまとめたもの。RDKitやOpenMMの出力も含む。それをLLMエージェントに渡す。
29個も！ で、エージェントは2種類？
PyriteReasonerはテキストで直接ペアを比較して最大67%。PyriteFeaturizerはLLMがコードを書いて特徴量を作り、ロジスティック回帰に渡す。こっちは最大74%で、論文では特徴量発見の方が一般に良いって言ってる。
GRPOも出てきたよね？
GRPOでオープンウェイトモデルを改善すると、クローズドソースのフロンティアモデルに匹敵か上回る可能性がある、と報告されてる。
へえ、じゃあベンチマークとしてはかなり挑戦的で、LLMに特徴量を作らせるのがポイントなんだ。
そう。Pyriteは1,500ペア、285構造、1,799ユニークポーズ。独自cofoldingモデルと多様性促進サンプリングから作ってる。でも評価はペアワイズだけ。全体ランキングにそのまま一般化できるかは未検証。ヒト注釈はキュレーションされた一部だけで、LLMと専門家を直接比べられるのはpost-AF3のキュレーション済み分割だけだ。
なるほどね。他のモデルや実運用でどうか、計算コストや再現性の詳細は、この本文だけだと確認できないってことだ。
そう。符号を反転すればいい、みたいな単純な話でもないしな。
じゃあ私もLLMに『亜美っぽい特徴量』を発見してもらって、ランキングしてみようかな。
まず亜美っぽさを特徴量に落とせてから言おう。