いや、宇宙は全く関係ないよ。これはAIモデルの性能を、実際にテストせずに予測するための新しい仕組みの話だね。

それがそうもいかないんだ。最近のAIは巨大すぎて、一つのモデルを全部のテストにかけるだけで数千万円単位のお金がかかることもあるんだよ。だから、全部やる前に「このモデルはこれくらいできそう」って予測するのがすごく大事なんだ。

難しいよ。今までの統計的なやり方だと、全く新しいタイプのAIが出てくると予測が外れちゃうし、かといってAIに「これどう？」って聞くだけだと、適当な嘘をつくことがあるんだ。そこでこの「STAR」の出番だね。

STARは「統計」と「推論」のハイブリッドなんだ。まず、CPMFっていう手法を使って、過去のデータや技術文書から統計的な予測を立てる。これに加えて、エージェントが「期待違反理論（EVT）」っていう心理学の理論を使って予測を修正するんだよ。

あはは、そうじゃないよ。人間も「この人はこれくらいできるだろう」って期待して、それが裏切られた時に「あ、この人はここが特別なんだな」って評価を変えるでしょ？それをAIにやらせるんだ。具体的には、同じシリーズのモデルと比較したり、似た性能のモデルと比べたりして、統計的な予測が正しいかチェックするんだよ。

そう、まさにそんな感じ。しかも、STARはただ予測するだけじゃなくて、「なぜそう予測したか」っていう理由もちゃんと説明してくれるんだ。これは今までの統計モデルにはできなかったことだね。

実験では、データの95%が隠されているような、めちゃくちゃ情報が少ない状態でもテストしたんだけど、今までの最強の統計手法より14%以上も高いスコアを出したんだ。ほぼ何も知らない状態から、正確に性能を当てたってことだね。

完全にゼロにはできないけど、効率は劇的に上がるだろうね。将来的には、新しいAIを作る時に「どの部分を強化すればいいか」を事前にシミュレーションするのにも使えるはずだよ。

まだ課題はあるよ。例えば、ネット上に全く情報がない完全に未知のモデルだと、推論のための材料が足りなくて精度が落ちる可能性がある。これからは、もっと少ない情報でどう推論を深めるかが研究の鍵になるだろうね。

それは期待違反じゃなくて、ただの願望でしょ。まずは勉強しなよ。