ああ、これは評価基準を自動で作る手法だよ。普通はルーブリックを作るのに人手やデータが必要だけど、この手法はクエリだけから始めて、進化的に生成するんだ。

そう。最初は空のルーブリックから始めて、LLMに候補を生成させる。それで、合成した応答ペアを比較して、そのルーブリックが本当に品質の違いを区別できるか検証しながら追加していくんだ。

良い指摘だね。実際、ルーブリックの数は自動で調整されるけど、クエリのドメインに依存する可能性はある。あと、LLMの生成に依存するから、モデルのバイアスは影響するかも。

うん、特に新しいタスクの評価をすぐ始めたい時には便利だと思う。ただ、まだ研究段階だから実用には注意が必要だけどね。

暴走するのは君のアイデアの方だと思うけどな…

ああ、それは医療用AIがちゃんと正しいことを言っているか、AI自身に採点表を作らせてチェックさせようっていう研究だね。かなり重要なテーマだよ。

そう思うかもしれないけど、医療の世界はミスが命に関わるからね。普通のAIだと、もっともらしい嘘をついても見抜けないことが多いんだ。かといって、お医者さんに毎回採点してもらうのはお金も時間もかかりすぎるだろ？

「マルチエージェント・フレームワーク」っていう仕組みを使っているんだ。役割分担した複数のAIが協力して、信頼できる医学データから「この質問にはこう答えるべき」っていう細かいルールを自動で作るんだよ。

大きく分けて3つのステップがある。まずステップ1は「検索」。WHOとかCDCみたいな信頼できる医学サイトから、質問に関連する正しい知識を集めてくるんだ。

次にステップ2。集めた知識を「原子的な事実」、つまりこれ以上分けられない最小単位の事実にバラバラにする。それと同時に、ユーザーが何を求めているかっていう意図も分析するんだ。これを「2系統の制約構築」と呼んでいるよ。

その通り。そして最後のステップ3が「監査と洗練」。作った採点表に漏れがないか、別のAIが厳しくチェックして、必要なら修正させるんだ。これで、すごく精度の高い採点表が完成する。

実験では、GPT-4oっていう最新のAIがそのまま採点するよりも、ずっと正確に医療ミスを見抜けたんだ。AUROCっていう指標で0.977という、ほぼ完璧に近い数値を出しているよ。

ごっこ遊びじゃないよ。この研究のすごいところは、採点するだけじゃなくて、その採点表を使ってAIの回答を「修正」させることもできる点だ。回答の質が約9%も向上したんだよ。

今後はもっと複雑な対話や、刻々と変わる最新の医学知識にも対応できるようにしていく必要があるね。でも、これが普及すれば、誰でも安全に高度な医療相談ができるようになるかもしれない。