AIの診断を数学的に検証！医療レポートの「幻覚」を見抜く新技術

ああ、亜美さん。そうだね。簡単に言うと、AIがレントゲン写真を見て診断レポートの下書きを作る技術についての論文だ。でも、そこには大きな問題があるんだ。

それもあるけど、もっと根本的な問題だ。AIが作ったレポートの『所見』と『診断印象』の間に、論理的な矛盾が起きることがあるんだ。例えば、所見には『胸水の兆候なし』って書いてあるのに、印象には『胸水が疑われる』って書いちゃうようなことさ。

そこが難しいところなんだ。今までの評価方法は、AIの出力と正解の文章を単語レベルで比べるものがほとんどで、『胸水の兆候』と『肋横隔膜角の鈍化』みたいに、臨床的には同じ意味でも表現が違うと、低い点数をつけちゃう。それに、正解データがない現場では使えないし、何より文章の中身の論理が正しいかどうかはチェックできないんだ。

この論文のキモは『ニューロシンボリック』ってアプローチだ。まず、AIが生成した自由な文章を、『胸水の兆候あり』とか『心拡大なし』みたいな、コンピュータが処理できる記号（シンボル）に自動変換する。これを『オートフォーマライゼーション』って呼んでる。

良い質問だね。確かに完全に正確とは限らない。でも、この研究では厳格なルールで変換するLLMを使ったり、変換の不確かさを数値化して医師に提示する方法を考えている。変換した後は、臨床の専門知識をルールとしてまとめた『知識ベース』と照らし合わせるんだ。

例えば、『肋横隔膜角の鈍化』という所見があれば、それは『胸水』を強く示唆する、みたいな医学的なルールの集まりだ。専門家がチェックして作る。そして最後に、『SMTソルバー』っていう、論理パズルを解くための特別なプログラムを使って、『所見の記号たちと知識ベースのルールから、この診断は論理的に導き出せるか？』を数学的に証明するんだ。

7つのAIモデルを5つのデータセットで試したよ。その結果、面白いことがわかった。AIモデルによって、全く違う失敗の仕方をするんだ。

そう。一つは『保守的観察者』タイプ。間違った診断はほとんど言わないけど、所見から明らかにわかる診断を言い忘れることが多い。もう一つは『確率的幻覚』タイプ。これは一番危なくて、所見と関係ない診断をでたらめに言っちゃうんだ。今までの単語比較テストでは、こういう根本的な推論の失敗は全く見抜けなかった。

うん。この検証システムを後付けのフィルタとして使うと、根拠のない『幻覚』診断をほぼ確実に除去できた。その代わり、ごく一部、本当は正しい診断も取り除いてしまう可能性はあるけど、そのトレードオフは小さかった。つまり、診断の『確からしさ』を大幅に上げられるんだ。

その通り。まだ課題はある。知識ベースを完璧に作るのは大変だし、文章を記号に変換する過程で誤りが入る可能性はゼロじゃない。でも、『AIの出力をブラックボックスとして信じる』のではなく、『この部分は確率的だけど、この論理チェック部分は数学的に確実』というように、責任の範囲を明確にできるのは大きな進歩だと思う。将来は、手術の計画とか、薬の処方とか、もっと広い医療判断に応用できるかもしれない。