TL;DRGPUデータベースに…
TL;DR
脳MRIの鑑別診断（GBM vs MET）において、画像スライスの順序を逆転させると最大48.9%、ラベル順を入れ替えると最大67.8%の症例でVLMの予測が反転しました。さらに、病変スライスを除去しても最大76.1%のケースで確定診断を出力し、不確実性を宣言できない「診断の過剰コミット」が明らかになりました。高精度でも臨床信頼性は過大評価される可能性があります。
解説
ねえ智也くん、このブログのタイトル、すごく気になるんだけど。MRI診断AIが順序やラベル順で診断が変わるって、どういうこと？
ああ、これは視覚言語モデル（VLM）を使った脳腫瘍の鑑別診断の研究だよ。画像のスライス順を逆にしたり、ラベルの順番を変えたりすると、予測結果が変わっちゃうんだ。
え、そんなことで診断が変わるの？AIって結構頑丈だと思ってたけど。
実はね、スライス順を逆にすると最大48.9%の症例で予測が反転したんだ。ラベル順を入れ替えると最大67.8%にもなる。
そんなに多いの？それってどうやって調べたの？
脳MRIのデータセットを使って、膠芽腫（GBM）と転移性脳腫瘍（MET）の鑑別をVLMにやらせたんだ。で、入力のスライス順を正順・逆順・シャッフル、ラベル順も変えて、予測がどれだけ変わるか比較した。
なるほど。で、結果はどうだったの？
順序を変えると予測が不安定になるだけでなく、病変スライスを全部取り除いても、最大76.1%のケースで確定診断を出力しちゃったんだ。つまり、AIは不確かな時でも「わからない」と言えない。
それってすごく危ないね。医者がAIの診断を信じたら、間違った治療につながるかも。
そう。だからこの研究は、高精度なAIでも臨床での信頼性は過大評価される可能性があるって警告してるんだ。
でも、なんで順序やラベルでそんなに変わるの？AIって本質的に順序に敏感なの？
VLMはテキストと画像を一緒に処理するから、ラベルの順序がプロンプトの文脈に影響するんだ。画像スライスも、モデルが全体像を捉えるときに順序に依存してしまう。
ふーん。じゃあ、この研究の限界とかはあるの？
うん、一つのデータセットと特定のVLMに限ってるから、他のモデルやデータでも同じかはわからない。あと、実際の臨床環境での影響までは調べてない。
なるほどね。でも、AIが「自信満々に間違える」ってのは怖いなあ。まるでテストで全然わかってないのに、勘で答えを書いちゃう学生みたい。
はは、確かに。でも学生は「わからない」って言えるけど、AIはそれができないからね。