TL;DR
本論文は、マンモグラフィVQAでVLMが同時に出す「回答」「自信」「説明」が互いに一致し、画像に支えられているかを、画像・質問・選択肢の摂動で調べる。精度だけでは見えない過信、説明と回答の矛盾、形式変更での回答揺れを示す。実運用では三者一致とNOTA（該当なし）への適切な棄権を監視すべき、という示唆。
既存手法との違い
原論文は特定の新手法を既存手法と精度比較するものではなく、精度中心のVLM評価に対する評価プロトコルの提案・実証である。比較対象は4モデル（MedGemma-4B、Lingshu-7B、Qwen2-VL-7B、InternVL3-8B）と6条件（原画像＋5摂動）。既存研究は回答精度、説明のfaithfulness、confidence calibrationを個別に評価してきたが、同一応答内の回答・自信・説明の相互一致と画像への接地をまとめて見る点が違う。本文から確認できる範囲では、閉源モデルやマンモグラフィ専用モデルとの直接比較はない。
使える条件
対象はマンモグラフィのVQA。データはMammoVQAのRSNAとEMBED、課題は乳腺密度ACR A–DとBI-RADS 0–6。入力は1枚（RSNA）または複数検査画像（EMBED）とテンプレート質問・固定選択肢。4つのオープンVLM（4–8B、未量子化、greedy decoding）を同一指示で評価。各質問にNOTAを追加し、answer・confidence・reasoningを1応答から抽出。原画像＋unrelated/blank/no-image/perturbed-question/perturbed-optionsの6条件。コード公開。臨床運用やAPIモデル、他モダリティは本文で未検証。
限界と未検証の範囲
評価がマンモグラフィ2データセット・4モデル（4–8BのオープンVLM）に限定され、胸部X線や一般画像、閉源・マンモグラフィ専用モデルへ一般化できない。greedy decoding固定で、サンプリングやプロンプト変更の影響は未検証。reasoning-answer抽出はルールベース＋定義ベースで、人手検証は120件（κ=0.78）だが完全な検証ではない。6条件は臨床の読影ワークフローを完全再現せず、臨床アウトカムや放射線科医の監査負荷は評価していない。Table 1は提示本文で途切れており、全数値を確認できない。
解説
ねえ智也くん、このマンモグラフィVLMの論文って、精度だけじゃ足りないって話？タイトルから気になる。
そう。VLMが答えるとき、ラベルだけじゃなくて自信と説明も出す。でも評価は精度中心。だから同一応答内で回答・自信・説明が一致してるか、画像に支えられてるかを見る。
へえ。三つを別々じゃなくて同時に見るのがポイント？
うん。従来は回答精度、説明の忠実性、自信の較正を個別に評価する研究が多い。この論文は同じ応答から三つを取り出して、相互一致と画像への接地をまとめて調べる。新しいモデルを精度で比較した研究ではない。
比較は何と何？
4つのオープンVLM、MedGemma-4B、Lingshu-7B、Qwen2-VL-7B、InternVL3-8B。6条件は原画像と5つの摂動。閉源モデルやマンモグラフィ専用モデルとの直接比較は、提示本文からは確認できない。
摂動って画像だけ？
画像は無関係な写真、空白、画像なし。あと質問の言い換えと、選択肢のシャッフル＋言い換えダミー。各質問にNOTAを足して、適切に棄権できるかも見る。
NOTAは「該当なし」だよね。それで何を測るの？
回答、選んだ選択肢への自信、説明で名指しされた答えを抽出する。三者の一致、最高スコア選択肢との一致、自信が画像証拠に沿うか、NOTA選択率、説明と回答の精度差、混乱の分類を見る。
結果は？
本文では、画像を変えても自信が下がらない、選択肢をシャッフルすると多くのVLMで回答が変わる、モデル自身の説明が最終回答と矛盾するケースがある、と報告してる。精度だけでは見えない。
実運用だと何が大事？
回答・自信・説明の三者一致と、NOTAへの適切な棄権を監視すべき、という示唆。過信や説明と回答の矛盾、形式変更での揺れを見つけるため。
でも万能じゃないんでしょ？
評価はマンモグラフィの2データセット、4つの4–8BオープンVLMに限定。貪欲法で固定。説明からの答え抽出はルール＋定義ベースで、人手検証は120件、κ=0.78だけど完全検証じゃない。臨床ワークフローやアウトカム、放射線科医の監査負荷は評価してない。表1も提示本文が途切れてて全数値は確認できない。
なるほどね。つまり「自信満々なのに説明と答えがケンカしてる」って、人間のテスト前みたいだね。
人間のテスト前と一緒にされると困る。少なくとも画像を見てから言ってくれ。