TL;DR
医療用VLMでは距離や径などの連続値をトークン列として出すため、数値の近さや座標との整合が保ちにくい。HAD-VLMは自己回帰のテキスト生成と拡散による連続5値（始点・終点座標と長さ）予測を同一バックボーンに統合し、座標-長さ整合とアンサンブル後処理で計測を補正する。EchoNet-LVHの4つの心エコー計測でMAE 1.16〜3.05 mm、X線椎体計測でMAE 11.4→6.7 pixelsなどを報告。医療QA性能は評価データセットで保持。評価範囲は限られ、臨床一般化や計算コストは未確認。
既存手法との違い
原論文では、Vicunaベースの自己回帰型ベースラインに対し、4つの心エコー計測で誤差を21.4–37.6%相対的に低減したと報告。さらにファインチューニングしたQwen3-VLと直接MLP回帰を全4タスクで上回ると記載。X線椎体計測ではMAEを11.4から6.7 pixelsに低減。これらは提示本文内の比較であり、本記事で独立追試はしていない。比較条件の詳細（学習設定・プロンプト長など）は本文からは一部確認できない。
使える条件
対象は自然言語プロンプトで計測対象を指定する医用画像の定量計測。原論文の評価は、EchoNet-LVH上の4つの心エコー計測（IVSd, LVIDd, LVIDs, LVPWd）、医療QA、X線椎体計測。入力は画像とテキストプロンプトで、CLIP ViT-L/14＋Visual Prompt Tuning、MLP projector、Vicuna-7B、拡散ヘッドを使う構成。5値表現（始点・終点座標、長さ）と検証セットで校正する整合しきい値、R=20のアンサンブル推論を用いる。学習データ規模、GPU等の計算資源、学習時間、医療QAデータセット名は提示本文からは確認できない。
限界と未検証の範囲
評価は主にEchoNet-LVHの4心エコー計測で、追加評価は医療QAとX線椎体計測に限られる。他臓器・他モダリティ・多施設データ、臨床ワークフローでの有効性、失敗時の安全性、長期運用は提示本文からは確認できない。座標-長さ整合のしきい値は検証セットの85パーセンタイルで校正され、R=20の拡散サンプル集約を行うため、推論コストや校正データ依存の程度は本文で定量評価されていない。医療QA性能は「評価データセットで保持」とされるが、広範な言語能力の維持は未確認。比較結果は原論文内の設定であり、独立追試ではない。
解説
智也、この論文のタイトル気になる。医療画像VLMの計測精度を上げるやつ？
うん。ざっくり言うと、距離や径みたいな連続値を、普通のVLMみたいに数字トークンで出すと精度が崩れやすい問題を扱ってる。
数字をトークンで出すと、10.1が10と.と1に分かれるみたいな感じ？近い値なのに表現がバラバラになりうるってこと？
そう。トークン予測は次の記号の当てやすさは見るけど、数値の距離の大きさを直接は最適化しない。あと座標の小さなズレと長さの整合も保ちにくい。
で、HAD-VLMは自己回帰の文章生成と、拡散で連続値を予測するのを同じバックボーンに入れるんだ。
その通り。始点・終点の座標と長さの5値タプルを拡散で出して、座標から計算した長さと直接予測した長さのズレを見る座標-長さ整合も入れてる。検証セットでしきい値を決めて、推論では20個サンプルの中央値で補正する。
視覚側はCLIP ViT-L/14をVPTで医療画像向けに調整して、LLMはVicuna-7Bなんだね。入力は画像と自然言語プロンプトで、計測対象を文で指定できるってこと？
論文の範囲ではそう。EchoNet-LVHの心エコー4計測、IVSd・LVIDd・LVIDs・LVPWdでMAEが1.36、2.77、3.05、1.16 mm。Vicunaベースの自己回帰ベースラインより21.4〜37.6%相対的に誤差を下げたと報告してる。
比較はそれだけ？
論文内では、ファインチューニングしたQwen3-VLと直接MLP回帰も全4タスクで上回るって書いてある。X線椎体計測はMAEが11.4から6.7 pixelsに下がった。医療QAは評価データセットで性能を保持。ただ独立追試じゃなくて、比較条件の細部は本文から確認できない部分もある。
意義は、プロンプトで計測を切り替えつつ、言語能力も残したまま数値の精度を上げる方向を示したことかな。
そうだね。でも評価は主にEchoNet-LVHの4心エコー計測と、追加の医療QA・X線椎体計測に限られる。他臓器や多施設、臨床ワークフロー、計算コストは未確認。しきい値の検証セット依存やR=20の推論コストも定量評価されてない。
なるほど。すごくざっくり言うと、数字をトークンで刻むより、座標ごと拡散でまとめて測ろうって話だね。これ、カラオケの採点も連続値でやってくれないかな。
採点はともかく、まずは画像の座標と長さの整合からだね。