TL;DR
VH-CBMは、VLMの弱い概念注釈だけに頼らず、1%程度の専門家注釈をVLM埋め込み空間上の概念別ガウス過程で伝播させる。これによりVLM-CBMより概念精度と校正を改善し、注釈増加や能動学習も活用できる。ただし専門家注釈は依然必要で、評価は4データセット・2バックボーンに限られる。
既存手法との違い
原論文は、通常のCBMとVLM-CBMを主な比較対象としている。通常のCBMは高品質な概念注釈を大量に必要とし適用範囲が狭い一方、VLM-CBMはVLMの弱い監督で適用範囲を広げるが、VLMの不確実性により概念精度・解釈性が低下しうる。VH-CBMは両者の中間として、VLM埋め込み空間上の概念別GPに少数の専門家注釈を伝播させ、4つの合成・実世界データセットと2つのバックボーンで、概念精度・校正・もつれ具合を評価している。提示本文では、VH-CBMが1%程度の注釈でもVLM-CBMより概念精度と校正で優れ、注釈増加に単調に改善し、能動学習も支持すると報告されている。具体的な数値は提示本文からは確認できない。
使える条件
前提として、概念語彙(手動または基盤モデルで定義)、タスクラベルのみを持つ大きめのデータセット、少数だが密な専門家概念注釈を持つ部分集合、全入力に対するVLM埋め込みが必要である。概念は二値またはカテゴリカルで、概念ごとにGPを用意し、GPの予測統計を線形推論層に渡してタスク予測を行う。能動学習ではGPの不確実性を用いて「どの概念」を注釈するかを優先する。原論文の評価は4つの合成・実世界データセットと2つのバックボーンで行われているが、提示本文からはデータセット名、計算資源、推論コスト、具体的な前処理条件は確認できない。
限界と未検証の範囲
VH-CBMは専門家注釈を少量に抑える設計だが、完全に不要にはできない。概念語彙の設計やVLM埋め込みの質に依存し、VLM埋め込みが対象領域の有用な大域情報を捉えられない場合は注釈伝播の効果が限られうる。能動学習は概念の選択を優先するが、事例の選択は対象外である。評価は4つの合成・実世界データセットと2つのバックボーンに限られ、提示本文ではタスク精度の詳細な比較結果や他分野への一般化は確認できない。また提示本文ではSection 3.2以降が途切れており、著者が挙げる限界の全リストは確認できない。
図1: 提案手法の概要(本記事による図解)
解説

ねえ智也、VH-CBMって論文、普通のCBMとVLM-CBMのいいとこ取りみたいな話?

そう。普通のCBMは概念注釈が大量に必要で適用範囲が狭い。VLM-CBMはVLMの弱い注釈で広げられるけど、VLMが不安定だと概念精度や解釈性が落ちる。そこが動機。

じゃあ、専門家注釈を少しだけ使う中間案ってことか。

うん。VH-CBMはVLM埋め込み空間に概念ごとのガウス過程を置く。少数の密な専門家注釈を、埋め込みの幾何に沿って全データへ伝播させる。

ガウス過程……難しそう。でも概念ごとに一個ずつ用意するんだ?

二値概念は二値GP、カテゴリ概念は多クラスGP。各概念の平均と分散を出して、線形推論層でタスク予測する。校正も良くなる狙い。

なるほど。VLMの点ごとの注釈が雑でも、空間の大域情報は使えるってことか。

その理解でいい。訓練はタスクラベルだけの大きいDと、専門家の概念注釈付きの小さいDsを使う。Dsは推論時にも使う。

評価はどれくらい? 1%くらいの注釈でもいける?

原論文は4つの合成・実世界データセットと2バックボーンで、通常CBMとVLM-CBMを比較してる。1%程度でもVLM-CBMより概念精度と校正が良いと報告。注釈を増やすと単調に改善して、能動学習も支持する。

1%でそれは強い。数値は?

提示本文からは具体的な数値は確認できない。あと専門家注釈が完全に不要になるわけじゃない。概念語彙やVLM埋め込みの質にも依存する。

評価範囲も限られてる?

4データセット・2バックボーンに限られる。提示本文ではデータセット名や計算資源、他分野への一般化は確認できない。3.2節以降も途切れてて、著者の限界リスト全部は見えない。

でも「少量の専門家注釈で概念をちゃんと伝播」って発想は面白いね。解釈性と適用性のトレードオフに効きそう。

そうだね。能動学習でどの概念を注釈するか優先するのも、注釈コストを下げる方向。

じゃあ私、1%だけ注釈する係やる。どの1%かは智也が全部考えてね。

それ、ほぼ全部こっちの仕事じゃん。