解説ねえ智也くん、この論文のタ…
TL;DR
VLMは物体カウントタスクで誤答しがちだが、中間層の活性化を調べると正しい数が内部に符号化されていることが多い。この「内部知識と出力のミスアライメント」を、プローブとSVCCAで分析し、誤り検出器で再プロンプトを選択的に行う自己修正手法を提案。最大15.6%の絶対精度向上をパラメータ更新なしで達成。
解説
ねえ智也くん、このブログのタイトル、面白いね！「VLMの内部表現に正しい数はあるのに出力がズレる」って、どういうこと？
ああ、VLMって画像を見て質問に答えるモデルなんだけど、物体の数を数えるタスクでよく間違えるんだ。でも、中間層の活性化を調べると、実は正しい数が内部に符号化されてることが多いって話。
え、じゃあモデルは答えを知ってるのに、最後の出力で間違えちゃうってこと？もったいないね！
そう。この論文では、その「内部知識と出力のミスアライメント」を分析するために、活性化プローブとSVCCAっていう手法を使ってる。プローブで中間表現から数を読み取って、SVCCAでどの層に情報が残ってるか調べるんだ。
SVCCA？なんだか難しそう…でも、それでどうやって修正するの？
誤り検出器を作って、モデルが間違えそうなときだけ再プロンプトをかけるんだ。パラメータ更新なしで、最大15.6%も精度が上がったって。
パラメータ更新なしでそんなに上がるの？！すごいね。でも、どんな場面で特に効果があったの？
例えば、画像の中に物体がたくさんあるときや、背景が複雑なとき。そういうケースで内部表現と出力のズレが起きやすいみたい。
なるほど。でも、この手法ってどんなモデルでも使えるの？限界とかあるのかな。
プローブを訓練するのに正解ラベルが必要だから、教師あり学習が必要なんだ。あと、再プロンプトの回数が増えると計算コストがかかる。それに、この手法は数えるタスクに特化してて、他のタスクにはそのまま適用できないかも。
ふーん、やっぱり万能じゃないんだね。でも、内部表現を活用するって発想は面白い！私も将来、AIの研究するならこういうのやってみたいな。
頑張れよ。でもまずはSVCCAの勉強からだな。
えー、また難しいやつ！でも智也くんが教えてくれるなら大丈夫かな？冗談だよ、自分で調べるってば！
その意気だ。でも調べすぎて寝不足にならないようにね。