解説ねえ智也くん、この「MLL…
TL;DR
人間の視覚的類似性判断は文脈（色・形・背景など）に依存するが、既存指標は単一スカラー値しか返さない。本論文では、テキストプロンプトで類似性の側面を指定できるText-Prompted Image Perceptual Similarity (TPIPS)を提案。25Kトリプレット・100万件の人間判断データセットを収集し、VLMをファインチューニング。ゼロショットVLMより人間合致度が高く、生成モデル評価・検索などに応用可能。
解説
ねえ智也くん、このTPIPSって論文、タイトルからして面白そう！テキストで画像の類似度を指定できるってどういうこと？
簡単に言うと、今までの画像類似度指標は「この画像とこの画像はどれくらい似てるか」を一つの数字でしか教えてくれなかったんだ。でも人間は「色が似てる」「形が似てる」って文脈で判断を変えるだろ？
あー、確かに！例えば赤い車と赤いリンゴは色は似てるけど形は全然違うし、そういうのを一つの数字で表すのは無理があるよね。
そう。そこでTPIPSはテキストプロンプト、例えば「色に注目して」とか「背景を無視して」みたいな指示を与えると、その側面に沿った類似度を計算してくれるんだ。
それってどうやって実現してるの？やっぱりすごい量のデータが必要なんじゃない？
うん。まず25Kのトリプレット（基準画像、似た画像、似てない画像のセット）と、100万件の人間の判断データを集めて、VLM（視覚言語モデル）をファインチューニングしてる。これでテキストで指定した側面を理解できるようになるんだ。
へえ、そんなに大量のデータを集めたんだ！でも、ゼロショットのVLMと比べてどうなの？
実験の結果、TPIPSはゼロショットのVLMより人間の判断との一致度が高かった。特に「テクスチャ」や「オブジェクトの数」みたいな細かい側面で差が出てる。
すごい！じゃあもう完璧な指標ってこと？
いや、限界もある。例えばプロンプトが抽象的すぎるとうまくいかない場合があるし、学習データにない特殊な側面を指定されると精度が落ちる。あと計算コストも結構高い。
なるほどね。でも生成モデルの評価とか画像検索に使えるなら、実用性はめっちゃ高そう！
そう。特に「この画像みたいな雰囲気の画像を探して」みたいな検索に使えるのは大きいと思う。
じゃあ私もこのTPIPSを使って、智也くんに似てる有名人を検索してみようかな！「性格が似てる」ってプロンプトで。
……それ、TPIPSは視覚的な類似度しか測れないから、性格は無理だよ。