TL;DR
Qwen3-VL-8B-Instructで、100画像×53プロンプトのペルソナ条件付けを調べた研究。内部表現では後層にペルソナ構造が現れ、プロンプトの言い回しがペルソナ内容より強く表現を動かす。一方、興味度評定はペルソナ内容の方が大きく説明し、表現の距離が行動への影響を意味しないことを示す。RAG固有の研究ではない点に注意。
既存手法との違い
原論文は他モデルや既存ペルソナ手法との直接比較を提示本文では行っていないと確認できる。比較の中心は同一モデル内の完全要因設計で、ペルソナ内容（社会人口統計スキーマとBig Fiveスキーマ、各5人）とプロンプトスタイル（S1–S5）をクロスし、ペルソナなしのBase・D1・D2参照条件と比べている。評定分散ではBig Fiveが33.4%、プロンプトスタイルが5.6%を説明し、社会人口統計もスタイルの約3倍だが画像内容より小さい。隠れ状態では順序が逆で、ペルソナの導入方法が内容より数倍強く表現を再編成する。D1とD2は評定を変えずに表現を変えた、と報告されている。
使える条件
Qwen3-VL-8B-Instruct（open-weightのinstruction-tunedマルチモーダルTransformer）を推論のみで使用。float16、量子化なし。画像はFlickr由来100枚を興味度スコアで層化。各画像に53プロンプト（3参照条件＋5スタイル×2スキーマ×5ペルソナ）で計5,300セル。単一ユーザーターン、システムメッセージなし、画像をプロンプト前に配置、greedy decodingで最大128トークン、5段階評定をJSONで取得。隠れ状態は最終プロンプトトークンで全デコーダ層（embeddingを含め37層）から取得している。RAGや検索拡張生成固有の設定ではない。
限界と未検証の範囲
単一モデル・単一タスク（視覚的興味度）・100画像・各スキーマ5ペルソナ・5プロンプトスタイルに限られ、他モデル、他タスク、他言語、RAGやエージェント設定への一般化は未検証。表現と評定の関連は主に観測・相関で、因果介入の有無は提示本文からは確認できない。評定は5段階で極端値が1%未満、1セル1回のgreedy生成のため確率的頑健性は未評価。ペルソナが人間の判断を忠実に模すかは本研究の範囲外であり、内部表現の距離が行動的重要度を意味しないため表現解析だけでの結論は避ける必要がある。
解説
ねえ智也、このブログのタイトル「マルチモーダルLLMでペルソナの内部表現と評定行動の乖離を示す」って、ペルソナをLLMに与えると中の表現と行動がズレる、って話？
ざっくり言うとそう。でも出発点はもっと前で、LLMを人間参加者の代わりに使う「シリコンサンプル」的な発想がある。ペルソナを与えると本当にその人の視点になるのか、それとも言い回しが変わってるだけなのか、が曖昧だった。
あー、性格を足したように見えて、実はプロンプトの文体を変えただけかも、って疑いだね。
そう。だからペルソナ内容と、それを導入する文体を別の因子にして交差させた。さらに、内部表現の変化が評定行動に対応するかも見てる。興味度は正解がない主観評定だから、ペルソナで判断が変わっても「間違い」にならない。テストベッドとして都合がいい。
なるほど。で、何を使ったの？
Qwen3-VL-8B-Instruct。推論だけで、float16、量子化なし。画像はFlickr由来100枚を興味度スコアで層化。各画像に53プロンプト。内訳はペルソナなしの参照条件3つと、5スタイル×2スキーマ×5ペルソナの50。合計5,300セル。
スキーマって、どんなペルソナ？
一つは社会人口統計で、出身や年齢、性別、職業、作業負荷、感情。もう一つはBig Fiveのパーセンタイル。名前付きのステレオタイプじゃなくて、項目と値の組でペルソナを定義してる。スタイルは一人称で想像しろ、三人称で観察者として置く、タスクの後に置く、ペルソナとしてだけ答えろ、統計的傾向として提示、の5つ。
評定は5段階で、JSONで出させるんだ。
そう。Not InterestingからExtremely Interestingまで。隠れ状態は最終プロンプトトークンで、全デコーダ層、埋め込み込みで37層から取ってる。表現の幾何はMDSとGDV、評定は分散分解と条件間相関で見る。
結果は？
評定では、Big Fiveペルソナが評定分散の33.4%、プロンプトスタイルが5.6%を説明した。社会人口統計もスタイルの約3倍だけど、画像内容よりは小さい。つまり評定にはペルソナ内容の方が言い回しより効く。
じゃあ内部表現もペルソナ内容が強いの？
そこが逆。隠れ状態では、ペルソナの導入方法の方が内容より数倍強く表現を再編成する。ペルソナ特異的な構造は後層で出て、初期層は画像同一性を主に符号化する。しかも「You are an AI」と「You are a human being」だけで表現は動くのに、100画像で評定はタスクのみベースラインと変わらなかった、と報告されてる。
え、表現が動いても行動は変わらないことがあるんだ。
そう。だから表現の距離が行動への影響を意味しない、ってのが中心的な主張。表現解析だけでペルソナの機能的影響を結論づけるのは危ない。
比較は？ 他のモデルとか既存のペルソナ手法と比べたの？
提示された本文からは、他モデルや既存ペルソナ手法との直接比較は確認できない。比較の中心は同一モデル内の完全要因設計で、ペルソナ内容とスタイル、それにペルソナなしのBase・D1・D2参照条件との違い。D1とD2が評定を変えずに表現を変えた、というのもその比較から出てる。
使える条件は？
単一モデル、視覚的興味度タスク、100画像、各スキーマ5ペルソナ、5スタイル。単一ユーザーターン、システムメッセージなし、画像をプロンプト前に置く、greedyで最大128トークン、1セル1回。RAGや検索拡張生成固有の設定ではない。
制限は？
他モデル、他タスク、他言語、RAGやエージェント設定への一般化は未検証。表現と評定の関連は主に観測・相関で、因果介入は提示本文からは確認できない。評定は5段階で極端値が1%未満、1セル1回のgreedyだから確率的な頑健性も未評価。ペルソナが人間の判断を忠実に模すかは範囲外。
そっか。じゃあ「ペルソナの内部表現」って聞くとすごく本質っぽいけど、行動とセットで見ないとダメなんだね。
そうだね。人工認知を見るなら、表現空間の組織化と、それが行動に反映されるかを分けて考える必要がある。
なんか、心の声はめっちゃ動いてるのに顔に出てない人みたいだね。
心の声とは限らないし、例えが雑すぎる。