TL;DR
本論文は、SNS投稿からLLMが特定個人としてBFI-2-60のBig Five質問に回答し、特性スコアを再現できるか検証した。GPT-4、Gemma、Llama 3.1、MistralをMyPersonalityで評価。ユーザー文は一貫して精度を改善せず、分布中央では比較的良いが両端で弱い。文量増加も誤差を体系的に下げず、明示プロファイル時も限定的だった。質問紙単位・分布別・ベースライン比較で個人再現を測る点が強みで、実務では過信せず集団傾向や無テキスト回答との差分を見る必要がある。
既存手法との違い
原論文の比較対象は、ユーザー文なしのLLMデフォルト回答（no-text）と、Srivastavaの特性分布に基づく集団傾向サンプリング。加えて、ユーザー文なしで目標Big Fiveプロファイルのみを与える明示プロファイル条件をストレステストとして実施している。違いは、質問項目単位の回答をスコア化し、集団・モデル事前分布を超えた個人再現かを分布別に評価する点。既存APPT手法との直接比較は、提示された本文からは確認できない。
使える条件
対象はBig Five（BFI-2-60）の5件法質問と、MyPersonalityのFacebook投稿。入力はユーザー投稿を連結した文書と質問項目、または目標Big Fiveプロファイルのみ。評価モデルはGPT-4、Gemma、Llama 3.1、Mistral。回答を特性スコアに集計し、実スコアとの誤差を全体・低中高分布別・文量増加・明示プロファイルで見る。計算資源、コスト、言語条件などの詳細は提示本文からは確認できない。RAGを前提とした論文ではない。
限界と未検証の範囲
ユーザー文が一貫して性能を改善せず、特性分布の両端では中央寄りまたは片端のみ良好などの弱さがある。文量増加は誤差を体系的に下げず、オープンソースモデルは変動が大きく、GPT-4は比較的安定。明示プロファイルではGPT-4が特にExtraversionとNeuroticismで明確だが、全体として特定個人の質問紙行動を一貫再現しない。データはMyPersonality/Facebook投稿、BFI-2-60、5件法、評価した4モデルに限定され、他プラットフォーム、言語、質問紙、モデル、実運用は未検証。具体的な数値結果は提示本文からは確認できない。
解説
ねえ智也、この論文タイトル気になる。「LLMは個人のBig Five質問回答を分布別評価で再現できるか」って、要するにLLMに私の性格質問の答え方を真似させるってこと？
そう。論文では、SNS投稿を渡して、その人がBFI-2-60のBig Five質問に答えるようにLLMへ回答させる。で、5件法の回答を特性スコアに集計して、本人の実スコアと比べる。
へえ、質問紙をそのまま答えさせるのが面白い。普通は文章から性格を予測するだけじゃないの？
そこがこの論文の特徴。質問項目単位の回答を評価の中心に置いてる。モデルはGPT-4、Gemma、Llama 3.1、Mistralで、データはMyPersonalityのFacebook投稿。
なんでそんなことやるの？
論文の動機は、性格プロファイルごとの比較や大規模シミュレーションを、毎回大量の実ユーザーを集めずにやるため。でも個人固有の振る舞いを再現できないと意味がない、という問題意識。
分布別評価って何を見てるの？
平均誤差だけじゃなくて、特性スコアが低い人・中間の人・高い人に分けて見る。平均だと良く見えても、両端の個人再現が弱いと隠れるから。
なるほど。で、個人を再現できてるかはどうやって切り分けるの？
比較が二つある。ユーザー文なしのLLMデフォルト回答と、Srivastavaの特性分布からサンプルする集団傾向ベースライン。つまり、個人情報を使ってるのか、それとも一般傾向やモデル癖に寄ってるのかを見る。
いいね、それがないと「当たった風」なのか分からないもんね。明示プロファイルの実験もあるんでしょ？
ある。ユーザー文なしで、目標のBig Fiveプロファイルだけ渡して質問紙に答えさせる。これは実運用の予測というより、特性情報を質問回答に一貫して変換できるかのストレステスト。
結果はどうだった？
論文の報告では、ユーザー文は一貫して精度を改善しなかった。あと、分布の中央では比較的良いけど、低い端・高い端では中央寄りになったり、片端だけ良かったりする。
うーん、両端が弱いのはデジタルツインとしては痛いね。文量を増やせば良くなる？
そこも体系的な改善はなかった。オープンソースモデルは変動が大きくて、GPT-4は比較的安定。明示プロファイルだとGPT-4が特にExtraversionとNeuroticismで明確に変換できたけど、全体としては限定的。
じゃあ「個人の再現」はまだ過信できない感じか。
そう。論文の意義は、質問紙単位・分布別・ベースライン比較で個人再現を測るところ。実務では集団傾向やテキストなし回答との差分を見るべき、という警告になってる。既存APPT手法との直接比較や細かい数値は、提示本文からは確認できない。
使える条件も限られてる？
論文ベースだと、MyPersonalityのFacebook投稿、BFI-2-60、5件法、評価した4モデルが前提。他のプラットフォーム、言語、質問紙、モデル、実際の運用は未検証で、計算資源やコストの詳細も提示本文からは確認できない。ここは記事の解釈だけど、個人診断みたいに使うのは危ない。
じゃあ私のSNS投稿でデジタルツイン作ったら、質問紙だけ妙に中央値の優等生になるってこと？
いや、その前に投稿が雑すぎて中央以前の問題だと思う。