TL;DR
本論文は、同じ4つの禁煙質問を12種類のユーザーペルソナから6つの商用LLMに与え、合計2,880応答を監査した研究です。全モデルで、ティーンペルソナには成人よりFDA承認の処方禁煙薬を言及する割合が32〜67ポイント低く、5/6モデルでは医療専門家を名乗るペルソナの方が事実数が少ない傾向でした。短いシステムプロンプトは全モデルでティーンと成人の処方薬言及差を25〜62ポイント縮めましたが、全体の事実被覆への効果はモデルごとに大きさも方向も異なり、他モデルへの転用は前提にできません。
既存手法との違い
原論文内の比較は、既存の禁煙チャットボット評価研究（USPSTFガイドライン由来の遵守指標で応答を採点する研究）や、ユーザー属性で応答が変わるというペルソナ条件付け研究、プロンプトで挙動を誘導する研究を踏まえています。違いは、既存研究が単一モデル中心・汎用ユーザー前提だったのに対し、本論文は6モデル・12ペルソナ・2条件で同一質問を反復し、ベースライン条件と「事実下限」を指定するシステムプロンプト条件を比較した点です。特定の既存手法と精度を直接比較した実験ではありません。
使える条件
対象は禁煙助言ドメインです。6つの商用LLM（Claude Haiku/Sonnet、Gemini 2.5 Flash/Pro、GPT-5.5、Grok 4.3）を公式APIで2026年4〜5月に評価し、4つのライフステージ×3つの自己申告専門性からなる12の合成ペルソナ、4つの禁煙質問、ベースラインと事実下限プロンプトの2条件、各組み合わせ5回反復で2,880応答を得ています。最大トークンは4,096で、指標は正規表現ベースの語数、ヘッジ数、誘導率、7カテゴリの事実被覆です。妊娠中の質問はUSPSTF推奨が異なるため別分析されています。RAGや検索拡張は対象ではありません。
限界と未検証の範囲
12ペルソナは年齢・専門性だけでなく喫煙歴や職業など複数属性が同時に異なるため、年齢や専門性単独の因果効果としては報告できず、シナリオレベルの差として解釈する必要があります。年齢も臨床・法的境界を狙った意図的選択で、母集団を代表しません。著者らは予備的・探索的監査と位置づけています。評価は6モデルに限られ、商用モデルの可用性は入れ替わりやすい点も注意が必要です。プロンプトは差を狭めても、事実被覆への効果がモデルごとに異なるため、別システムへの転用は検証なしにはできません。また、同じ言及率が常に臨床的に正しい目標とは限らず、未成年や妊娠では年齢・状況に応じた事実下限が必要です。臨床アウトカムや人間評価は提示本文からは確認できません。
解説
ねえ智也くん、この論文タイトル「同じ禁煙質問でも助言が変わる？」ってあるけど、どういうこと？ 禁煙の質問って同じなのに、答えが変わるの？
そう。同じ質問でも、聞いてくる人のペルソナによってLLMの答えが変わるか調べた研究。禁煙は臨床ガイドラインがはっきりしてるから、比較しやすいんだ。
ペルソナって、年齢とか職業とか？
うん。16歳、21歳、40歳、68歳の4ライフステージと、初心者・詳しい人・専門家の3レベルを組み合わせた12ペルソナ。それぞれに同じ4つの禁煙質問をして、ベースラインと「事実下限」を指定するプロンプトの2条件で、5回ずつ繰り返した。合計2880応答。
2880！ すごい数。で、結果は？
全モデルで、ティーンのペルソナには成人よりFDA承認の処方禁煙薬を言及する割合が32〜67ポイント低かった。あと5/6モデルでは、医療専門家を名乗るペルソナの方が事実数が少ない傾向だった。
え、専門家の方が少ないの？ 逆じゃない？
そう、直感に反する。でもペルソナは年齢や専門性だけでなく喫煙歴や職業も同時に違うから、専門性単独の効果とは言えない。シナリオレベルの差として報告されてる。
プロンプトの効果は？
短いシステムプロンプトで事実下限を指定すると、全モデルでティーンと成人の処方薬言及差を25〜62ポイント縮めた。ただ、全体の事実被覆への効果はモデルごとに大きさも方向も違った。だから一つのモデルで検証したプロンプトが他のモデルにそのまま移せるとは限らない。
へえ、じゃあ「みんなに同じ情報を」ってプロンプトも万能じゃないんだ。
そう。しかも同じ言及率が常に臨床的に正しい目標とは限らない。未成年には処方禁煙薬は推奨されないから、事実下限は年齢に応じて変える必要がある。
なるほどね。この研究のすごさは、6モデル横断でペルソナ依存の差を示したことと、プロンプトの効果がモデルごとに違うって示したことか。
うん。でも著者らは予備的・探索的監査と言ってる。年齢も臨床・法的境界を狙った意図的な選択で、母集団を代表しない。臨床アウトカムや人間評価は確認できない。
そっか。じゃあ、私が「禁煙したい」って聞いたら、16歳の高校生って言うのと40歳の会社員って言うのでは、もらえる薬の情報が違うかもしれないってこと？
そういうこと。
じゃあ私、智也くんに「専門家です」って言って質問したら、逆に情報少なくなるかもね！
いや、君は専門家って言っても信じられないでしょ。