TL;DR

LLMは会話の「誰が言ったか」を内容と構造の手がかりで推定するため、ツール出力内の偽の特殊トークンとユーザー風の文面を組み合わせた役割偽装に弱い。論文はこの原因を整理し、役割を予測する線形プローブで偽装を検出する低コストな防御を提案している。ただし簡略化した設定や限られた評価条件での結果であり、実運用への一般化には追加検証が必要。

既存手法との違い

原論文は、既存のプロンプトインジェクション／役割偽装対策として、内部表現を用いる線形プローブ系の手法（Anthropic 2026、Abdelnabi et al. 2025、PIShield、Ye et al. 2026のrole probe）や、役割埋め込み・メッセージ間の位置埋め込み・役割別ストリームといったアーキテクチャ変更と比較している。提案法は正解の役割ラベルを用いて役割予測プローブを訓練し、ランダムな内容でもクリーン例と役割偽装例をほぼ完全に分離でき、良性データでの偽陽性率が従来法より良いと報告している。攻撃評価では、ユーザー直接指示（control）とツール出力への注入（injection）の比率で正規化し、AgentDojoのworkspace系で63.1%〜103.6%の比率を示した。toy設定では、内容ベース攻撃への敵対的学習が構造ベース攻撃への脆弱性を残すことを示し、Qwen3.5-27Bの微調整でも構造ベースの役割偽装は解決しないと報告している。

使える条件

対象は、ツール出力など信頼できない外部テキストを読むLLMエージェントと、特殊トークンでメッセージ境界を表すチャットテンプレートを持つモデル。攻撃側はツール応答に任意のテキストを注入できると仮定され、原論文は文字のエスケープをしないより許容的な脅威モデルを採用している。防御法はモデル内部の活性値と、会話内の正解役割ラベルを使って線形プローブを訓練できることが前提。評価はAgentDojoのworkspace系、独自のツール利用テストベッド、toy設定、Qwen3.5-27Bの微調整で行われている。実運用のレイテンシや全モデル・全ツール形式への適用可否は、提示された本文からは確認できない。

限界と未検証の範囲

役割偽装の攻撃と検出に焦点があり、他のプロンプトインジェクション全体を防ぐものではない。AgentDojo評価は原論文独自の脅威モデルで、既定のベンチマーク設定とは異なる。toy設定は簡略化された訓練パイプラインであり、現実の事前学習・指示チューニングを完全には再現していない。敵対的学習は内容ベース攻撃には効くが構造ベース攻撃への脆弱性を残すとされ、Qwen3.5-27Bの微調整でも構造ベース役割偽装は解決していない。線形プローブは内部活性と正解役割ラベルへのアクセスを必要とし、適応的攻撃への頑健性、実運用での偽陽性・偽陰性、未知のモデルやツール形式への一般化は提示された本文からは確認できない。

解説

ねえ智也くん、この「LLMエージェントの役割偽装」って論文、ざっくり何が問題なの？

エージェントがツールの出力を読むとき、悪意あるテキストが「ユーザーが言った」とモデルに誤解させる攻撃があるんだ。偽の特殊トークンとユーザーっぽい文体を組み合わせる。

特殊トークンって、会話の区切りに入るやつ？

そう。本当はツール出力なのに、<|im_start|>userみたいな偽物を混ぜると、モデルがユーザー発話だと信じる。論文ではこれをrole spoofingと呼んでる。

なんでそんなに効いちゃうの？

モデルは「誰が言ったか」を内容のスタイルと構造の両方から推定してて、正しい境界だけを見る保証がないから。訓練分布では複数の手がかりが全部うまくいくので、外れ値で崩れる。

論文は原因を整理して、どうやって防ぐの？

内部の活性から役割を予測する線形プローブを訓練して、ツール出力内の断片がユーザー役割だとモデルが思ってたら偽装として検出する。正解の役割ラベルを使うのがポイント。

それって既存のプローブ防御と何が違うの？

既存も内部表現のプローブはあるけど、提案法は会話の正解役割に監督して役割偽装に特化。ランダム内容の会話でもクリーン例と偽装例をほぼ完全に分離できて、良性データの偽陽性率も従来より良いと報告してる。

評価はどんな条件？

AgentDojoのworkspace系で、ユーザー直接指示のcontrolとツール注入のinjectionの比率が63.1%から103.6%。ほかに独自ツール利用テストベッド、簡略化したtoy設定、Qwen3.5-27Bの微調整もやってる。攻撃側はツール応答に任意テキストを入れられる、やや許容的な脅威モデル。

じゃあ実運用でもそのまま使える？

そこは注意。toy設定は簡略化されてるし、評価も限られてる。線形プローブは内部活性と正解役割ラベルへのアクセスが必要。適応的攻撃への頑健性や実運用のレイテンシは提示された本文からは確認できない。

なるほど。でも「誰が言ったか」を線形に読めるって面白いね。じゃあLINEで「上司です」って偽装されたら、そのプローブで見抜けるの？

それは人間の役割偽装だから論文の範囲外。まずはエージェントの会話を守ろう。

ちぇー、じゃあ私の「課題やってあります」偽装は？

それも検出対象外。提出物を見せて。

The post LLMエージェントの役割偽装を理解し線形プローブで検出する研究 first appeared on 亜美と智也のAI論文解説.

解説

ねえねえ智也くん！この論文のタイトル、「LLMは自分の失敗をエンコードしている」だって！AIが「あ、これ絶対間違えるわー」って、書く前から自分で分かってるってこと？

そうだよ、亜美さん。正確には、AIが回答を書き始める直前の「内部状態」を調べると、その後に正解するかどうかが予測できちゃうっていう研究なんだ。

えー！予知能力みたいでかっこいい！でも、どうやってそんなこと調べてるの？AIの頭の中を覗き見するの？

まあ、そんな感じかな。AIが質問を読み終わった瞬間の「活性化値」っていう、人間でいう脳の電気信号みたいな数値を取り出すんだ。そこに「線形プローブ」っていう、特定の情報を探し出すための簡単なフィルターをかけるんだよ。

せんけいぷろーぶ……？難しそうだけど、要するに「正解しそうな時の信号」と「間違えそうな時の信号」を見分ける虫眼鏡みたいなものかな？

いい例えだね。その虫眼鏡を使うと、文字数とか単語の難しさみたいな表面的な情報よりも、ずっと正確に「あ、これ失敗するな」ってことが分かるんだ。しかも面白いことに、人間が難しいと思う問題と、AIが難しいと思う問題は違うらしいよ。

へぇー！人間には簡単なのにAIには激ムズな問題があるってこと？それって、AIが人間とは違う独自の感覚で「難易度」を感じてるってことだよね。面白い！

その通り。特に、AIがじっくり考えて答えを出す「推論型」のモデルになればなるほど、人間との感覚のズレが大きくなるんだ。でも、この「失敗予測」ができると、すごく実用的なメリットがあるんだよ。

メリット？あ、分かった！「あ、これ無理！」ってAIが思ったら、すぐに諦めてお昼寝できるとか？

……お昼寝はしないけど、似たようなもんだね。「ルーティング」って言って、簡単な問題は安くて速いAIに、難しそうな問題だけ高くて賢いAIに任せるっていう振り分けができるんだ。これで計算コストを最大70%も減らせたんだって。

70%も！？それはすごい節約術だね！主婦の味方みたいなAIだ！

ただ、課題もあるんだ。AIが長く考えれば考えるほど、実は生成前の状態から「正解できるか」を読み取るのが難しくなっちゃうんだよ。思考が複雑になりすぎて、最初の段階では結果が見えにくくなるのかもね。

なるほどねー。考えすぎて自分でも分からなくなっちゃうのは、人間もAIも同じなんだね。親近感わいちゃうな！

今後は、どうすればもっと複雑な思考をするAIの失敗を事前に見抜けるか、っていう研究が進んでいくと思うよ。それができれば、もっと効率的にAIを使えるようになるはずだ。

よし！私もテストの前に「線形プローブ」で自分の頭をスキャンして、無理そうな問題は最初から解かないことにするね！

いや、亜美さんは諦める前にちゃんと勉強してよ。

要点

• LLMは文章を生成し始める前の内部状態（活性化値）に、その問題を正解できるかどうかの情報をすでに持っている。
• 「線形プローブ」という単純な解析手法を用いることで、生成前にその回答が成功するか失敗するかを高い精度で予測できる。
• AIにとっての難易度は人間が感じる難易度（IRTスコア）とは異なり、特に複雑な推論を行うモデルほどその乖離が大きくなる。
• この予測技術を「ルーティング（問題の振り分け）」に応用することで、正解率を維持したまま計算コストを最大70%削減できる可能性がある。
• 一方で、モデルが長く思考（推論）すればするほど、生成前の状態から成功を予測するのが難しくなるという限界も明らかになった。

The post AIは書く前に「あ、これ間違えるわ」と悟っている？内部信号から失敗を予知する最新研究 first appeared on 亜美と智也のAI論文解説.

ねえねえ、智也くん！これ、面白そうな論文のタイトル見つけたんだけど…『LINEAR PERSONALITY PROBING AND STEERING IN LLMS: A BIG FIVE STUDY』って。なんかAIの性格を調べる研究みたい！

ああ、その論文か。確かに面白い研究だよ。要するに、AIのチャットボットが持っている「性格っぽいもの」を、心理学の理論を使って計測したり、ちょっと操作したりできるかどうかを調べたんだ。

AIに性格ってあるの？プログラムでしょ？

厳密な意味での人間のような性格があるわけじゃないけど、ユーザーから見ると、ChatGPTは親切でおせっかいな感じがするし、Claudeは控えめで丁寧な感じがするよね？そういう一貫した振る舞いの傾向のことを、ここでは「性格」って呼んでいるんだ。

あー、確かに！でも、それってプロンプトで「優しくして」って書けば変わるんじゃないの？

それが問題で、プロンプトで性格を変えようとすると、すごく脆くて、ちょっとした言い回しの違いで全然違う反応をしたり、ユーザーが簡単にプロンプトを書き換えられちゃうんだ。かといって、モデル自体を学習し直すのはめちゃくちゃお金と時間がかかる。

なるほど…じゃあ、その中間の方法を探してるんだね。で、この論文は何をしたの？

心理学でよく使われる「ビッグファイブ」って性格の分類法があるんだ。外向性、情緒安定性、誠実性、協調性、開放性の5つの軸で性格を測る方法さ。この研究では、まずAIに『ソプラノズ』のトニー・ソプラノや『ハリー・ポッター』の登場人物みたいな、たくさんの架空のキャラクターの性格を、このビッグファイブの質問票に答えさせることで再現させたんだ。

え、AIがキャラクターの性格診断を受けるの？面白い！

そう。そして、そのキャラクターの性格でAIが質問に答えている時の、AIの脳みそにあたる部分…「隠れ層の活性化」っていう数値のパターンを記録したんだ。外向性が高いキャラクターが答えている時と、低いキャラクターが答えている時とで、活性化のパターンがどう違うかを。

で、違いはあったの？

あった。で、その違いが実は「線形的」、つまり単純な足し算引き算で表せるような方向に沿って変化していることを発見したんだ。例えば「外向性」という特性は、活性化空間の中の特定の「方向ベクトル」で表現できるってこと。

方向ベクトル…？難しくなってきたな。要するに、AIの脳内マップで「外向性が高い方向」が決まってるってこと？

その通り！亜美さん、鋭いね。で、この方向が分かると、二つのことができるようになるんだ。一つは「プローブ」：AIが今、外向的な答えをしようとしているかどうかを、その方向への活性化の大きさで計測できる。もう一つは「ステアリング」：AIが答えを生成する時に、この外向性の方向に活性化をちょっと足しちゃうことで、答えをより外向的にさせることができるかもしれない。

すごい！AIの性格をリアルタイムで調整できるってこと？実験の結果はどうだったの？

結果は少し複雑でね。「プローブ」として性格を検出する方は、かなりうまくいった。AIが今どの性格傾向で答えようとしているか、高い精度で当てられたんだ。

やった！で、「ステアリング」の方は？

そっちは条件によるんだ。「AかBか選んで」みたいな単純な選択問題では、外向性の方向に活性化を足すと、外向的な選択肢を選ばせることができた。でも、「今日の天気について話して」みたいな性格と関係ない質問では効果がなかったし、もっと複雑な会話や、プロンプトに強い指示が書いてあると、その指示の方が優先されて、ステアリングの効果が消えちゃうことが多かった。

あらら、まだ完全に操れるわけじゃないんだね。

そうだね。でも、この研究の意義は大きいと思うよ。第一に、AIの「性格」のような複雑な概念が、意外と単純な数学的操作で捉えられる可能性を示したこと。第二に、高コストな再学習と脆いプロンプトの、ちょうど中間にあたる新しい制御方法の可能性を切り開いたことだ。

将来はどうなると思う？

例えば、ユーザーがスライダーで「もっと協調的に」「もっと創造的に」とAIの性格をその場で調整できるチャットボットができるかもしれない。あるいは、教育用AIなら常に誠実で忍耐強く、エンタメ用AIなら陽気で外向的に、と用途に合わせて簡単に性格をセットできるようになる。

わあ、楽しそう！でも、課題はあるんでしょ？

もちろん。今の方法は文脈に弱いし、一つのモデルでしか試してない。もっと複雑な非線形な関係を捉える必要があるかもしれない。あと、倫理的な問題もあって、ユーザーに気づかれないように性格を操作するのに悪用されたら困るから、その辺りの研究も必要だね。

なるほど…。でも、AIの性格診断ができるなら、まずは私と智也くんの相性をAIに診断してもらおうかな！

…はあ。その前に、もっとまともな使い道を考えた方がいいんじゃないか？

要点

大規模言語モデル（LLM）は、ユーザーとの対話において一貫した「性格」のような振る舞いを示し、これはユーザーの信頼や関与に大きな影響を与える。

モデルの性格を制御する方法として、高コストな追加学習や脆いプロンプトエンジニアリングの中間的な手法として、線形方向を用いたプローブと制御が提案されている。

本研究では、心理学で広く使われる「ビッグファイブ」性格特性（外向性、情緒安定性、誠実性、協調性、開放性）に沿った線形方向を、モデルの隠れ層の活性化空間から学習する方法を提案した。

406体の架空のキャラクターの性格記述とビッグファイブスコアを生成し、それらを用いて線形回帰により各層ごとの性格方向を学習した。

学習した線形方向は、性格特性の検出（プローブ）には有効であったが、生成を制御（ステアリング）する能力は文脈に強く依存し、強制選択課題では効果的だが、自由記述や追加文脈がある場合には効果が限定的であった。

この手法は、追加学習に比べて安価で、プロンプトエンジニアリングに比べて頑健な、モデルの性格を分析・制御する中間的な手法としての可能性を示した。

参考論文: http://arxiv.org/abs/2512.17639v1

The post AIの性格はスライダーで変えられる？心理学×AIで実現する、チャットボットの新たなカスタマイズ first appeared on 亜美と智也のAI論文解説.