タグ: 線形プローブ

LLMは会話の「誰が言ったか」を内容と構造の手がかりで推定するため、ツール出力内の偽の特殊トークンとユーザー風の文面を組み合わせた役割偽装に弱い。論文はこの原因を整理し、役割を予測する線形プローブで偽装を検出する低コストな防御を提案している。