AIを嘘から守る鉄壁のバリア！「SDAG」で悪意のある情報操作をシャットアウト

ユウ — Thu, 05 Feb 2026 12:37:07 +0000

解説

智也くん、見て見て！この論文のタイトル、『RAGへの攻撃を疎なアテンションで防ぐ』だって。なんだか強そうなバリアの名前みたいじゃない？

ああ、それはRAGのセキュリティに関する最新の研究だね。最近、AIに嘘の情報を信じ込ませる攻撃が問題になってるんだよ。

えっ、AIが騙されちゃうの？あんなに物知りなのに？

そうなんだ。これを『コーパス知識汚染攻撃』って言うんだけど、攻撃者がわざと間違った情報を書いた文書をデータベースに混ぜておくんだ。すると、AIがそれを「正しい知識」として拾って、嘘の回答をしちゃうんだよ。

ひどい！なんでAIはそんな嘘を見抜けないの？

原因の一つは、LLMの『アテンション』っていう仕組みにあるんだ。普通、AIは複数の文書を読み込むとき、それらを全部つなげて、お互いの内容を関連付けながら理解しようとする。これを『因果的アテンション』って呼ぶんだ。でも、これだと正しい文書と嘘の文書の内容が頭の中でごちゃ混ぜになっちゃうんだよ。

なるほど、おしゃべり好きな文書たちが、嘘つきの意見も真に受けちゃう感じかな？

例えは変だけど、まあそんな感じだね。そこでこの論文が提案したのが『SDAG』っていう手法なんだ。これは、文書同士が『おしゃべり』できないように壁を作る仕組みだよ。

壁？どうやって作るの？

『ブロック疎アテンション』っていうのを使うんだ。具体的には、AIが計算するときに使う『マスク』を調整して、ある文書の言葉が、他の文書の言葉を見ないように制限する。自分の文書の中だけで完結して理解させるんだよ。

それって、AIを改造しなきゃいけないの？難しそう……。

いや、そこがこの研究のすごいところで、追加の学習や微調整は一切いらないんだ。推論、つまりAIが回答を生成する瞬間に、計算のルールをちょっと変えるだけでいい。既存のどんなLLMにもすぐ使えるんだよ。

へぇー、お手軽バリアなんだね！で、効果はあったの？

実験では、攻撃の成功率が劇的に下がったよ。特に、嘘の文書がたった1つだけ紛れ込んでいるような、見つけるのが難しい攻撃に対してもすごく強かったんだ。他の防御手法と組み合わせると、さらに鉄壁になることも分かった。

すごい！これがあれば、悪い人が嘘を混ぜてもAIは騙されないってことだね。

そうだね。将来的には、企業の内部資料とか、絶対に間違いが許されない場所でRAGを使うときに、このSDAGが標準的な防御策になるかもしれない。ただ、文書が多すぎるときの処理効率とか、まだ改善の余地はあるけどね。

よーし、私も智也くんのノートにこっそり『明日は大学休み』って書いて汚染攻撃しちゃうぞ！SDAGで防げるかな？

それはただのイタズラだし、俺は人間だからアテンションマスクで防ぐのは無理だよ。普通に騙されるからやめてくれ。

RAG（検索拡張生成）は、外部の知識を取り込む際に、悪意のある文書を混入させてAIの回答を操作する「コーパス知識汚染攻撃」に対して脆弱である。
従来のLLMが採用している「因果的アテンション」メカニズムでは、異なる文書のトークン同士が相互に影響し合うため、攻撃文書の情報が正解文書の解釈を歪めてしまう。
提案手法の「SDAG (Sparse Document Attention RAG)」は、文書間のアテンションを遮断する「ブロック疎アテンション」を導入し、各文書が独立して処理されるようにする。
SDAGは推論時のアテンションマスクを変更するだけで実装でき、追加の学習や微調整（ファインチューニング）を一切必要としない。
実験の結果、SDAGは攻撃成功率を大幅に低下させ、既存の防御手法と組み合わせることで、複数の攻撃シナリオにおいて最高水準の防御性能を達成した。