アテンション - 亜美と智也のAI論文解説

AIの「目の泳ぎ」を波でキャッチ！嘘を瞬時に見抜く新技術がすごい

ユウ — Mon, 23 Feb 2026 18:36:53 +0000

解説

ねえねえ智也くん！この「周波数でハルシネーションを見抜く」っていう論文、タイトルがかっこよくない？AIがラジオみたいにチューニングでもしてるの？

ラジオとはちょっと違うけど、考え方は近いかもしれないね。これはLLMがつく「もっともらしい嘘」、つまりハルシネーションをどうやって見つけるかっていう研究だよ。

ハルシネーションかぁ。AIが自信満々に嘘をつくやつだよね。でも、それを「周波数」でどうやって見抜くの？

まず、LLMが文章を作る時に、入力された情報のどこに注目しているかを示す「アテンション」っていう仕組みがあるんだ。普通、正しい情報を参照している時は、その注目先が安定している。でも、嘘をつく時はその注目先がフラフラして、あちこちに飛び散る傾向があるんだよ。

あ、わかった！嘘をついてる時に目が泳いじゃう人みたいな感じだね！

……まあ、例えとしては悪くないかな。その「目の泳ぎ」を、数学的に「信号の揺れ」として捉えるのがこの論文の面白いところなんだ。アテンションの動きを波として見て、その波が細かくギザギザしている、つまり「高周波」な成分が多い時にハルシネーションだと判定するんだよ。

なるほど！でも、その「ギザギザ」をどうやって取り出すの？

ここで信号処理の技術を使うんだ。離散フーリエ変換（DFT）や離散ウェーブレット変換（DWT）っていう手法を使って、アテンションの波を「ゆっくりした変化」と「急激な変化」に分解する。急激な変化、つまり高周波成分のエネルギーが大きいほど、AIの「注目」が不安定で、嘘をついている可能性が高いってわけだ。

フーリエ変換……なんか難しそうだけど、要するに波をバラバラにして、怪しい震えがないかチェックするってことだね！

そうだね。この手法のいいところは、LLMの内部にあるアテンションの数値を見るだけだから、すごく動作が軽いんだ。わざわざ別のAIに「この回答は合ってる？」って聞き直す必要がないからね。

それってすごそう！実際に試してみた結果はどうだったの？

RAGTruthっていう、ハルシネーション検出の有名なテストセットで実験したんだけど、既存のどの手法よりも高い精度で嘘を見抜けたらしいよ。特に、文脈に基づいた回答が求められるタスクで強いんだ。

へぇー！じゃあ、これからAIが嘘をつかなくなる未来が来るのかな？

嘘を「見抜く」技術が進めば、それを元に「嘘をつかないように修正する」こともできるようになるだろうね。ただ、まだ課題もある。アテンションが複雑すぎて、なぜ特定の層で揺れが起きるのか、そのメカニズムが完全に解明されたわけじゃないんだ。

そっか、AIの心の中はまだまだ謎だらけなんだね。でも、周波数で嘘がバレるなら、私も智也くんに隠れてお菓子食べたの、周波数でバレちゃうかも！

亜美さんの場合は、周波数を見るまでもなく顔に出てるから大丈夫だよ。……というか、僕のプリン食べたの君だったのか。

要点

LLMが与えられた文脈に基づかない「もっともらしい嘘（ハルシネーション）」をつく問題を、生成時の内部信号である「アテンション」から検出する手法を提案。
アテンションの重み分布を「離散信号」として捉え、信号処理の視点から分析。ハルシネーションが発生する際、アテンションが特定の箇所に安定せず、激しく変動（高周波な揺れ）することを発見した。
離散フーリエ変換 (DFT) や離散ウェーブレット変換 (DWT) を用いて、アテンション信号から高周波成分を抽出。この「エネルギー量」を指標にすることで、軽量なハルシネーション検出器を構築した。
RAGTruthやHalluRAGといったベンチマークで実験を行い、外部知識を用いた検証手法や、既存のアテンション解析手法よりも高い精度でハルシネーションを特定できることを示した。
モデルの内部状態のみを利用するため、追加の検索や大規模な再計算が不要であり、リアルタイムでの信頼性向上に寄与する可能性がある。

参考論文: http://arxiv.org/abs/2602.18145v1

The post AIの「目の泳ぎ」を波でキャッチ！嘘を瞬時に見抜く新技術がすごい first appeared on 亜美と智也のAI論文解説.

AIを嘘から守る鉄壁のバリア！「SDAG」で悪意のある情報操作をシャットアウト

ユウ — Thu, 05 Feb 2026 12:37:07 +0000

解説

智也くん、見て見て！この論文のタイトル、『RAGへの攻撃を疎なアテンションで防ぐ』だって。なんだか強そうなバリアの名前みたいじゃない？

ああ、それはRAGのセキュリティに関する最新の研究だね。最近、AIに嘘の情報を信じ込ませる攻撃が問題になってるんだよ。

えっ、AIが騙されちゃうの？あんなに物知りなのに？

そうなんだ。これを『コーパス知識汚染攻撃』って言うんだけど、攻撃者がわざと間違った情報を書いた文書をデータベースに混ぜておくんだ。すると、AIがそれを「正しい知識」として拾って、嘘の回答をしちゃうんだよ。

ひどい！なんでAIはそんな嘘を見抜けないの？

原因の一つは、LLMの『アテンション』っていう仕組みにあるんだ。普通、AIは複数の文書を読み込むとき、それらを全部つなげて、お互いの内容を関連付けながら理解しようとする。これを『因果的アテンション』って呼ぶんだ。でも、これだと正しい文書と嘘の文書の内容が頭の中でごちゃ混ぜになっちゃうんだよ。

なるほど、おしゃべり好きな文書たちが、嘘つきの意見も真に受けちゃう感じかな？

例えは変だけど、まあそんな感じだね。そこでこの論文が提案したのが『SDAG』っていう手法なんだ。これは、文書同士が『おしゃべり』できないように壁を作る仕組みだよ。

壁？どうやって作るの？

『ブロック疎アテンション』っていうのを使うんだ。具体的には、AIが計算するときに使う『マスク』を調整して、ある文書の言葉が、他の文書の言葉を見ないように制限する。自分の文書の中だけで完結して理解させるんだよ。

それって、AIを改造しなきゃいけないの？難しそう……。

いや、そこがこの研究のすごいところで、追加の学習や微調整は一切いらないんだ。推論、つまりAIが回答を生成する瞬間に、計算のルールをちょっと変えるだけでいい。既存のどんなLLMにもすぐ使えるんだよ。

へぇー、お手軽バリアなんだね！で、効果はあったの？

実験では、攻撃の成功率が劇的に下がったよ。特に、嘘の文書がたった1つだけ紛れ込んでいるような、見つけるのが難しい攻撃に対してもすごく強かったんだ。他の防御手法と組み合わせると、さらに鉄壁になることも分かった。

すごい！これがあれば、悪い人が嘘を混ぜてもAIは騙されないってことだね。

そうだね。将来的には、企業の内部資料とか、絶対に間違いが許されない場所でRAGを使うときに、このSDAGが標準的な防御策になるかもしれない。ただ、文書が多すぎるときの処理効率とか、まだ改善の余地はあるけどね。

よーし、私も智也くんのノートにこっそり『明日は大学休み』って書いて汚染攻撃しちゃうぞ！SDAGで防げるかな？

それはただのイタズラだし、俺は人間だからアテンションマスクで防ぐのは無理だよ。普通に騙されるからやめてくれ。

要点

RAG（検索拡張生成）は、外部の知識を取り込む際に、悪意のある文書を混入させてAIの回答を操作する「コーパス知識汚染攻撃」に対して脆弱である。
従来のLLMが採用している「因果的アテンション」メカニズムでは、異なる文書のトークン同士が相互に影響し合うため、攻撃文書の情報が正解文書の解釈を歪めてしまう。
提案手法の「SDAG (Sparse Document Attention RAG)」は、文書間のアテンションを遮断する「ブロック疎アテンション」を導入し、各文書が独立して処理されるようにする。
SDAGは推論時のアテンションマスクを変更するだけで実装でき、追加の学習や微調整（ファインチューニング）を一切必要としない。
実験の結果、SDAGは攻撃成功率を大幅に低下させ、既存の防御手法と組み合わせることで、複数の攻撃シナリオにおいて最高水準の防御性能を達成した。

参考論文: http://arxiv.org/abs/2602.04711v1

The post AIを嘘から守る鉄壁のバリア！「SDAG」で悪意のある情報操作をシャットアウト first appeared on 亜美と智也のAI論文解説.

AIの『視線』を鍛えろ！言葉より『どこを見るか』が大事な理由

ユウ — Thu, 05 Feb 2026 04:37:04 +0000

解説

ねえねえ智也くん！この『Reinforced Attention Learning』って論文、タイトルからして強そうじゃない？「強化されたアテンション学習」って、AIが超集中モードになるってこと？

あながち間違いじゃないよ。これはマルチモーダルLLM、つまり画像や動画を理解できるAIを賢くするための新しい方法なんだ。最近のAIは「考えてから答える」ことで賢くなってるけど、画像を見るのが苦手っていう弱点があったんだよね。

えっ、AIって画像を見るのは得意なんじゃないの？スマホの顔認証とか、あんなに速いのに！

単純な識別は得意だけど、複雑な動画を見て「何が起きているか」を論理的に説明しようとすると、実は画像の中の全然関係ない場所を見て適当なことを言っちゃうことがあるんだ。これを「グラウンディング（根拠付け）が弱い」って言うんだよ。

なるほどねー。テストで問題文を読み飛ばして、勘で答えちゃう私みたいな感じかな？

……まあ、似たようなものかもね。これまでの強化学習は「正解の言葉を出せたら褒める」っていうやり方だったんだけど、この論文は「正解にたどり着くために、ちゃんと正しい場所を見ていたら褒める」っていう風に、AIの『視線』、つまりアテンションを直接鍛えるんだ。

アテンションって、あの「注目！」ってやつだよね？どうやって鍛えるの？

アテンションは、AIが情報を処理するときに「どのデータが重要か」を数値化したものだよ。RAL（ラル）っていう提案手法では、AIが正解したときの「どこに注目したか」というパターンを覚えておいて、次からもそのパターンに近づくように学習させるんだ。逆に間違えたときは、その注目パターンを避けるようにする。

へぇー！「どこを見るか」を直接教えるんだね。でも、それって難しくない？

そこで「JSD（イェンセン・シャノン・ダイバージェンス）」っていう指標を使って、今の注目パターンと、良かった時のパターンの『ズレ』を計算して調整するんだ。さらに、頭の良い「教師モデル」の視線の配り方を、もっと小さな「生徒モデル」に真似させる『アテンション蒸留』っていう技も使っているよ。

蒸留！お酒みたい！頭の良い人の視線をコピーできるなんて、カンニングし放題じゃん！

言い方は悪いけど、学習効率はすごく良くなるんだ。実験では、動画や画像の質問回答タスクで、これまでの最新手法であるGRPOよりも高いスコアを出したんだよ。特に、細かい部分をしっかり見なきゃいけない問題で強さを発揮したみたいだね。

すごーい！じゃあ、これからAIはもっと動画の内容を正確に理解できるようになるってこと？

そうだね。防犯カメラの映像から異常を察知したり、ロボットが周りの状況を正確に把握して動いたりするのに役立つはずだよ。ただ、アテンションを全部計算するのはコストがかかるし、どういう報酬を与えるのがベストかっていう課題はまだ残っているけどね。

未来のAIは、私の隠し事も視線だけで見抜いちゃいそうだね！よし、私も智也くんのアテンションを独占できるように、自分を強化学習しなきゃ！

……亜美さんはまず、目の前の教科書にアテンションを向けて、単位を落とさないように学習しなよ。

要点

マルチモーダルLLM（画像や動画を理解するAI）において、従来の「思考プロセスを言葉にする」強化学習だけでは、視覚的な認識能力が十分に向上しないという問題を指摘。
出力される「言葉」ではなく、モデル内部の「アテンション（どこに注目しているか）」の分布を直接強化学習の対象にする手法「RAL（Reinforced Attention Learning）」を提案。
良い結果につながった時の「視線の配り方」を学習し、悪い結果の時の配り方を避けることで、画像や動画の内容を正確に捉える「グラウンディング」能力を高める。
優れた教師モデルの視線の配り方を、より小さな生徒モデルに教え込む「オンポリシー・アテンション蒸留」という手法も開発。
画像や動画の質問回答タスクにおいて、従来の最新手法（GRPOなど）を上回る精度を達成し、AIの認識能力を底上げすることに成功。

参考論文: http://arxiv.org/abs/2602.04884v1

The post AIの『視線』を鍛えろ！言葉より『どこを見るか』が大事な理由 first appeared on 亜美と智也のAI論文解説.