解説

AMI HAPPY

ねえねえ智也くん!この論文のタイトル、「指示に従うこととタスクを解くことの逆説的な干渉」だって。なんだか難しそうだけど、ちょっとカッコよくない?

TOMOYA NEUTRAL

ああ、それね。簡単に言うと「AIに丁寧に指示を出せば出すほど、逆にバカになっちゃうことがある」っていう、ちょっと衝撃的な研究だよ。

AMI SURPRISED

ええっ!?指示を聞いてくれるのがAIのいいところなのに、指示を聞くとダメになっちゃうの?それじゃあ、まるで「片付けなさい」って言われるとやる気がなくなる私みたいじゃん!

TOMOYA NEUTRAL

あながち間違ってないかもね。普通は制約を加えれば、AIはより人間の意図に沿った動きをするはずなんだけど、この論文ではそれが本来の「問題を解く能力」を邪魔しちゃう現象を指摘しているんだ。

AMI NEUTRAL

でも、どうやってそれを確かめたの?

TOMOYA NEUTRAL

そこで「SUSTAINSCORE(サステイン・スコア)」っていう新しい指標を使っているんだ。まず、AIが何も指示されなくても正解できた問題を用意する。その正解した回答の中から、「ヘロンの公式を使って解く」みたいな、AIが元々やっていた手順を抜き出して、あえて「制約」として指示に付け加えるんだよ。

AMI NEUTRAL

ん?AIが元々やってたことなら、わざわざ指示されても結果は変わらないはずだよね?

TOMOYA NEUTRAL

そう思うだろ?でも、その「当たり前の制約」を追加しただけで、最新の高性能なAIですら正解率がガクンと落ちたんだ。30Bとか70Bくらいの規模のモデルだと、元の性能の65%から85%くらいまで下がっちゃうこともあるらしい。

AMI SURPRISED

えー!自分でやってたことを「やってね」って言われただけでパニックになっちゃうの?AIって意外とメンタル弱いのかな……。

TOMOYA NEUTRAL

メンタルというか、脳のリソース配分の問題だね。失敗したケースを分析すると、AIがその「制約」の部分にばかり注意を向けすぎていて、肝心の計算や論理展開がおろそかになっていることがわかったんだ。専門用語で言うと「アテンション(注意)」が制約に偏りすぎているんだよ。

AMI HAPPY

なるほどね!「公式を使わなきゃ、公式を使わなきゃ……」って考えすぎて、肝心の計算を間違えちゃう感じか。人間でもあるあるだね!

TOMOYA NEUTRAL

そう。特に、長い思考プロセスを学習させたモデルほど、この干渉に弱い傾向があるみたいだ。逆に強化学習をしっかり行ったモデルは、比較的この干渉に強いこともわかってきた。

AMI NEUTRAL

これって、これからのAI開発にどう影響するの?

TOMOYA NEUTRAL

今までは「いかに指示通りに動かすか」ばかりが注目されていたけど、これからは「指示を守りつつ、本来の能力を落とさないタフさ」が重要になる。この論文は、そのための評価基準を作ったっていう意味で、すごく価値があるんだ。

AMI HAPPY

じゃあ、私も智也くんに「静かにして」って言われたら、考えるのをやめてボーッとしちゃうかもしれないけど、それは「逆説的な干渉」のせいだから許してね!

TOMOYA NEUTRAL

亜美さんの場合は、指示される前からボーッとしてるだろ。それはただの仕様だよ。

要点

  • 指示に従わせようとすることで、AIの本来のタスク解決能力が低下してしまう「逆説的な干渉(Paradoxical Interference)」という現象を明らかにした。
  • AIが元々自然に満たしていた条件(自明な制約)をあえて指示に含めるだけで、数学やコード生成などの正解率が大幅に下がることが判明した。
  • この干渉の度合いを測定するための新しい指標「SUSTAINSCORE」を提案した。
  • 失敗の原因を分析したところ、AIが指示された制約条件に過剰に注意(Attention)を向けてしまい、肝心の推論プロセスが疎かになっていることがわかった。
  • 強化学習(RL)はこの干渉への耐性を高める傾向がある一方で、長い思考プロセス(CoT)を用いた教師あり学習は、逆にこの干渉に弱くなる可能性がある。