AIは記憶か文脈か？答えの出所を暴く「知識帰属」プローブの可能性

ああ、亜美さん。これは、AIの言語モデルが答えるとき、その答えがどこから来たのかを調べる研究だよ。例えば、僕が「徳川家康はどこで生まれた？」って聞いて、AIが「岡崎城」って答えたとするだろ？

そう。でも、もし僕が「この文章を読んで」って、徳川家康について書かれた新しい資料を先に見せて、その中に『生誕地は名古屋』って書いてあったらどうなる？

そこが問題なんだ。AIは、僕が与えた新しい資料（文脈知識）を無視して、自分が学習した古い知識（パラメトリック知識）で答えるかもしれない。逆に、資料に頼りすぎて、明らかに間違った資料でも信じてしまうかもしれない。

そこでこの論文の提案手法だ。ATTRIWIKI（アトリウィキ）っていう、自動でデータを作る仕組みを考えたんだ。Wikipediaの文章を使って、AIに絶対に文脈からしか答えられない問題と、絶対に記憶からしか答えられない問題を、大量に自動生成するんだ。

例えば、『エベレスト』という単語を、AIが知っているかどうかテストする。知ってたら、文章から『エベレスト』という単語を消して、記憶から思い出させる。知らなかったら、文章にその単語を残して、文脈から読ませる。こうして、知識の出所がはっきりしたデータをたくさん作るんだ。

そのデータをAIに答えさせるときに、AIの脳みそにあたる『隠れ状態』っていう数値の配列を記録する。その数値のパターンを、単純な分類器に覚えさせるんだ。そうすると、新しい答えを聞いたとき、その数値のパターンを見るだけで、『これは文脈から来てるな』『これは記憶から来てるな』と高い精度で見分けられるようになったんだ。

そこがこの研究の面白いところで、知識の出所を判断する信号は、AIの内部表現の中に、わりと単純な形で埋め込まれているらしいんだ。実験では、最大96%の精度で見分けられたし、Wikipediaで訓練した分類器が、全く別の質問データセットでも94%から99%の精度を出せた。これはすごい一般化能力だよ。

大きな意義は二つある。第一に、AIが間違ったときの原因究明に役立つ。論文の実験でも、知識の出所を間違えて使っている時は、回答のエラー率が最大70%も上がった。出所が混乱していることが、間違いの直接的な原因になっている証拠だ。

第二に、信頼性の向上だ。例えば、法律や医療の専門文書をAIに読ませて答えを出させる時、『この答えは、あなたが勝手に知ってることで答えたの？それとも、私が渡した文書をちゃんと読んで答えたの？』と確認できるツールの基礎になる。ユーザーが答えの根拠を確認しやすくなるんだ。

いいところに気づいたね。この研究にも限界はある。一番大きいのは、『出所が正しくても、答え自体が間違っている』場合があることだ。記憶から正しく引き出したつもりでも、記憶が間違ってるかもしれない。だから、出所を調べるだけでは不十分で、事実の正しさをチェックする別の仕組みと組み合わせる必要がある。

そうだね。でも、重要な第一歩だ。今後は、もっと複雑な推論や、複数の知識源が混ざる場合の帰属を調べたり、この技術を実際のAIシステムに組み込んで、信頼性を高める研究が進むだろう。

…その例え、的を射てるような射てないような。まあ、AIの判断の透明性を高める、重要な技術には間違いないよ。