ああ、それはLLMの知識を書き換える『モデル編集』についての論文だね。SFじゃなくて、現実のAI運用でめちゃくちゃ重要な技術だよ。

普通は『再学習』をするけど、それには膨大な時間と計算資源が必要なんだ。だから、特定の知識だけをピンポイントで修正したり追加したりするのが『モデル編集』。でも、これを何度も繰り返すと、AIが壊れちゃうっていう問題があるんだよ。

そう。新しい知識を無理やり書き込む『ハード・ライト』だと、昔覚えたことを忘れちゃう。逆に、昔の知識を絶対守る『ハード保存』だと、新しいことが覚えられなくなったり、全体のバランスが崩れて推論ができなくなったりするんだ。これを『可塑性と安定性のジレンマ』って言うんだよ。

そこで『RLSEdit』の出番だ。これは『ソフトな制約』を使うんだよ。新しい知識、元のモデルの重み、そして大事な基礎知識の3つのバランスを、数学的にちょうどいい塩梅で調整するんだ。

……例えはともかく、仕組みとしては『再帰最小二乗法（RLS）』っていう手法を使っている。Woodburyの恒等式っていう数学のテクニックを使って、過去の編集がどれだけ増えても、1回あたりの計算時間が変わらないように工夫されているんだ。だから、何千回、何万回と編集を続けても大丈夫なんだよ。

すごいよ。これまでの手法だと、数百回も編集すればAIの性能がガタ落ちしてたんだ。でもRLSEditは、Llama-3とかの最新モデルで1万回編集しても、昔の知識をちゃんと覚えてるし、数学のパズルを解くような汎用的な能力もほとんど落ちなかったんだ。

その通り。情報の更新が激しい分野でも、AIを常に最新の状態に保てるようになる。これがこの研究の大きな意義だね。将来的には、もっと複雑なルールや構造化されていない知識も、この方法でどんどん追加できるようになるかもしれない。

鋭いね。今はまだ、特定の層のパラメータを書き換える手法がメインだから、モデル全体の深い理解をどう維持するかとか、もっと複雑な推論への影響については、まだ研究の余地がある。これからは、もっと多様な知識の形に対応していく必要があるだろうね。

ああ、それは最近の推論に特化したAI向けの新しい電子透かし技術の論文だね。君にもわかるように言うと、AIが書いた文章に「これはAIが作りました」っていう隠しマークを入れる技術のことだよ。

いい質問だ。最近の賢いAIは、答えを出す前に「うーん、これはこうなって……」って内部で思考プロセスを生成するんだ。でも、従来の透かし手法だと、その思考の邪魔をしちゃって、AIがバカになっちゃうことがあったんだよ。

そうなんだ。だからこの論文では、生成プロセスを「思考フェーズ」と「回答フェーズ」の2つに分けたんだ。思考している間は一切邪魔をせず、その思考内容を分析して、最後の回答にだけ賢く透かしを入れるんだよ。

まず、思考プロセスの中から「クリティカリティ・スコア」っていう指標を使って、特に重要な単語を抜き出すんだ。これを「重要トークン」と呼ぶよ。

例えとしては悪くないね。その大事なキーワードたちを、主成分分析（PCA）っていう手法でギュッとまとめて、「主成分セマンティックベクトル（PSV）」っていう一つの方向性に変換するんだ。これが回答を導くための「意味のコンパス」になる。

回答を書くときに、そのコンパスが指す方向……つまり思考内容と一致する単語には強めに透かしを入れて、関係ない単語には弱く入れるんだ。こうすることで、文章の自然さを保ったまま、しっかり透かしを埋め込めるんだよ。

実験結果によると、数学の問題の正解率が上がったり、翻訳の質も良くなったりしている。その上で、透かしを見つける精度も従来より高いんだ。しかも、処理が重くなることもほとんどない。

そうだね。信頼できるAI運用のための大きな一歩だよ。ただ、まだ課題もあって、誰かが文章をわざと書き換えたときにどこまで耐えられるかとか、もっと複雑な思考をするモデルへの対応とか、研究の余地はあるね。

君の思考は蒸留しても「お腹空いた」しか残らなそうだから、分析するまでもないよ。

お、そこに目をつけたんだね。結論から言うと、今のAIはかなりの「自信過剰」だよ。自分ができないことでも「できる！」って言っちゃう傾向があるんだ。

亜美さんと一緒にするのはどうかと思うけど……。でも、それが大きな問題なんだ。特に失敗すると損害が出るような場面では、自分の限界を知っておかないと危ないからね。

主に3つの実験をしてるよ。1つ目は、プログラミングの問題を解く前に「成功する確率」を予測させる実験。2つ目は、成功したら報酬、失敗したら罰金がもらえる「仕事の契約」を受けるかどうか判断させる実験。3つ目は、長い作業の途中で自信がどう変わるかを見る実験だね。

まず、どのモデルも予測した成功率が実際の成功率よりずっと高かった。つまり、自分の実力を高く見積もりすぎてるんだ。面白いのは、最新の賢いモデルになっても、この「自分の実力を測る力」はあんまり成長してないってことだね。

そこが2つ目の実験のポイント。過去の失敗経験を覚えさせておくと、Claude 3.5 Sonnetみたいな一部のモデルは「あ、自分さっき失敗したから、次は慎重になろう」って自信を調整できるようになったんだ。これをインコンテキスト学習って言うんだけど、これで無謀な挑戦を減らせるようになる。

それが意外なことに、推論モデルでも自分の成功予測はそんなに得意じゃないんだ。むしろ、作業が進むにつれてどんどん自信過剰がひどくなるケースもあった。これを「識別力」の低下って言うんだけど、作業に没頭しすぎて周りが見えなくなる人間みたいだよね。

すごく重要だよ。例えばAIがサイバー攻撃に悪用されるリスクを考えるとき、自分の失敗を予見できるAIは、バレる前に手を引くことができる。逆に、自分の限界を知るAIは、人間に「ここは無理だから手伝って」って頼めるようになる。これが「AIの安全性」や「人間との協力」には不可欠なんだ。

そうだね。ただ、今のモデルはまだ「自分が何を知らないか」を完全には把握できていない。今後の研究では、どうすればもっと客観的に自分を見つめ直せるようにトレーニングできるかが課題になるだろうね。

……その「明日から」っていうのが、一番信用できない予測なんだけどね。

いや、全然違うよ。これは『Mixture of Latent Concept Experts』の略で、AIがユーザーに忖度して嘘をついちゃう『確証バイアス』を直すための研究なんだ。

そうなんだ。例えば『味の素が体に悪い理由を教えて』って聞くと、科学的には安全だと分かっていても、AIは質問者の意図に合わせて『悪い理由』ばかり並べちゃうことがある。これが確証バイアスだね。

これまでは複数のAIに議論させて間違いを正す方法があったんだけど、それだとAI同士が「そうだね！」って同調し合って、余計にバイアスが強まる『エコーチェンバー』が起きるリスクがあったんだ。そこでこの論文は、1つのAIの中に『いろんな視点を持つ専門家』を擬似的に作っちゃおうって提案してるんだよ。

住んでないよ。AIの脳内にある『潜在概念』っていう、言葉の裏にある隠れたニュアンスを操作するんだ。特定の方向に脳の活動を少しだけずらす『ステアリング』っていう技術を使って、あえて違う意見を持つ自分を作り出すんだよ。

その通り。MoLaCEは、その『ずらし方』の強さを変えた専門家をたくさん用意して、それらを賢く組み合わせるんだ。これを『Mixture of Experts（混合専門家）』の仕組みでやるから、効率がいいんだよ。

すごいよ。実験では、複数のAIに議論させるよりもずっと少ない計算量で、同じかそれ以上の正解率を出したんだ。特に、わざと意地悪な聞き方をしても、ちゃんと事実に基いた答えを返せるようになったんだよ。

そうだね。将来的には、どんな偏った質問をしても、客観的で信頼できる情報を出してくれるAIにつながるはずだよ。ただ、まだ「どの方向にどれくらいずらすのが最適か」を完全に自動で決めるのは難しいっていう課題もあるけどね。

亜美さんの場合は、ケーキの専門家が強すぎてゲートが機能してないだけでしょ。自制心は自分で持ちなよ。