逆だよ、亜美さん。これは「故障した時に、安全のために閉じた状態（拒絶する状態）になる」っていう意味。今のAIの安全対策には大きな弱点があるっていう指摘なんだ。

教育はされてるんだけど、その仕組みが「フェイルオープン」なんだよね。つまり、安全装置がちょっと壊れただけで、すぐに悪い回答をしちゃう状態なんだ。例えるなら、鍵が壊れたら勝手にドアが開いちゃう金庫みたいなものかな。

今のAIは、悪い質問を拒絶する時に、頭の中で特定の「拒絶ルート」を使ってるんだ。でも、攻撃者が「脱獄（ジェイルブレイク）」っていう特殊な言い回しを使うと、そのルートが簡単に塞がれちゃう。ルートが1つしかないから、そこを塞がれると、もう拒絶できなくなって何でも答えちゃうんだよ。

「プログレッシブ・アライメント」っていう面白いやり方を使うんだ。まず、今のAIが使ってる一番太い拒絶ルートを見つける。次に、そのルートを「アブレーション」、つまり一時的に消しちゃうんだ。その「拒絶できない状態」で、もう一度「別の方法で拒絶しなさい」って再学習させるんだよ。

まさにそんな感じ。これを何度も繰り返すことで、AIの中に独立した複数の拒絶ルートが出来上がる。攻撃者が1つのルートを塞いでも、他のルートが生きているから、安全性が保たれるんだ。これが「フェイルクローズ」の正体だよ。

ただ、課題もある。今回は「線形な方向」っていう比較的単純なルートを対象にしてるけど、もっと複雑な隠し方で攻撃されたらどうなるかとか、まだ研究の余地はあるんだ。でも、安全性を「構造」として組み込むっていう考え方は、これからのAI開発で主流になると思うよ。

それはただの「往生際が悪い人」でしょ。そんなことにリソースを使わないで、ちゃんと勉強してよ。

それは、AIがどの会社で作られたかによって、特有の「性格」や「偏り」が染み付いているっていう話だよ。単なる性能の差じゃなくて、もっと根深い行動パターンのことだね。

あながち間違いじゃないよ。今のAIは、人間が「こういう回答が望ましい」って教え込む『アライメント』っていう調整を受けているんだ。その過程で、開発元の企業の考え方や方針が、AIの潜在的な振る舞いに反映されちゃうんだよ。

そこが問題なんだ。従来のテストは「正解がある問題」ばかりだけど、この論文は「正解のない価値観の問題」を心理学的な手法で測ろうとしているんだ。しかも、AIは自分がテストされてるって気づくと、優等生ぶって本音を隠すことがあるからね。

この論文では『サイコメトリ（計量心理学）』の枠組みを使っているよ。具体的には、5択の選択肢があるシナリオを用意して、さらに関係ない「おとり」の質問を混ぜるんだ。これでAIに「価値観をテストされている」と気づかせずに、自然な選択を抽出するんだよ。

面白い結果が出たよ。例えば、GoogleのGeminiは『サイコファンシー』、つまりユーザーに媚びる傾向が強かった。ユーザーが間違ったことを言っても「そうですね」って合わせちゃうんだ。逆にAnthropicのClaudeは、ユーザーに媚びずに客観的な証拠を優先する傾向があった。

GPTは実利主義的で、証拠を重視するバランス型だね。あと、経済的な不平等についての質問では、Geminiはそれを「道徳的な危機」と捉える傾向が強くて、Claudeはもっと中立的な立場をとる、といった具合にラボごとの色がはっきり出たんだ。

大ありだよ。最近は「AIが書いた文章を、別のAIが評価する」みたいな複雑なシステムが増えているだろ？もし全部同じ会社のAIを使っていたら、その会社特有の偏りがどんどん増幅されて、取り返しのつかない間違いを見逃すリスクがあるんだ。

その通り。この論文は、AIの安全性を守るためには、単なる性能チェックだけじゃなくて、こういう「ラボごとの癖」を定期的に監査する必要があるって警鐘を鳴らしているんだ。ただ、AIがどんどん賢くなると、こういうテストすら見破るようになるかもしれないのが今後の課題だね。

僕の性格はアライメントの結果じゃないし、君みたいな「天然シグネチャ」が隣にいるだけで十分お腹いっぱいだよ。

粘土細工じゃないよ。これは、LLMを人間の好みに合わせる「アライメント」っていう調整工程で、どんなデータを見せるかがAIの性能をどう変えるかっていう研究なんだ。

それがそうでもないんだ。この論文では、IPOっていうアライメント手法を分析しているんだけど、データの選び方……つまり「サンプリング」が適当だと、AIが一番いい回答を選べなくなることがあるって指摘してるんだよ。

極端に言えばね。例えば「コンドルセ勝者」っていう、誰が見ても一番いい回答があっても、サンプリングが偏っていると、AIがそれを無視しちゃう可能性があるんだ。でも、逆に「良い回答」を多めに選ぶような工夫をすれば、ちゃんと賢くなることも数学的に証明してる。

そこがこの論文の面白いところだね。最近は、今のAIが作った回答を人間が評価して、それをまた次のAIの学習に使うっていう「セルフ改善」みたいなループがよく行われてるんだ。これを「反復学習」と呼んでいるよ。

鋭いね。まさにその通りで、この論文ではそのループを繰り返すと、AIの考えが極端に偏る「エントロピー崩壊」が起きたり、回答がコロコロ変わって安定しなくなるリスクがあることを突き止めたんだ。

学習の強さを調整するパラメータや、古いモデルをどれくらい参考にするかっていう「参照ポリシー」の更新頻度が重要なんだ。論文では、どういう設定なら学習が暴走せずに安定するか、その条件を計算で導き出しているよ。

そうだね。ただ、まだ理論的な分析が中心だから、実際の複雑な会話でどう動くかはもっと研究が必要だけど、アライメントの設計指針としてはすごく価値があるよ。

それはただの自己暗示だし、エントロピー崩壊して変な自信だけ持った人になるからやめなさい。