AIは自分の実力を勘違いしてる？「自信過剰」な最新AIの意外な弱点

お、そこに目をつけたんだね。結論から言うと、今のAIはかなりの「自信過剰」だよ。自分ができないことでも「できる！」って言っちゃう傾向があるんだ。

亜美さんと一緒にするのはどうかと思うけど……。でも、それが大きな問題なんだ。特に失敗すると損害が出るような場面では、自分の限界を知っておかないと危ないからね。

主に3つの実験をしてるよ。1つ目は、プログラミングの問題を解く前に「成功する確率」を予測させる実験。2つ目は、成功したら報酬、失敗したら罰金がもらえる「仕事の契約」を受けるかどうか判断させる実験。3つ目は、長い作業の途中で自信がどう変わるかを見る実験だね。

まず、どのモデルも予測した成功率が実際の成功率よりずっと高かった。つまり、自分の実力を高く見積もりすぎてるんだ。面白いのは、最新の賢いモデルになっても、この「自分の実力を測る力」はあんまり成長してないってことだね。

そこが2つ目の実験のポイント。過去の失敗経験を覚えさせておくと、Claude 3.5 Sonnetみたいな一部のモデルは「あ、自分さっき失敗したから、次は慎重になろう」って自信を調整できるようになったんだ。これをインコンテキスト学習って言うんだけど、これで無謀な挑戦を減らせるようになる。

それが意外なことに、推論モデルでも自分の成功予測はそんなに得意じゃないんだ。むしろ、作業が進むにつれてどんどん自信過剰がひどくなるケースもあった。これを「識別力」の低下って言うんだけど、作業に没頭しすぎて周りが見えなくなる人間みたいだよね。

すごく重要だよ。例えばAIがサイバー攻撃に悪用されるリスクを考えるとき、自分の失敗を予見できるAIは、バレる前に手を引くことができる。逆に、自分の限界を知るAIは、人間に「ここは無理だから手伝って」って頼めるようになる。これが「AIの安全性」や「人間との協力」には不可欠なんだ。

そうだね。ただ、今のモデルはまだ「自分が何を知らないか」を完全には把握できていない。今後の研究では、どうすればもっと客観的に自分を見つめ直せるようにトレーニングできるかが課題になるだろうね。

……その「明日から」っていうのが、一番信用できない予測なんだけどね。