AIエージェントの「勝手な行動」を許さない！鉄壁のルール守護者PCAS

ああ、それはAIエージェントに「絶対にルールを守らせる」ための仕組みについての研究だよ。最近はAIが勝手にメールを送ったり、データベースを操作したりするけど、それをどう制御するかが問題なんだ。

それが甘いんだ。プロンプトでの指示は、人間でいう「口約束」みたいなもので、AIが勘違いしたり、悪意のある入力で騙されたりすると簡単に破られちゃうんだよ。これをプロンプトインジェクションって言うんだけどね。

……君の意志の弱さと一緒にするのはどうかと思うけど、要するに「AIの善意」に頼るんじゃなくて、システム的に「物理的にできない」ようにしようっていうのがこの論文の趣旨なんだ。

PCASっていうシステムを使うんだ。特徴は、エージェントの行動を「依存関係グラフ」として記録すること。誰がどの情報を見て、誰の許可を得てその行動をしようとしているのか、っていう因果関係を全部グラフにするんだよ。

いや、点と線でつながったネットワーク図みたいなものだね。例えば「上司の承認を得てから送金する」というルールがある場合、単に「承認」という言葉が履歴にあるかじゃなくて、その承認が「今回の送金依頼」に対して正しく行われたものかをグラフで辿って確認するんだ。

ダメなんだ。複数のエージェントがバラバラに動くシステムだと、履歴が混ざって因果関係がわからなくなるからね。PCASは「Datalog」っていう論理プログラミング言語を使って、そのグラフをチェックするルールを書くんだよ。

その通り。エージェントが何かアクションを起こそうとするたびに、リファレンスモニタが「その行動はルール違反じゃないか？」をグラフと照らし合わせて判定する。違反なら実行前に強制終了させるんだ。AIの考えとは無関係にね。

実験では、カスタマーサービスのタスクでポリシー遵守率が48%から93%まで上がったらしい。しかも、PCASを導入した状態でルール違反が起きたケースはゼロだったんだって。

それは、リファレンスモニタが違反を止めた結果、タスク自体が完了できなかったケースだね。でも、間違ったことをさせるよりは、止める方が安全だっていう考え方なんだ。

将来性は高いよ。特に医療や金融みたいに、絶対にミスが許されない分野でマルチエージェントシステムを使うには必須の技術になるだろうね。ただ、課題もあるんだ。

まず、ポリシーをDatalogで書くのが人間にとって少し難しいこと。それから、グラフが巨大になるとチェックに時間がかかる可能性がある。今後はもっと効率的に、かつ簡単にルールを書けるようにするのが研究の方向性だね。