AIが「勝手なこと」をしないために！最新のカスタマーサポートAI評価法

お、よく知ってるね。そう、あのガチガチに決まったメニューのことだよ。でも、あれって融通が利かなくてイライラするだろ？だから最近はLLMを使って、もっと自然に会話できるエージェントを作ろうとしてるんだ。

まさにそこが問題なんだ。LLMは柔軟だけど、ビジネス上のルール、つまりSOP（標準作業手順書）を守らせるのが難しい。この論文は、AIがちゃんとルール通りに動いているかを厳しくチェックするためのテストを作ったっていう内容だよ。

『JourneyBench（ジャーニーベンチ）』っていうんだ。カスタマーサポートのやり取りをグラフ構造にして、AIが正しいルートを通って解決までたどり着けるかを評価するんだよ。あと、UJCSっていう新しい採点方法も提案してる。

食べられないよ。User Journey Coverage Scoreの略で、単に『解決したか』だけじゃなくて、『必要な手順を全部飛ばさずにやったか』を測るスコアだね。例えば、本人確認をせずに返金しちゃったら、結果はOKでも手順としては0点になるんだ。

論文では『DPA（動的プロンプト・エージェント）』っていうやり方を推奨してる。普通のAI（SPA）は最初に全部のルールを渡されるから混乱しちゃうんだけど、DPAは『今は本人確認のステップだから、このルールだけ見てね』って、状況に合わせて指示を出し分けるんだ。

面白い結果が出てるよ。DPAを使うと、賢いけど高いGPT-4oよりも、安くて小さいGPT-4o-miniの方がルールをしっかり守れたんだ。仕組みさえしっかりしていれば、モデルの大きさは関係ないってことだね。

実際に1日6,000件以上の電話を処理してる現場でも導入されてるらしいよ。ただ、まだ課題もあって、AIが勝手にユーザーの情報を捏造しちゃう『ハルシネーション』が起きることもあるんだ。そこをどう防ぐかが今後の研究課題だね。