TL;DR
ITサポートチケットの自動振り分けにおいて、誤ルーティングのコストが人間によるトリアージより高い場合に、LLMや従来分類器が「自動振り分けを棄権して人間に回す」べきタイミングを、較正データで選択した閾値で評価する枠組み。公開47,837件・8クラスのデータで、TF-IDF+ロジスティック回帰が閾値0.60を選択し、テストコストを0.763から0.472へ38.1%削減、誤ルーティングを15.3%から3.5%に低減。LLMは同一サブセットで最高0.477精度にとどまり、較正の限界も示す。
解説
ねえ智也くん、この前話してたLLMのチケット分類の論文、ちょっと気になってたんだ。どんな内容だったの？
ああ、あれか。ITサポートのチケットを自動で振り分けるときに、間違った振り分けのコストが人間がやるより高いなら、LLMや分類器が「自動振り分けを棄権して人間に回す」べきタイミングを評価する枠組みの話だよ。
棄権？つまり、自信がないときはやらないってこと？
そう。較正データを使って閾値を選んで、その閾値を下回ったら人間に回す。この論文では公開の47,837件、8クラスのデータで、TF-IDF+ロジスティック回帰が閾値0.60を選んだ。
へえ、それで精度はどうなったの？
テストコストが0.763から0.472へ38.1%削減されて、誤ルーティングも15.3%から3.5%に減った。LLMも同じサブセットで試したけど、最高0.477精度で、較正の限界も示されてる。
なるほどね。でも、LLMってすごいイメージあったけど、意外とそうでもないんだ。
そうだね。この枠組みの意義は、コストを考慮して棄権のタイミングを決められること。でも、較正データの質に依存するし、LLMの較正はまだ課題だよ。
ふーん、じゃあ私がチケット振り分けするなら、全部棄権しちゃうかも！
それじゃあ人間が全部やることになるだろ。