TL;DR

本論文は、サポートチケットへのAI応答と人手回答の差分を文書ギャップの信号として使い、複数エージェントで修正案を作り、人手レビュー後に文書へ反映する運用を提案・実装したものです。43日間のシャドー運用で499件をトリアージし92件のギャップを検出しました。検証可能な主張の81.1%が正しく、ギャップ修正後は同一チケットへの回答が修正前より好まれる傾向が報告されています。一方、単一サービス・短期間の結果であり、人手承認やコード文書レジストリなどの前提があります。

既存手法との違い

原論文は、既存の文書保守ツールや従来手法との定量比較を主結果として示していません。比較の中心は、人手回答を参照したTriAgent回答の主張単位の正しさ、長さを揃えたペアでの人手回答との選好比較、およびギャップ修正前後のエージェント回答比較です。長さを揃えたペアではLLM審査員がTriAgent回答を70.5%、人手回答を23.2%選好し、残りは審査員の多数決なしでした。修正後と修正前の比較では、71.4%(n=35)で修正後が選好されています。plain retrievalとの比較は評価項目として言及されますが、提示された本文からは結果を確認できません。

使える条件

大規模なA/Bテスト解析サービスの本番サポートキューで、43日間のシャドー運用として評価されています。対象は内部サポートチケットで、顧客識別子や本番詳細を含み得るため、既存のアクセス制御環境内で処理し、エージェントはオンコールエンジニアと同じ認可範囲を継承する前提です。修正はDocumentatorが草案を作り、人手によるコードレビュー承認後にマージされます。Code-Merge Watcherはコードから文書へのレジストリに依存します。他ドメイン、他言語、外部顧客向け文書、公開文書、長期運用への一般化は提示本文からは確認できません。

限界と未検証の範囲

単一サービス・43日間・シャドー運用での結果で、一般的な文書保守への広い一般化は未検証です。499件のトリアージと92件のギャップ検出に対し、ギャップタグ付きコミットは7件で、多くは期間末に一括で修正済みとされています。Code-Merge Watcherはこの期間にギャップを記録しておらず、コード文書レジストリにより到達範囲が制限されます。評価では1121主張のうち813(72.5%)が人手回答から検証不能で、81.1%は検証可能な302主張に対する値です。残る誤りは文書にない運用詳細が中心で、システムは根本原因分析を行いません。修正前後の比較はn=35で、長期的な保守コストや誤検出の影響は提示本文からは確認できません。

図1: 提案手法の概要(本記事による図解)

本図は、チケットに対するTriAgentの応答案と人手回答の差分をギャップとして検出し、改善トラッカー経由でDocumentatorが修正案を作り、人手レビュー後のマージ結果をトラッカーへ戻す流れを簡略化して示す(StudentやCode-Merge Watcherなどの検出源は省略)。
本図は、チケットに対するTriAgentの応答案と人手回答の差分をギャップとして検出し、改善トラッカー経由でDocumentatorが修正案を作り、人手レビュー後のマージ結果をトラッカーへ戻す流れを簡略化して示す(StudentやCode-Merge Watcherなどの検出源は省略)。

解説

AMI NEUTRAL

ねえ智也くん、この「サポートチケットの差分で文書保守を自動化するマルチエージェント運用」って論文、タイトルからして難しそうなんだけど、何を自動化する話なの?

TOMOYA EXPLAINING

ざっくり言うと、サポート対応でAIの回答と人の回答がズレたとき、そのズレを「文書が古いか足りないサイン」として使う話。人の修正を文書改善につなげるループを作ってる。

AMI SURPRISED

へえ、AIが間違えたのを捨てるんじゃなくて、文書の穴を見つける材料にするんだ。なんでそんなことするの?

TOMOYA THINKING

コードはAIで速く出すようになったのに、顧客向け文書は追いつかず古くなりがち。しかも利用者もLLMエージェントも文書を入口にするから、古い情報がそのまま権威っぽく広がるのがまずい、って問題意識。

AMI UNDERSTOOD

なるほどね。で、具体的にはどんな仕組み?

TOMOYA EXPLAINING

中心はTriAgentってトリアージ役。チケットが来たら文書だけを根拠に回答案を作る。オンコールの人が別回答を出したら、Feedback Loopが差分を見て、足りない知識をギャップとして記録する。

AMI THINKING

人が承認したら文書で足りてる証拠、違う回答ならギャップの証拠、みたいな感じ?

TOMOYA HAPPY

そう。過去チケットをまとめて見るHarvest、未遭遇トピックを試すStudent、コードマージ後のズレを見るCode-Merge Watcherもあって、見つけたギャップは共有バックログに入る。

AMI NEUTRAL

修正は誰がやるの?

TOMOYA EXPLAINING

Documentatorが調査して修正案を書いて、自己レビューを通して、最後は人のコードレビュー承認後にマージ。人の役割が作者からレビュアーに寄るけど、承認権は人に残ってる。

AMI SURPRISED

評価はどうだったの?

TOMOYA EXPLAINING

43日のシャドー運用で499件をトリアージして、92件のギャップを見つけた。1121個の主張のうち、人手回答が触れている302個では81.1%が正しかった。残りの多くは人手回答から検証できない、って扱い。

AMI THINKING

比較は?

TOMOYA EXPLAINING

長さを揃えたペアだと、LLM審査員はTriAgent回答を70.5%、人手回答を23.2%選好。ギャップ修正後に同じチケットへ再回答すると、修正後が71.4%で好まれた、n=35だね。plain retrievalとの比較は評価項目としては言及されてるけど、提示本文から結果は確認できない。

AMI UNDERSTOOD

意義は、失敗をただの失敗で終わらせず、文書改善の信号に変えることか。でも万能ではないよね?

TOMOYA SAD

うん。単一サービス・43日間・シャドー運用の結果で、他ドメインや長期運用への一般化は未検証。Code-Merge Watcherはコード文書レジストリに依存してて、この期間はギャップ記録ゼロ。92件のうちギャップタグ付きコミットは7件で、多くは期間末に一括修正。修正前後比較もn=35と小さい。

AMI SMILE

ふーん、でも「AIの回答と人の回答の差分」って、なんかケンカの仲裁みたいでちょっとロマンあるね。

TOMOYA NEUTRAL

ロマンはいいけど、差分はまず文書の穴として処理してほしい。

AMI EMBARRASSED

あ、そっちね。