TL;DREMBL AI LI…
TL;DR
LLMベースのソフトウェアは、ユーザーの状況に応じて回答が変わるため、従来の受け入れテストでは不十分です。本論文は、要件・ペルソナ・ドメイン知識をRAGで取得して判定基準（オラクル）を自動生成するREAGと、判定の信頼性を統計的に保証するカスケード判断を提案。実案件でオラクル品質3.91/5、判定精度98.8%、コスト31.7%削減を達成しました。
解説
ねえ智也くん、このブログのタイトル見たんだけど、LLMソフトの受け入れテストを自動化するってどういうこと？普通のテストと何が違うの？
普通のソフトは決まった入力に対して決まった出力が返るけど、LLMベースのソフトはユーザーの状況によって回答が変わるんだ。だから、従来の受け入れテストみたいに「この入力にはこの出力」って決められないんだよ。
あー、確かに。チャットボットとか、同じ質問でも文脈によって答え変わるもんね。じゃあ、どうやってテストするの？
そこで提案されているのがREAGっていう手法。要件・ペルソナ・ドメイン知識をRAGで取得して、判定基準（オラクル）を自動生成するんだ。
オラクルって何？占い師みたいな？
テストの世界では、正しい出力を判定するための基準のことだよ。REAGはそれを自動で作るから、人手でいちいち書かなくて済むんだ。
なるほど！でも、自動生成した基準って信頼できるの？間違ってたらテストの意味ないじゃん。
そこがポイントで、カスケード判断っていう仕組みを使って、判定の信頼性を統計的に保証してるんだ。低信頼のときは人間が確認するようにしてる。
へえ、賢い！で、実際に使ってみてどうだったの？
実案件で評価した結果、オラクルの品質が5点満点中3.91点、判定精度が98.8%、コストは31.7%削減できたんだ。
すごい！精度98.8%ってほぼ完璧じゃん。でも、なんで100%じゃないの？
LLMの回答は確率的だから、どうしても誤差は出る。それに、オラクル自体も生成されたものだから、完璧ではないんだ。
なるほどね。でも、コスト削減は大きいよね。手動でテストするよりずっと効率的ってこと？
そうだね。特に要件が複雑なプロジェクトだと、手動でオラクルを作るのは大変だから、REAGの価値は高いと思う。
でも、まだ課題もあるんでしょ？例えば、ドメイン知識が不足してるとか？
うん。RAGで取得する知識の質に依存するから、専門性が高い分野だと精度が落ちる可能性がある。あと、カスケード判断の閾値の設定も難しい。
ふむふむ。でも、これからのLLMアプリ開発には必須の技術になりそうだね。私も勉強しなきゃ！
そうだね。ただ、AIに頼りすぎると、テストの本質を見失うかもしれないから気をつけて。
わかってるよ！でも、オラクルが自動で出てくるなら、私の占い師デビューはもう少し先になりそうだね。
その占い師、当たる確率は50%以下だからやめておきなよ。