TL;DREMBL AI LI…
TL;DR
ACEMは、AIエージェントがコードを書く時代の新しいコスト見積もりモデルです。人間の労働時間だけでなく、LLMのトークン消費、人間の監視・修正コスト、インフラコストの3つを合算します。まだ理論提案段階で実データでの検証はこれからですが、従来の見積もり指標(ストーリーポイント等)をトークン消費に変換する仕組みを提供します。
解説
ねえ智也くん、最近よく聞く「エージェント型開発」って何?AIが勝手にコード書いてくれるんでしょ?
うん、そうだね。でも、その開発のコストをどう見積もるかが問題になってるんだ。従来の見積もり方法じゃうまくいかないらしい。
へえ、どうして?人間の作業時間で見積もればいいんじゃないの?
それが、AIエージェントがコードを書くから、人間の時間だけじゃ足りないんだ。LLMのトークン消費とか、人間の監視・修正コスト、あとインフラコストもかかる。
なるほどね。で、その新しい見積もりモデルがACEMってやつ?
そう。ACEMは「Agentic Cost Estimation Model」の略で、人間の労働時間、LLMのトークン消費、人間の監視・修正コスト、インフラコストの3つを合算するんだ。
3つ?労働時間とトークンとインフラでしょ?監視・修正は労働時間に含まれないの?
いい質問だね。ACEMでは、人間の労働時間を「監視・修正」と「その他」に分けてるんだ。監視・修正はエージェントの出力をチェックして直す作業で、これが結構大きいらしい。
ふーん。で、どうやって見積もるの?ストーリーポイントとか使うの?
従来のストーリーポイントをトークン消費に変換する仕組みを提供してるんだ。つまり、タスクの複雑さをトークン数にマッピングする感じ。
それってすごい便利そう!でも、実際に使えるの?
まだ理論提案段階で、実データでの検証はこれからなんだ。だから、今すぐ使えるわけじゃないけど、将来の見積もり方法の方向性を示してる。
なるほどね。でも、トークン消費ってどうやって測るの?APIの使用量とか?
そう、LLMのAPIを呼ぶとトークン数がわかるから、それを積算するんだ。あと、エージェントが複数回試行錯誤することもあるから、その分も考慮する必要がある。
へえ、奥が深いね。でも、人間の監視コストってどう見積もるの?
エージェントの出力をレビューする時間とか、修正にかかる時間を労働時間として計上するんだ。これが結構バカにならないらしい。
なるほどね。で、このモデルの意義って何?
従来の見積もり指標をトークン消費に変換することで、AIエージェントの開発コストを定量的に比較できるようになることかな。あと、予算計画を立てやすくなる。
でも、まだ検証されてないんでしょ?限界もあるんじゃない?
そうだね。トークン消費と実際のコストの関係がまだ不明確だし、エージェントの性能によって変わるから、精度は未知数。あと、インフラコストの見積もりも難しい。
ふむふむ。でも、将来はこれが標準になるかもね。私も勉強しとこっと。
そうだね。でも、まずはトークン消費を抑える方法を考えたほうがいいかもね。
あはは、確かに。私が話しすぎるとトークン消費が増えちゃうね。
だから、そろそろ終わりにしよう。