TL;DRChatGPT、Cl…
TL;DR
本論文は、ソフトウェア工学におけるLLMベースのマルチエージェントシステム（MAS）開発を支援する20のフレームワークを調査し、そのうち代表的な4つをGitHub README要約タスクで実証比較した経験報告です。基本的なMAS機能は十分にカバーされている一方、高度なテレメトリ機能や人間参加型統合は不足しています。また、要約品質（ROUGEスコア）に有意差はないものの、実行時間には大きな差があり、フレームワーク選択が開発効率に影響することが示されました。
解説
ねえ智也くん、このブログのタイトル見て！LLMマルチエージェント開発の実践比較って、なんか難しそうだけど気になるんだよね。
ああ、あの論文のことか。ソフトウェア工学でLLMを使ったマルチエージェントシステムを開発するためのフレームワークを20個調べて、そのうち4つを実際に比較した経験報告だよ。
へえ、20個もフレームワークがあるんだ！でもなんでそんなにたくさんあるの？
LLMベースのエージェントって、それぞれ役割を持たせて協調させることができるんだけど、それを実装するためのライブラリやツールがいろいろ出てきてるんだ。この論文は、どれを選べばいいかの指針を提供しようとしてる。
なるほどね。で、どうやって比較したの？
代表的な4つのフレームワーク（AutoGen、LangGraph、CrewAI、それともう一つ）を使って、GitHubのREADMEを要約するタスクを実行させたんだ。要約の品質をROUGEスコアで測って、実行時間も比較した。
ROUGEスコアって何？
生成された要約が、人間が書いた参照要約とどれだけ似ているかを測る指標だよ。単語の重なりとかを見るんだ。
ふーん。で、結果はどうだったの？
要約の品質には有意な差はなかったんだ。どのフレームワークでも同じくらいのROUGEスコアだった。でも実行時間には大きな差があって、フレームワークによってかなり速いのも遅いのもあった。
品質は同じなのに時間が違うって、開発効率に影響するってことだね。
そう。それに、基本的なマルチエージェント機能（エージェント間の会話とかタスク割り当てとか）はどのフレームワークも十分カバーしてるけど、高度なテレメトリ機能（ログやモニタリング）や人間が途中で介入する機能は不足してるって指摘もあった。
なるほど。じゃあ、この論文の意義は、フレームワーク選びの参考になるってこと？
そうだね。特に、品質よりも実行時間を重視するなら、どのフレームワークを選ぶかで開発効率が変わるってことを示したのは重要だと思う。
でも、限界もあるんでしょ？
うん。この研究は特定のタスク（README要約）だけを評価してるから、他のタスクでは結果が変わるかもしれない。それに、フレームワークのバージョンや設定によっても性能は変わるから、一般化には注意が必要だね。
なるほどね。でも、20個も調べて4つも比較するなんて、すごい労力だよね。私には到底できないなあ。
まあ、君がやるなら、まずは1つのフレームワークから始めたら？
あはは、でも私がやったら、エージェントが暴走して大変なことになりそうだよ。
それなら、最初から人間が介入する機能を選べばいいんじゃない？