TL;DREMBL AI LI…
TL;DR
本論文は、GitHub上のソフトウェアに埋め込まれた「トランザクショナルプロンプト」57,640件を収集し、プロンプトの構造を体系的に記述するオントロジーを提案・適用した研究です。分析の結果、英語が84.66%を占め、言語・タスク・モダリティはZipf分布に従う多様性があること、またLLMベースのアノテーションは多くの項目で90%以上の精度を持つ一方、出力タイプなど一部の項目では誤りが多いことが明らかになりました。実務では、プロンプト設計の多様性理解や自動アノテーションの品質管理に活用できます。
解説
ねえ智也くん、この論文のタイトルに「5.7万件の実プロンプト」ってあるけど、そんなにたくさんのプロンプトを集めたんだ！すごいね。
うん、GitHubのソフトウェアに埋め込まれたプロンプトを収集したんだ。トランザクショナルプロンプトって呼ばれる、特定のタスクを実行するためのプロンプトだよ。
トランザクショナル？なんだか難しそう。でも、なんでそんなに集めたの？
プロンプトの構造を体系的に理解するためだよ。今までプロンプトの設計って経験則に頼ることが多かったけど、実際にどんなプロンプトが使われているのかをデータで明らかにしたかったんだ。
なるほどね。で、どうやって分析したの？
まず、プロンプトの構造を記述するオントロジーを提案したんだ。言語、タスク、モダリティ、出力タイプなどの項目を定義して、それに基づいてプロンプトを分類した。
オントロジーって、概念の体系化だよね？それで、実際に分類してみたらどうだったの？
英語が84.66%を占めていて、言語・タスク・モダリティはZipf分布に従う多様性があった。つまり、一部の言語やタスクに集中しているけど、長い尾のように多様なものも存在するってこと。
へえ、Zipf分布って、単語の出現頻度とかで聞いたことあるけど、プロンプトにも当てはまるんだね。面白い！
あと、LLMベースのアノテーションの精度も評価したんだ。多くの項目で90%以上の精度だったけど、出力タイプなど一部の項目では誤りが多かった。
自動で分類するのは便利だけど、完璧じゃないってことか。でも、それって実務でどう使えるの？
プロンプト設計の多様性を理解するのに役立つし、自動アノテーションの品質管理にも使える。例えば、どの項目で誤りやすいかを知っておけば、人間がチェックするポイントを絞れる。
なるほどね。でも、この研究の限界って何かあるの？
GitHubのプロンプトに限定しているから、他のプラットフォームや実際のユーザーのプロンプトとは傾向が違うかもしれない。あと、オントロジー自体が完全ではない可能性もある。
そうか。でも、これだけのデータを分析したのはすごい価値があると思うよ。私もプロンプト書くとき、ちょっと意識してみようかな。
そうだね。でも、君のプロンプトはきっと多様性がありすぎて、オントロジーに分類できないかもね。
えー、それって褒めてるの？まあ、いいか。でも、次にAIに何か頼むときは、ちゃんと構造を考えてみるよ！
その意気だ。でも、まずは英語で書くことから始めたら？