TL;DRPallasは、AI…
TL;DR
LLMが生成する成果物に対するプロンプトの貢献度を、思考トークンも考慮した「LLM相対Levin-Kolmogorov複雑性」で定量化する手法を提案。プロンプト価値bビットは、プロンプトなしでの再現コストが2^b倍になることを意味し、効率的に推定可能。
解説
ねえ智也くん、このブログのタイトル、『プロンプトの価値を測る新しい指標』ってすごく気になるんだけど、何が新しいの？
ああ、これはプロンプトがどれだけ生成結果に貢献したかを数値で測ろうって話だよ。今まではプロンプトの良し悪しを主観で判断することが多かったけど、それを情報理論の枠組みで定量化してるんだ。
情報理論って、なんか難しそう…でも、プロンプトの価値が数字でわかるなら便利だね。具体的にはどうやって測るの？
基本は『LLM相対コルモゴロフ複雑性』っていう概念を使ってるんだ。簡単に言うと、プロンプトなしで同じ出力を再現するのがどれだけ難しいかを測るんだよ。
再現するのが難しいほど、プロンプトの価値が高いってこと？
そう。プロンプトの価値をbビットって定義して、プロンプトなしでの再現コストが2^b倍になるって意味づけしてるんだ。つまり、bが大きいほどプロンプトが重要ってこと。
でも、普通のコルモゴロフ複雑性って計算不能じゃなかったっけ？どうやって推定するの？
そこが工夫してあって、LLM自体を使って近似するんだ。特に、思考トークン（chain-of-thought）も考慮に入れてるのが新しいポイント。プロンプトなしで出力を生成するときに、思考トークンも含めてどれだけ追加の計算が必要かを測るんだよ。
なるほど、思考トークンってAIが考える過程の出力だよね？それを含めることで、より正確にプロンプトの貢献度がわかるってわけか。
うん。実験では、プロンプトの価値が高いほど、プロンプトなしでの再現が難しくなることを確認してる。例えば、特定のタスクでプロンプトの価値が10ビットとか出ると、再現コストが1024倍になるってことだね。
それってすごい！でも、この指標ってどんな場面で使えるの？
プロンプトエンジニアリングの評価とか、プロンプトの自動生成の改善に使えると思う。あと、モデルがどれだけプロンプトに依存してるかを分析するのにも役立つかも。
でも、限界もあるんでしょ？
そうだね。まず、LLM自体の近似に依存してるから、モデルが変わると結果も変わる可能性がある。あと、思考トークンの扱いがモデルによって違うから、汎用性には課題が残る。
なるほどね。でも、プロンプトの価値をビットで表すって発想が面白い！私も自分のプロンプトの価値を測ってみたいな。
やってみれば？でも、あまり期待しすぎないでね。プロンプトが悪いと価値がマイナスになるかもしれないから。
えー、マイナスって…じゃあ、私のプロンプトはゼロより上を目指すよ！
その意気だ。でも、ゼロより上を目指すなら、まずはちゃんと論文を読もうね。