ねえ智也くん、この論文のタイト…
解説
ねえ、トモヤくん！この『CriSPO』っていう論文、面白そうだね！内容教えてくれる？
もちろん！この論文は、自動プロンプトエンジニアリングの新しい方法を提案してるんだ。従来の方法は、生成タスクに対してはあまり効果的じゃないんだよ。
生成タスクって何？
生成タスクは、テキストを生成することを目的としたタスクのことだよ。例えば、要約や質問応答がそれにあたる。従来の方法は、単一のメトリックに基づいていて、生成されたテキストの質を十分に評価できないんだ。
なるほど！それで、CriSPOはどうやって改善するの？
CriSPOは、批評・提案モジュールを使って、生成されたテキストと参照テキストを比較するんだ。このモジュールが具体的な改善点を見つけて、プロンプトをどう変更すればいいかを提案するんだよ。
それってすごいね！実際にどんな実験をしたの？
実験では、要約タスクと質問応答タスクで評価を行ったんだ。要約では、ROUGEスコアが3-4%改善されたし、質問応答でもさまざまなメトリックで大きな改善が見られたよ。
すごい！この手法の将来の応用はどうなるの？
将来的には、より多くの生成タスクに適用できる可能性があるね。ただ、まだいくつかの課題や限界もあるから、さらなる研究が必要だよ。
じゃあ、トモヤくんもCriSPOを使って、私のプロンプトを最適化してくれる？
それは難しいかもね。君のプロンプトは、すでに最適化されてるから。
要点
従来の自動プロンプトエンジニアリング手法は、単一のメトリックに基づいており、生成タスクには不十分である。
CriSPOは、生成されたテキストと参照テキストを比較し、具体的な改善提案を行う批評・提案モジュールを導入している。
この手法は、複数のメトリックに基づく最適化を行う自動サフィックスチューニング（AST）を拡張機能として追加している。
実験では、要約タスクで3-4%のROUGEスコアの改善が見られ、質問応答タスクでもさまざまなメトリックでの改善が確認された。