解説

AMI HAPPY

ねえねえ智也くん!この『Persona Switch』って論文のタイトル、かっこよくない?AIが魔法少女みたいに変身して戦う話?

TOMOYA NEUTRAL

変身はしないよ。これはAIに「役割」を与えて、その答えをどう使い分けるかっていう研究だね。

AMI SURPRISED

役割?「あなたはプロの料理人です」とか言ってお話しさせるやつ?

TOMOYA NEUTRAL

そう。それをロールプレイプロンプトって呼ぶんだけど、実は「数学の先生」になりきらせても、普通に答えさせるより間違えちゃうことが結構あるんだよ。

AMI SURPRISED

えー!先生になった方が賢くなりそうなのに、やる気出しすぎて空回りしちゃうのかな?

TOMOYA NEUTRAL

空回りというか、役割を与えることで逆に変なクセが出ちゃうことがあるんだ。でも、ある問題では役割ありが正解して、別の問題では役割なしが正解する。つまり、どっちが優れているかは問題によるんだよね。

AMI NEUTRAL

じゃあ、どっちを使うか選ぶのが難しいね。どうすればいいの?

TOMOYA HAPPY

そこでこの「Persona Switch」だよ。これは、AIが答えを生成する途中で、一歩ごとに「普通の自分」と「役割になりきった自分」のどっちが自信満々かをチェックして、自信がある方の言葉を採用していくんだ。

AMI SURPRISED

自信満々かどうか、どうやってわかるの?AIが「ドヤ顔」でもするの?

TOMOYA NEUTRAL

顔は見えないけど、「ロジットギャップ」っていう数値を見るんだ。AIが次に言う言葉の候補の中で、1番目の候補と2番目の候補の確率の差が大きければ、迷いがない、つまり自信があるって判断するんだよ。

AMI HAPPY

なるほど!「これしかない!」って思ってる方の言葉を繋いでいくんだね。それってすごいの?

TOMOYA HAPPY

かなりすごいよ。数学や論理パズルのテストで、普通に答えさせるよりも最大で5%以上も正解率が上がったんだ。しかも、AIを新しく学習させ直す必要がないから、すぐに使えるのも利点だね。

AMI HAPPY

学習いらずでお利口になるなんて、コスパ最強じゃん!これがあれば、どんな難しい問題も解決だね!

TOMOYA NEUTRAL

ただ、まだ課題はあるよ。今回は正解が決まっている問題で試したけど、自由な会話とか正解がない問題でどうなるかはまだわからないんだ。それに、ステップごとに2つのパターンを計算するから、少し時間がかかるしね。

AMI HAPPY

ふーん、じゃあ将来は「優しいお姉さん」と「厳しい鬼軍曹」をスイッチしながら、私をやる気にさせてくれるAIができるかも?

TOMOYA NEUTRAL

理論上は可能だけど、君の場合はどっちの役割でも「あと5分寝かせて」って言って終わりそうだけどね。

AMI HAPPY

あはは!じゃあ私は今から「天才大学生」にペルソナスイッチして、このレポート終わらせちゃうもんね!スイッチ・オン!

TOMOYA NEUTRAL

スイッチ入れる前に、まず机に向かいなよ。

要点

  • AIに特定の役割(数学の先生など)を与える「ロールプレイプロンプト」は、常に精度を上げるとは限らず、通常のプロンプト(ゼロショット)の方が正解する場合もある。
  • 新手法「Persona Switch」は、推論の各ステップごとに、通常の回答とロールプレイの回答のどちらが「自信があるか」を比較して、良い方を採用する。
  • 自信の指標として「ロジットギャップ(1位と2位の確率の差)」を使用し、追加の学習なしで精度を向上させることに成功した。
  • 実験の結果、数学や論理パズルなどのタスクで、既存の手法よりも最大5.13%高い精度を記録した。