賢い節約術！AIが『ここ、教えて！』と助けを求める新技術RelayLLM

あながち間違いじゃないよ。これは、賢いけど動かすのが大変な『大きなモデル』と、速いけど少しおバカな『小さなモデル』を協力させる研究なんだ。

それだとお金も時間もかかりすぎるんだよ。これまでのやり方は、難しい問題が来たら全部大きなモデルに丸投げしてたんだけど、実は小さなモデルでも問題の8割くらいは自力で解けたりするんだ。

この手法は『トークン単位』、つまり言葉の断片ごとにバトンタッチするんだ。小さなモデルが自分で考えて文章を書いていって、『あ、ここだけは自信ない！』ってなった瞬間だけ、大きなモデルに数文字分だけ助けてもらうんだよ。

そこがこの論文の肝だね。まず『ウォームアップ』で、助けを求めるための特別なコマンドの書き方を教えるんだ。その後に『GRPO』っていう強化学習を使って、判断力を磨くんだよ。

簡単に言うと、正解したらご褒美をあげて、無駄に大きなモデルを呼び出したら罰を与える仕組みだよ。特に『難易度に応じた報酬』を設計していて、自力で解けるのに助けを呼んだら怒られるし、逆に難しいところで意地を張って間違えても怒られるんだ。

そうだね。しかも面白いことに、大きなモデルと協力して練習しているうちに、小さなモデルが自分一人でも賢くなっちゃったらしいんだ。推論のコツを掴んだんだろうね。

その可能性は高いね。ただ、まだ課題もあって、今は数学みたいな正解がはっきりした問題が得意だけど、もっと複雑な会話とかでいつ助けを呼ぶべきかは、これからの研究課題だね。

それはただのサボりだろ。バトンを渡す前に、まず自分で走り出しなさい。