TL;DRPallasは、AI…
TL;DR
SPADEは、1つのLLMが「環境デザイナー」と「推論エージェント」の2役を自己対戦で担い、実行可能なコードとして環境を生成しながら学習するフレームワークです。ヒント有無の報酬差（regret）で環境を最適化し、固定環境より平均+5.3ポイント、ツール使用で最大+13.9ポイントの性能向上を達成。環境生成自体を学習可能にし、継続的自己改善を実現します。
解説
ねえ智也くん、このSPADEって論文、タイトルからしてすごいんだけど、何がすごいの？
ああ、SPADEはね、LLMを訓練する新しい方法なんだ。普通は固定された問題集で学習するけど、SPADEではモデル自身が問題を作りながら学習するんだよ。
問題を作る？それってどういうこと？
簡単に言うと、一つのLLMが「環境デザイナー」と「推論エージェント」の二役を交代でやるんだ。環境デザイナーがコードで問題環境を作って、推論エージェントがそれを解く。そして、その結果を使って環境を改善していくんだよ。
自己対戦ってそういうことか！でも、どうやって環境を改善するの？
ここがポイントで、ヒントがあるときとないときの報酬の差、つまりregretを使って環境を最適化するんだ。ヒントがあると解けるけど、ないと解けない問題は、ちょうどいい難易度ってわけ。
なるほど、ヒントの有無で差が出る問題を作るようにするんだね。それで、実際に効果はあったの？
うん、固定環境より平均で+5.3ポイント、ツールを使う場合は最大で+13.9ポイントも性能が上がったんだ。
すごい！でも、環境生成自体を学習可能にするってどういうこと？
つまり、環境デザイナーも学習して進化するんだ。最初は簡単な問題しか作れないけど、学習が進むにつれて複雑な問題を作れるようになる。だから、継続的に自己改善できるんだよ。
それって、モデルがどんどん賢くなるってこと？すごいね！でも、何か問題点はないの？
そうだね、まだ実験が特定のベンチマークに限られていて、汎用性が十分に確認されていないことかな。あと、環境生成のコストが高い可能性もある。
なるほどね。でも、自分で問題を作って解くって、まるで自分で宿題を作って解いてるみたいで、ちょっとずる賢い感じがするね（笑）
はは、確かに。でも、その「ずる賢さ」が学習には大事なんだよ。