解説ねえねえ智也くん！この『E…
解説
ねえ智也くん！この『Look Inward to Explore Outward』って論文のタイトル、なんだかオシャレじゃない？「内側を見て外を探索する」って、瞑想か何かの話？
いや、これはAIが生成するときの『サンプリング温度』を、自分自身の内部状態を見て賢くコントロールしようっていう真面目なAIの論文だよ。
温度？AIが熱中症にならないようにエアコンをつける話かな？
違うよ。サンプリング温度っていうのは、AIが次の言葉を選ぶときの『ランダムさ』を調整する数値のことだ。温度が高いと意外な言葉を選びやすくなって（探索）、低いと確率が高い無難な言葉を選ぶようになる（活用）。
へぇー！じゃあ、いつもは誰がその温度を決めてるの？
これまでは人間が「だいたい1.0くらいかな」って固定で決めたり、簡単なルールで変えたりしてたんだ。でも、難しい数学の問題を解くとき、考え込む場面では色々試したいし、単純な計算の場面ではミスしたくないだろ？
確かに！テストの時、難しい問題は「えいっ！」って勘を働かせるけど、1+1は絶対間違えたくないもんね。
そう。そこでこの論文が提案したのが『IntroLLM』だ。AIが自分の頭の中（隠れ状態）を見て、「今は迷ってるから温度を上げよう」とか「ここは確実だから下げよう」って、一歩ごとに自分で温度を決めるんだよ。
自分の頭の中を見るなんて、AIも自意識過剰になっちゃうの？どうやってそんな器用なことしてるの？
『階層型強化学習』っていう仕組みを使っているんだ。まず『温度を決める担当』が温度を決めて、その温度を使って『言葉を選ぶ担当』が実際に喋る。この二つを、最終的に正解したかどうかの報酬を使って同時に訓練するんだよ。
二段階になってるんだ！でも、毎回温度を変えるのって大変じゃない？
鋭いね。このモデルは「今、温度を変えるべきか？」っていうスイッチと、「変えるならいくらにするか？」っていう調整ツマミの両方を持ってるんだ。必要ないときは温度を変えないことで、学習を安定させているんだよ。
賢い！それで、実際に数学の問題を解かせてみたらどうだったの？
結果は凄かったよ。固定の温度でやるよりもずっと正解率が上がったんだ。特に面白いのは、AIが「難しい推論のステップ」では自動的に温度を上げて、最後の「答えを書くステップ」では温度を下げて慎重になるっていう振る舞いを、誰に教わらなくても自分で学習したことだね。
すごい！AIが自分で「ここは勝負どころだ！」って判断してるみたいでカッコいい！これって、これからどうなっていくの？
今は数学がメインだけど、プログラミングや複雑な推論が必要なあらゆる分野に応用できるはずだ。AIが自分の自信のなさを自覚して、戦略を変えるっていうのは、より人間に近い思考プロセスに近づく一歩だと思うよ。
なるほどねー。でも、まだ完璧じゃないんでしょ？
そうだね。温度を決めるための計算コストが少し増えるし、どういう内部状態が温度変化を引き起こすのか、もっと詳しく解析する必要がある。これからは、温度だけじゃなくて他の設定もAI自身に任せる研究が進むだろうね。
よーし、私もIntroLLMを見習って、今日の夕飯を何にするか、自分の心の温度を上げて情熱的に探索してみるよ！
君の場合は、いつも温度が高すぎてメニューが決まらないんだから、少しは温度を下げて「活用」に専念してくれ。
要点
- LLMの学習（RLVR）において、サンプリング温度（出力のランダムさ）は探索と活用のバランスを決める重要な要素だが、従来は固定値や手動のルールで決められていた。
- 提案手法「IntroLLM」は、モデルが自身の内部状態（隠れ状態）を分析し、トークンごとに最適な温度を自ら決定する階層型強化学習フレームワークである。
- 温度決定ポリシーは「温度を変えるかどうか」の離散的な判断と「どの程度の温度にするか」の連続的な判断を組み合わせたハイブリッドな構造を持つ。
- 数学的推論タスクにおいて、固定温度や既存の動的調整手法を上回る性能を達成し、難しい推論ステップでは温度を上げ、計算などの確実なステップでは温度を下げるという解釈可能な振る舞いを獲得した。
- この手法により、モデルは学習の進捗や問題の難易度に合わせて、自律的に探索戦略を最適化できるようになった。