解説ねえ智也くん、この論文のタ…
TL;DR
長文推論タスクでLLMが入力をそのまま思考にコピーする「反復コピー」問題を発見。原因はタスクに関係ない文脈まで無差別にコピーすることだと分析し、証拠への注目を促す報酬（GEAR）を提案。強化学習で精度+4.6ポイント向上、思考長も削減。
解説
ねえ智也くん、このブログのタイトル見てさ、「長文推論でモデルが入力を丸写しする問題」って書いてあるんだけど、それってどういうこと？
ああ、それね。LLMが長い文章を処理するときに、入力されたテキストをそのまま思考の一部としてコピーしちゃう現象のことだよ。
え、それって単にコピペしてるだけってこと？それって賢いモデルがやることなの？
そう、実は結構深刻な問題でね。モデルがタスクに関係ない文脈まで無差別にコピーしちゃうから、推論の質が落ちるんだ。
なるほどね。で、このGEARってやつがその問題を解決するんだよね？どういう仕組みなの？
GEARは「証拠に注目させる報酬設計」のこと。モデルが推論するときに、本当に必要な証拠だけを参照するように強化学習で報酬を与えるんだ。
報酬設計かあ。それって具体的にどうやってモデルに「これが証拠だよ」って教えるの？
まず、モデルが生成した思考の中から、入力テキストと一致する部分を検出する。それで、タスクの正解に貢献したコピーには正の報酬、無関係なコピーには負の報酬を与えるんだ。
へえ、それで精度が4.6ポイントも上がったんだって？すごいね！しかも思考の長さも減ったんでしょ？
そう、精度が上がった上に、無駄なコピーが減ったから思考の長さも短くなった。効率的な推論ができるようになったってことだね。
でも、この方法って何か限界とかあるの？完璧な解決策ってわけじゃないんでしょ？
そうだね。まず、報酬設計が結構複雑で、タスクごとに調整が必要なんだ。それに、本当に必要な証拠と不要なコピーの区別が難しいケースもある。
ああ、確かに。人間でも「これって本当に必要？」って迷うことあるもんね。でも、この研究って結構実用的だと思うな。
うん、長文推論の品質を上げるための重要な一歩だと思う。今後の発展が楽しみだよ。
じゃあ、智也くんもGEARを使って論文書くときは、ちゃんと証拠だけコピーしてね！
……お前のその冗談、毎回コピーしなくていいから。