解説ねえねえ、智也くん!これ見…
解説
ねえねえ智也くん!この『再帰的言語モデル』っていう論文のタイトル、なんかカッコよくない?マトリョーシカみたいな感じ?
マトリョーシカ……まあ、あながち間違いじゃないかな。これはAIにめちゃくちゃ長い文章を読ませるための新しい戦略についての論文だよ。
長い文章?どれくらい長いの?私の夏休みの宿題の読書感想文くらい?
そんなレベルじゃないよ。数千万文字、本にしたら何百冊分っていう単位だね。今のAIは、文章が長すぎると途中で内容を忘れちゃう『コンテキスト劣化』っていう問題があるんだ。
コンテキスト劣化……。おじいちゃんが「さっき何話してたっけ?」ってなるみたいな感じ?
そう、まさにそれ。そこでこの論文が提案しているのが『RLM』だ。プロンプトを直接AIに読み込ませるんじゃなくて、Pythonのプログラムが動く環境の中に『データ』として置いておくんだよ。
えっ、AIが自分でプログラムを動かすの?
そう。AIがコードを書いて、その長いデータの中から必要な部分だけを覗いたり、分割したりする。そして、分割した小さなタスクを解くために、また自分自身を呼び出すんだ。これが『再帰的(リカーシブ)』って呼ばれる理由だね。
なるほど!大きなピザを一人で食べられないから、自分で小さく切って、分身した自分たちで手分けして食べるみたいなことだね!
……例えは独特だけど、仕組みとしては合ってる。この方法だと、AIが一度に覚えられる限界を超えた長さでも、正確に処理できるんだ。
それって本当にすごいの?他のやり方じゃダメなの?
今までは「要約」して短くしたり、「検索」して関係ありそうな場所だけ探したりしてたけど、それだと細かい情報が落ちちゃうんだ。RLMはGPT-5を使った実験で、1000万トークン以上の文章でも、他の手法より圧倒的に高い精度を出したんだよ。
1000万!それなら私のこれまでの人生の失敗談を全部まとめても、AIなら完璧に分析してくれそうだね!
分析されたら立ち直れなくなりそうだけどな。ただ、課題もある。AIが何度も自分を呼び出すから、終わるまでの時間にバラつきがあったり、複雑な指示だとコストがかさんだりすることもあるんだ。
じゃあ、将来はもっと賢くなって、一瞬で全部読んでくれるようになるのかな?
そうだね。この研究は、AIが「どうやって情報を整理して考えるか」という推論のプロセスを強化する方向性を示している。モデルそのものを大きくしなくても、使い方の工夫で限界を突破できるのが面白いところだよ。
すごーい!私もRLMみたいに、テストの時に「もう一人の私」を呼び出して代わりに解いてもらいたいな!
それはただのカンニングだろ。自分で勉強しろよ。
要点
- LLMが長いプロンプトを処理する際に精度が低下する「コンテキスト劣化」という問題を解決する手法を提案している。
- Recursive Language Models (RLM) は、プロンプトをモデルに直接入力するのではなく、Pythonの実行環境(REPL)上の変数として扱う。
- モデルが自らコードを書いてプロンプトを分割・探索し、自分自身を再帰的に呼び出すことで、1000万トークンを超える超長文の処理を可能にした。
- GPT-5などの最新モデルを用いた実験で、従来の要約や検索ベースの手法を大幅に上回る精度を、同等以下のコストで実現した。