長文推論の壁を再帰呼び出しで突破する「再帰モデル」の理論と実装

LLMにはコンテキスト長の制限があるだろ？長い文章や複雑な問題を一度に考えられないのが根本的な壁なんだ。

そう。で、この論文はその制約を「再帰」、つまり自分自身を呼び出す仕組みで解決しようって提案なんだ。

うん。モデルに特殊なトークン、『call』と『return』を教え込んで、大きな問題を小さなサブタスクに分解して、それを再帰的に解決させるんだ。スタックで管理するから、深い問題も扱える。

ああ。理論的には、どんな計算可能な問題も再帰分解できるし、普通の自己回帰モデルと比べて、必要なアクティブなコンテキストを指数関数的に小さくできるって証明してる。要約みたいな一発芸より強力で、これが最適な能力を持つって主張だ。

3Bパラメータのモデルを訓練して、SATって論理パズルのような問題で実験した。非再帰のベースラインを大きく上回る性能が出たって書いてある。

そう単純じゃない。実用上の課題もちゃんと書いてある。まず、LLMが問題を適切に分解するポイントを学習できないとダメだ。細かすぎても粗すぎても性能が出ない。

それに、戻り値の形式がバラバラだと親が結果を利用できない。あと、深く再帰しすぎると呼び出しが爆発して遅くなる。同じ問題を何度も解く非効率さもある。ベースのLLMが弱ければ、分解しても誤りが積み重なるだけだ。

ああ。構造化された推論タスクに特に有効だと思う。実装の核はシンプルなcall/returnのインターフェースと、スタックを管理する軽いオーケストレーターだ。ボトルネックはコンテキスト長そのものじゃなくて、問題を分解して再帰的に解く「仕組み」なのかもしれない。

…その比喩はどうかと思う。ただの計算モデルだ。