亜美さん、それは車の話だね。この論文のDRIFTは「Decoupled Reasoning with Implicit Fact Tokens」の略で、AIが長い文章を効率よく読むための新しい仕組みのことだよ。

実はそこが大きな課題なんだ。AIに一度に読ませる文章が長くなると、計算量が爆発的に増えて動作が重くなるし、関係ない情報が混ざって肝心な答えを間違えやすくなるんだよ。これを「文脈ウィンドウ」の限界や「検索の天井」って呼んだりするんだ。

例えとしては近いね。そこでこの論文が提案しているのが、役割分担だ。知識を抜き出す「知識モデル」と、それを使って考える「推論モデル」の二つに分けるんだよ。

まず、軽量な知識モデルが長い文章を読んで、質問に関係がありそうな部分だけを「暗黙的ファクトトークン」っていう特別なデータにギュッと圧縮するんだ。これは人間には読めないけど、AIには理解できる「情報の種」みたいなものだね。

鋭いね。普通の圧縮は「10ページを1ページにする」みたいに比率が決まってるけど、DRIFTは「バケット圧縮」っていう方法を使うんだ。情報の密度に合わせて、ちょうどいいサイズの箱（バケット）に詰め込むから、大事な情報を逃しにくいんだよ。

いや、データの分類枠のことだよ。この工夫のおかげで、文章を32倍に圧縮しても、圧縮しない時より正解率が上がったっていう結果が出ているんだ。

余計なノイズが消えて、考えるべきことに集中できるからだろうね。速度も、めちゃくちゃ長い文章だと従来の7倍くらい速くなるんだよ。

これからは、図書館にある本全部をリアルタイムで参照しながら答えてくれるようなAIができるかもしれない。ただ、今はまだ特定の形式のデータで訓練が必要だし、どんな種類の文章でも完璧に圧縮できるわけじゃないっていう課題もあるけどね。

亜美さんの場合は、圧縮する前に知識が脳内をスルーしてドリフトしていきそうだけどね。ちゃんと地道に勉強しなさい。