TL;DR
StrataFluxは、GPUに低ビットの重みとKVキャッシュを常駐させ、必要な追加精度だけをホストRAM/SSDから選択的に取得する。取得は非同期化し、デコード間で再利用することで転送待ちを隠蔽し、量子化の省メモリ・帯域利点を保ちながら精度低下の回復を狙う。専用GPUと統合メモリ環境で評価されているが、対象モデル・ビット幅・タスクは限定される。
既存手法との違い
原論文は、量子化のみ（低ビット重み/KV、AWQ、KVarN、YAQAなど）とオフロードのみ（精度は保持しやすいが転送待ちが生じる）を対比し、StrataFluxは両者の中間ではなく精度表現と配置を共設計する点が異なる。関連手法としてDecDEC（投影内で残差列を取得）、SpeCache（選択トークンをFP16で完全置換）、疎注意（未選択トークンを除外）、FP16フェッチ、nested refinement、ランダム選択を比較。128K文脈ではvLLMの4-bit AWQ重み+8-bit KVとも比較。条件はLlama-3.1-8B-Instruct、Qwen3-8B、RTX 5090、DGX Sparkなど。StrataFluxの違いは、追加ビットのみを選択取得し、fetch lead/lagとキャッシュで転送を隠蔽・再利用する点。
使える条件
原論文の評価対象は2–4-bit重み、2–3-bit KV、Llama-3.1-8B-Instruct/Qwen3-8B、WikiText-2/PG-19/AIME、128K文脈、RTX 5090やDGX Spark。前提は、低ビット表現をGPU側に常駐させ、追加精度をホストRAM/SSDに置けるメモリ階層、入力活性や注意重みによる選択、転送キャッシュ、非同期配送。専用GPUと統合メモリ向けの設計。他のモデル・GPU・タスク・ビット幅、実装詳細は提示本文からは確認できない。
限界と未検証の範囲
評価は特定モデル・ビット幅・タスク・ハードに限定され、一般のLLMや全タスクへの汎化は提示本文から確認できない。SSDランダム読み出しは高遅延で（DGX Sparkで2KB中央値200µs、99%タイル709µs）、キャッシュミス時は低ビット常駐の精度のままになる。選択ミスやキャッシュ不足時の精度影響、他のGPU/モデル/文脈長、学習不要PTQとの統合詳細も本文からは確認できない。システム名は暫定で、報告数値は条件付きの結果であり一般保証ではない。
解説
ねえ智也くん、この「StrataFlux」って論文、タイトルからしてもう難しそうなんだけど、ざっくり何を解決したいの？
低ビット量子化するとメモリと帯域は節約できるけど精度が落ちる。逆に高精度データをオフロードすると転送待ちで生成が止まる。その二択をなんとかしたいって話。
量子化かオフロードか、みたいなトレードオフってことか。StrataFluxはどっち寄りなの？
どっちでもない。低ビットの重みとKVキャッシュはGPUに常駐させて、足りない精度だけをホストRAMやSSDから選択的に取ってくる。表現と置き場所をまとめて設計するのが違い。
全部の高精度データを取ってきたら意味ないもんね。どうやって「必要なとこだけ」を選ぶの？
重みは入力活性の大きさ、KVは低ビットのキーから見た注意重みで選ぶ。取ってくるのは完全なFP16置換じゃなくて、常駐してる低ビット値の間を細かくする追加ビット。nested refinementってやつ。
ふむふむ。でも選ぶのはいいとして、取りに行くの待ってたら結局遅くならない？
そこがfetch leadとfetch lag。前のブロックの残差ストリームから先にチャネルを予測して先取りしたり、出力への加算を後の更新まで遅らせたりして、転送と計算を重ねる。さらにデコード間で取得済みの精度をキャッシュして再利用する。
なるほど、待ち時間を隠して、来たデータは次のステップでも使うってことか。で、結果はどうなの？
論文では2-bit Llama-3.1-8B-InstructのWikiText-2 perplexityが9.46から8.40になって、RTX 5090で量子化ベースのスループットの95.4%を維持。2-bit重みとKVのQwen3-8BではAIME 2024/2025が11.0%から47.1%に上がって、GPUメモリ使用量は変わらない。
結構インパクトあるじゃん。128K文脈の比較もあるんだっけ？
ある。Llama-3.1-8B-Instructの3-bit重み+2-bit KVが、RTX 5090でvLLMの4-bit AWQ重み+8-bit KVと同程度のperplexityと速度で、GPUメモリは約半分って報告。比較対象としては量子化のみ、オフロードのみ、DecDEC、SpeCache、疎注意、FP16フェッチ、ランダム選択なんかも出てくる。
精度の上限をGPU常駐ビットで決めなくていい、ってのが売りなんだね。でも万能ではないんでしょ？
評価は2–4-bit重み、2–3-bit KV、Llama-3.1-8B-InstructとQwen3-8B、WikiText-2やPG-19、AIME、128K文脈、RTX 5090やDGX Sparkに限定されてる。他のモデルやGPU、タスク、ビット幅への一般化は提示本文からは確認できない。
SSDからランダム読み出しすると遅い、みたいな話もあったよね。
DGX Sparkで2KBランダム読み出しの中央値が200µs、99%タイルで709µs。だからキャッシュミスしたら常駐の低ビット精度のままになるし、選択ミスやキャッシュ不足時の影響も本文だけでは確認できない。システム名も暫定って書いてある。
つまり、メモリ階層をうまく使う作戦ね。ラーメンの替え玉みたいに、足りない分だけ後から追加する感じ？
替え玉は非同期で先読みしないだろ。