TL;DR

CoBitは各トークンを固定幅ビット列にし、ガウス破損を連続拡散で復元するテキスト生成モデルです。語彙全体ではなくビットごとのロジットを出し、解析的なマッチドフィルタ+残差と、エントロピー率グリッド上の確率的補正でGenPPLと多様性のトレードオフ改善を狙います。LM1B/OWT、Sudoku、GSM8Kで評価されていますが、RAGへの適用は本論文では未検証です。

既存手法との違い

原論文はLM1B/OWTの無条件生成で、連続DLM(FLM、LangFlow、ELF、CANDIなど)と離散DLM(MDLM、Duo、SEDDなど)、自己回帰のGPT-2/GPT-Sを比較しています。256 NFEのCoBit-SはLM1BでGenPPL 59.76・entropy 4.31(決定論サンプラは82.90/4.30)、OWTで27.06/5.26(決定論は46.32/5.13)。ただしLM1BのGPT-S p=0.95は52.80/4.327でCoBit-Sより強く、OWTのGPT-2 Mediumは15.54/5.386でCoBit-Mの19.48/5.396より強い設定です。外部DLMの行は参照設定であり、固定予算で最適化した比較ではないと明記されています。SudokuではCoBit 65.9%に対しDuo 58.4%、GSM8Kではscore-temperature scalingで28.1%から35.3%へ上がり、温度調整済みMDLM/Duoの報告範囲33–36%内とされています。

使える条件

対象はテキストの無条件生成と、Sudoku・GSM8Kの検証可能タスクです。LM1Bは128トークン・15bit/トークン、OWTは1024コードトークン・16bit/コードで、可逆BPE codecを逆変換して評価します。CoBit-Sは130M(12層・幅768)、CoBit-Mは462M(24層・幅1024)。主要な言語生成結果は256 NFE、Snoise=1.003、carry-mode self-conditioningです。Sudokuは8層・幅512のタスク特化backboneと180位置シリアライズ、GSM8KはTinyGSM学習済みCoBit-Sを使います。RAGや検索条件付き生成、任意長・任意トークナイザでの運用、商用データでの性能は提示本文からは確認できません。

限界と未検証の範囲

GenPPLだけでは生成品質を決められず、原論文も多様性(unigram entropy)との同時評価を重視しています。実データのentropyにはまだ差があり、近いentropyで自己回帰GPT-2/GPT-Sが強い設定もあります。NFEはdenoiser評価回数でwall-clockコストではありません。外部DLM比較は参照設定で、固定予算の最適化比較ではないと明記されています。OWTのcodecトークンはGPT-2トークンと1対1ではなく、評価は各点1024サンプル、seed変動はsampling標準偏差で再学習不確実性ではありません。Sudokuはタスク特化backbone、GSM8KはTinyGSM学習CoBit-Sとscore-temperature scalingに限定されます。メモリ・スループットはmatched-trunk profilingの結果です。RAG/検索拡張、長文、追加学習なしの一般タスクへの一般化は本論文では未検証です。

図1: 提案手法の概要(本記事による図解)

CoBitの全体像として、固定幅ビット列のガウス破損、トークン単位パッチを処理するTransformer幹、解析マッチドフィルタと文脈残差によるビットロジット、エントロピー率グリッド上の確率的補正による反復サンプリングを示し、閾値処理や出力テキスト化の詳細は省略した。
CoBitの全体像として、固定幅ビット列のガウス破損、トークン単位パッチを処理するTransformer幹、解析マッチドフィルタと文脈残差によるビットロジット、エントロピー率グリッド上の確率的補正による反復サンプリングを示し、閾値処理や出力テキスト化の詳細は省略した。

解説

AMI THINKING

CoBitって何が面白いの? ビット列でテキスト生成するって聞いても、まだピンと来ない。

TOMOYA EXPLAINING

ざっくり言うと、各トークンを固定幅のビット列にして、ガウスノイズで壊して、連続拡散で復元する言語モデルだ。

AMI SURPRISED

語彙全体を当てるんじゃなくて、ビットごとに当てるってこと?

TOMOYA EXPLAINING

そう。語彙数をVとすると⌈log2V⌉ビットのロジットで済む。各トークンのビットを1パッチにして、系列長Tは保つ。

AMI UNDERSTOOD

なるほど、出力ヘッドは軽くなる方向だね。でも精度はどうするの?

TOMOYA EXPLAINING

そこでmatched-filter residual。ガウス劣化した孤立ビットの事後分布は解析的に書ける。その項を入れて、ネットは文脈からの補正を学ぶ。

AMI SMILE

解析的に分かるところは任せて、難しい残りだけ学習する感じか。

TOMOYA EXPLAINING

あと大きいのがサンプラ。エントロピー率グリッド上の確率的サンプリングで、情報が決まるノイズ帯にソルバ解像度とLangevin補正を寄せる。

AMI THINKING

決定論的だと安全な語に寄って多様性が落ちる、みたいな話?

TOMOYA THINKING

GenPPLだけ見ると頻出トークンへの集中で良く見えることがある。だからentropyと一緒に見る必要がある。

AMI NEUTRAL

評価はどんな感じ?

TOMOYA EXPLAINING

256 NFEでCoBit-S 130MがLM1BでGenPPL 59.76・entropy 4.31。決定論は82.90/4.30。OWTは27.06/5.26で、決定論は46.32/5.13。

AMI SURPRISED

同じチェックポイントとNFEで、サンプラだけ変えてるの?

TOMOYA EXPLAINING

そう。LM1Bは128トークンで15bit/トークン、OWTは1024コードトークンで16bit/コード。OWTは可逆BPE codecを逆変換して評価する。462MのCoBit-MはOWTで19.48/5.396まで行く。

AMI THINKING

でも自己回帰が強い設定もあるんでしょ?

TOMOYA EXPLAINING

ある。LM1BのGPT-S p=0.95は52.80/4.327でCoBit-Sより強く、GPT-2 Mediumも近いentropyで15.54/5.386。だから勝ち負けというよりトレードオフの位置が大事だ。

AMI NEUTRAL

検証可能タスクは?

TOMOYA EXPLAINING

Sudokuはタスク特化backboneで65.9% exact match、Duoの58.4%より上。GSM8KはTinyGSMで学習したCoBit-Sにscore-temperature scalingを入れて28.1%から35.3%、NFEを増やさずにね。

AMI THINKING

計算面のうれしさは?

TOMOYA EXPLAINING

matched-trunk profilingでLM1Bはピーク学習メモリが1.64倍低く、スループット2.31倍。OWTは2.46倍と3.29倍。ただしNFEはdenoiser評価回数で、wall-clockコストではない。

AMI SAD

制限は?

TOMOYA EXPLAINING

外部DLM比較は参照設定で、固定予算の最適化比較じゃない。実データentropyとの差も残る。OWTのcodecトークンはGPT-2トークンと1対1じゃないし、各点1024サンプル。RAGや検索条件付き生成は本論文では未検証。

AMI HAPPY

じゃあ私の雑談もビット列にして、GenPPLを下げてもらおうかな。

TOMOYA NEUTRAL

何を言ってるんだ。まず君の雑談にmatched filterが必要だ。