一文字ずつ書くのはもう古い？AIの生成速度を爆速にする新技術『CARD』がすごい！

いや、トランプじゃないよ。これは生成AIの『書くスピード』と『学習の効率』を両立させる新しい仕組みについての論文だね。

実は今の主流のAIは、一文字ずつ順番に作ってるんだ。これを自己回帰（AR）って言うんだけど、文章が長くなると一文字ずつの積み重ねがボトルネックになって、時間がかかるんだよ。

そこで『拡散モデル』っていう、画像生成とかでよく使われる技術を文字に応用する研究があるんだ。これなら複数の文字を一気に並列で作れる。でも、文字でやると学習が不安定だったり、効率が悪かったりしたんだよね。

CARDは、ARの『前の文字から順番に読む』っていうルールを守りつつ、拡散モデルの『ノイズを消して復元する』っていうやり方を合体させたんだ。具体的には『因果的アテンション』を使っている。

簡単に言うと、過去の情報だけを使って未来を予測する仕組みだね。これのおかげで、KVキャッシュっていう『一度計算した内容をメモリに保存して使い回す技術』が拡散モデルでも使えるようになったんだ。これが推論を速くする鍵だよ。

そこがこの論文の面白いところでね。『Soft Tail Masking』っていう手法を導入したんだ。文章の最初の方を隠しちゃうと、AIは何を書いていいか分からなくてパニックになる。だから、文章の後ろの方を重点的に隠して、前の方をヒントとして残すようにしたんだよ。

……物理的なしっぽじゃないけどね。あと、文脈が曖昧で予測が難しい時は学習の重みを下げる『Context-aware Reweighting』っていう工夫もして、無理な学習をさせないようにしてるんだ。

既存の拡散モデルより精度が5.7ポイントも上がって、今の主流のAIと同じくらいの品質になった。しかも、推論速度は最大4倍も速くなったんだよ。学習にかかる時間も、従来の拡散モデルの3分の1で済むようになった。

その可能性はあるね。特に、データが少ない時でも効率よく学習できるっていうデータ効率の良さも示されているから、特定の分野に特化したAIを作るのにも向いてるかもしれない。

まだ10億パラメータくらいの規模での実験だから、もっと巨大なモデルでどうなるかはこれからだね。あとは、並列で生成する時に『どのくらい一気に作るか』の調整がまだ難しいところかな。

それはAIの技術じゃなくて、君のやる気の問題でしょ。自分で書きなよ。