おしゃべりの「文字」に合わせる新技術！無駄を削って賢くなるAI音声トークナイザー

ああ、それはDyCASTっていう新しい音声トークナイザーの論文だね。簡単に言うと、音声をAIが扱いやすい「トークン」っていう断片に分ける時に、今までみたいに一定の間隔で切るのをやめようっていう話だよ。

例えば、沈黙している時間も、すごく早口で喋っている時間も、全部同じ長さで区切ってデータにしていたんだ。それだと、沈黙なのに無駄にデータ量が増えたり、逆に複雑な音が詰まっている場所の情報が足りなくなったりするんだよね。

……例えはちょっと独特だけど、まあ効率化するって意味では合ってるよ。この論文では、その区切りを「文字（キャラクター）」の長さに合わせることで、より自然で効率的なデータ表現を目指しているんだ。

そう。DyCASTには主に2つの賢い仕組みがあるんだ。まず1つ目が「境界予測器（Boundary Predictor）」。これは、音声の波形を見て「ここで文字が切り替わるはずだ！」っていう境界線を予測するんだ。ハザードモデルっていう統計的な手法を使って、次の境界がいつ来るかを確率的に計算しているよ。

鋭いね。そこで2つ目の仕組み、「持続時間予測器（Duration Predictor）」の出番だ。これは、トークンから音声を復元する時に、それぞれの文字がどれくらいの長さだったかを予測して、元のリズムを再現する役割を持っているんだよ。

さらにこの論文では「検索拡張デコーディング（RAD）」っていう隠し玉も使っている。これは、少ない情報で音を復元する時に、あらかじめ用意しておいた高品質な音のデータベースから似た音を探してきて補う仕組みなんだ。これで、データ量を減らしても音質が落ちないようにしているんだよ。

実験では、従来の固定間隔のやり方と比べて、トークンの数を大幅に減らしても、音声の復元クオリティがほとんど落ちなかったんだ。具体的には、1秒間に6個から18個くらいのトークンだけで、もっと多くのトークンを使う従来手法に匹敵する性能を出せたらしいよ。

音声とテキストが文字レベルで最初から結びついているから、音声認識や音声合成の精度がもっと上がる可能性がある。それに、データが軽いから、スマホとかでもサクサク動く高性能な音声AIが作れるようになるかもしれないね。

課題としては、文字レベルの細かい情報を削りすぎると、話し手の感情とか部屋の響きみたいな細かいニュアンスを再現するのが難しくなる点かな。RADで補ってはいるけど、まだ完璧じゃない。今後は、もっと少ないデータでどうやって豊かな表現を残すかが研究の方向性になるだろうね。

……気のせいだよ。君の脳内は常に「固定フレーム」で、お花畑が広がってるだけだと思うけど。