AIの読解スピードが5倍に！？「下書き」と「添削」で爆速化する最新テクニック

ああ、これはAIに書類を読み取らせる「文書解析」をめちゃくちゃ速くする技術の話だよ。最近のAIは画像から文字や表を読み取るのが得意だけど、実はすごく時間がかかるんだ。

いや、今の主流のモデルは「自己回帰型」といって、1文字ずつ順番に生成していくんだ。長い書類だと、その分だけ時間がかかっちゃう。これを解決するのが「投機的デコーディング」っていう手法だよ。

投資じゃないよ。簡単に言うと「下書き」と「添削」だね。まず足の速い「下書き用の軽いモデル」にバーっと先の方まで予測させて、その後に「頭の良い重いモデル」が『うん、この下書きで合ってるよ』ってまとめてチェックするんだ。合ってれば一気に数文字分進めるから速くなる。

そこがこの論文の肝だね。文書には表とか図とか、複雑なレイアウトがあるだろ？だから2段階でチェックするんだ。まず第1段階では、ページをバラバラの「領域」に分けて、それぞれの場所ごとに並列で下書きと検証を行う。これが「ローカル検証」だ。

例えはともかく、その通り。でもバラバラにやると、ページ全体のつながりがおかしくなることがある。だから第2段階の「グローバル検証」で、ページ全体として正しいか、もう一度高性能なモデルがチェックして仕上げるんだ。この2段構えが「階層的」ってわけ。

鋭いね。下書きは既存の軽いツールを使うから、本番のVLMと出力形式がズレることがある。そこは「ウィンドウ整列」っていう技術を使って、多少のズレがあってもうまく照らし合わせられるように工夫してるんだよ。しかも、これのすごいところは「追加の学習がいらない」ことだ。

そう、プラグアンドプレイで導入できる。実験では、精度は全く落とさずに、速度だけを2.4倍から、長い文書なら最大4.9倍まで速くできたらしいよ。

……まあ、計算上はね。これがあれば、大量の書類をデータベース化する作業が劇的に効率化されるはずだよ。ただ、下書きモデルがあまりにデタラメだと、結局本番モデルが全部やり直しになっちゃうから、下書きの質には依存するけどね。

君の下書きは間違いが多すぎて、僕が最初から書いたほうが速いから却下。自分で勉強しなさい。