「みんなでシェア」がAIを加速させる！超小型コンピュータでも会話がスムーズに

ああ、その論文か。確かに面白い研究だよ。要するに、とても安くて性能が低いコンピュータ、例えばラズパイゼロみたいなものでも、AIを動かせるようにしようって話なんだ。

その通り。論文でも指摘されてるけど、単純な質問に答えるのに数十秒かかることもあるんだ。これじゃあ、会話するAIアシスタントみたいなのは実用的じゃないよね。

クラウドに任せると、プライバシーの問題や通信の遅延が気になるだろ？この研究の面白いところは、『みんなで協力して速くする』って発想なんだ。例えば、亜美さんのデバイスが最初に『今日の天気は？』ってプロンプトを処理したとする。その途中で計算した内部状態を、サーバーにキャッシュとして保存しておく。

AIがプロンプトを理解するために途中で作る、一種のメモみたいなものだと思って。で、次に僕のデバイスが全く同じ『今日の天気は？』って聞いたら、最初から計算し直さずに、亜美さんが作ったそのメモをサーバーからダウンロードして使うんだ。そうすれば、最初の部分の計算をスキップできるから、答えが速く出る。これが『プロンプトキャッシング』の基本だ。

鋭いね。そこで『部分一致』の出番だ。プロンプトは、『指示』『例文』『本題』みたいに構造化されてることが多い。例えば、『次の選択肢から答えを選んでください』っていう指示部分は同じで、その後の問題文だけが違う、みたいな。論文では、指示部分だけ一致してれば、その部分のキャッシュを使えるようにしてる。これでキャッシュがヒットする確率が上がるんだ。

まさにその問題を解決するために、『カタログ』って仕組みを作ったんだ。これは、サーバーにあるキャッシュの目次を、とてもコンパクトなデータ構造（Bloomフィルタ）で各デバイスに配っておくものなんだ。デバイスはまずこのローカルの目次を見て、キャッシュがあるかどうかを一瞬でチェックできる。なければ、最初から計算すればいい。これで無駄な通信を減らせる。

うん。ラズパイゼロ2Wで実験した結果、キャッシュが完全にヒットした場合、最初の単語が出るまでの時間が平均93%も短縮できた。最後の単語までの時間も約半分になった。これは画期的な数字だよ。

そうだね。プライバシーを守りながら、低コストのデバイスで実用的な速度のAIを実現できる可能性を開いた。例えば、家庭内の監視カメラがローカルで異常を検知して説明したり、ウェアラブル端末が個人の健康データを外に漏らさずに分析したり。そういう応用が現実的になる。

あるね。論文でも示されてるけど、デバイスの性能が高くなると、通信の時間が計算をスキップするメリットを上回っちゃう場合があるんだ。だから、今のところはラズパイゼロみたいな超低エンドデバイスでこそ真価を発揮する手法だ。あと、キャッシュを管理するサーバー自体のコストや、たくさんのデバイスが同時にアクセスした時の問題も、今後考えないといけない。

…それは、まず君がスマホを床に分散させないように気をつけることから始めたほうがいいんじゃないか？