ポップコーンじゃないよ。これは「Partition-guided Online Pruning」の略で、AIの推論を効率化する技術の話だね。

例えとしては合ってる。AIのモデルは巨大すぎて動かすのに時間がかかるから、計算にあまり使われていない「無駄な部分」を削って速くするんだ。それを構造的剪定（ストラクチャラル・プルーニング）って呼ぶんだよ。

そこがこの論文のポイントなんだ。今までの手法は、推論を始める前に「ここを切る」って固定しちゃうものが多かった。でも、AIが文章を作っている最中って、その時々の言葉（文脈）によって大事な場所が変わるんだよ。

そう。このPOPは、推論の途中で「オンライン」で動的に切る場所を変える。しかも、計算が重くならないように工夫されているんだ。

POPは、モデルの通り道を3つのエリアに分けるんだ。「絶対使うエリア（保持）」、「たぶん使わないエリア（削除）」、そして「状況に応じて使うか決めるエリア（候補）」の3つだね。

……。最初の入力（プリフィリング）の時に、ざっくりとこの3つのエリアを決める。で、実際に1文字ずつ文字を作っていく（デコーディング）時に、「候補」エリアの中からその瞬間に必要な分だけをサッと選ぶんだ。全部をチェックし直すと遅くなるけど、この「候補」だけに絞るから速いんだよ。

実験では、Llama2-7Bっていう有名なモデルで、精度をほとんど落とさずに1.29倍も速くなったらしい。しかも、事前の特別な訓練もいらないから、いろんなAIにすぐ使える「プラグアンドプレイ」なのも強みだね。

スマホとかの性能が低いデバイスでも、巨大なAIがサクサク動くようになるかもしれない。ただ、今はまだ特定の計算ブロック（FFN）が中心だから、今後はモデル全体をもっと効率よく削る研究が必要になるだろうね。

亜美さんの場合は、まず「削除」エリアが多すぎるのをなんとかしないとね。