いや、遊びじゃないよ。これはAIのモデルを「パズルのピース」みたいに組み替えて、賢さを保ったままスピードを速くする技術のことだね。

最近の「推論が得意なAI」は、答えを出す前にすごく長く考えるんだ。その分、計算に時間がかかるし、お金もたくさんかかる。だから、中身をスリムにして効率よく動かす必要があるんだよ。

主に2つの方法を使っているよ。1つは「MoE（混合専門家）」っていう仕組みの整理。これは、たくさんの専門家AIが詰まっている構造なんだけど、あまり仕事をしていない専門家をクビにするんだ。これを「専門家剪定」と呼ぶよ。

もう1つは「ウィンドウ・アテンション」の導入だね。AIは過去の会話を全部覚えようとするとメモリを使いすぎる。だから、一部の場所では「直近の会話だけ見ればいいよ」っていう設定に変えて、メモリを節約するんだ。

……亜美さんの場合はただの物忘れだけどね。AIの場合は、どの部分を忘れさせていいかを「Puzzle」っていう手法で賢く選ぶのがポイントなんだ。全部忘れちゃうとバカになっちゃうからね。

そこがこの論文のすごいところで、削った後に「知識蒸留」っていう方法で元の賢いモデルから教え直したり、強化学習をしたりして、精度を元通り……どころか、少し向上させているんだよ。

NVIDIAのH100っていう高性能なチップ1枚で動かしたとき、元のモデルより2.8倍も速くなったんだ。しかも、長い文章を扱うときでもスピードが落ちにくい工夫もされているよ。

例えが微妙だけど、まあ効率が劇的に上がるのは確かだね。これからは、ただ賢いだけじゃなくて、こういう「いかに安く速く動かすか」っていう研究がもっと重要になってくると思うよ。

そうだね。ただ、まだ課題もあって、どの部分を削るのがベストかを決める計算自体に結構時間がかかるんだ。今後はもっと手軽に最適化できる手法が必要になるだろうね。

余計なお世話だよ。僕の脳の専門家は全員フル稼働してるから、削る余裕なんてないんだ。

ああ、これは画像生成AI、いわゆる拡散モデルをめちゃくちゃ速く動かすためのコードを、AIに自動で作らせようっていう研究だよ。

例えは悪くないな。拡散モデルって、綺麗な画像を作るために何回も計算を繰り返すから、どうしても時間がかかるんだ。それを速くする手法はたくさんあるんだけど、組み合わせが複雑すぎて人間がやるのは大変なんだよ。

……まあ、そんなところだ。そこでこの論文では、まず「DiffBench」っていうテストセットを作ったんだ。AIがどれだけ上手に高速化コードを書けるか、5段階のレベルで試すためのものだよ。

レベル5は「画質を落とさずに、特定のハードウェアで指定された時間内に生成を終わらせろ」っていう、かなり厳しい制約がある問題だね。これを解くために開発されたのが「DiffAgent」なんだ。

まず「計画」を立てて、次に「コード」を書いて、動かなかったら「デバッグ」する。さらに面白いのが、遺伝的アルゴリズムを使っているところだ。色んな設定を試して、成績が良いものを生き残らせて改良していくんだよ。

GPT-4とかの最新AIをそのまま使うより、50%以上も高いスコアを出したんだ。つまり、ただコードを書くだけじゃなくて、実行結果を見て反省して調整する仕組みがすごく効いてるってことだね。

将来目的にはそうなるだろうね。専門知識がなくても、AIに「速くして」って頼むだけで最適化されたプログラムが手に入るようになる。ただ、まだ課題もあって、今は画像生成がメインだけど、動画生成とかもっと重い処理への応用はこれからだね。

それはただの代行だろ。自分の頭を「高速化」する努力をしろよ。