解説ねえ智也くん、この論文のタ…
TL;DR
本論文は、データセンター内の光ファイバを遅延線メモリとして活用し、LLMの重みを光信号のまま全アクセラレータにブロードキャストする「Fiber Memory」アーキテクチャを提案。従来のHBM3eと比較し、重み配信エネルギーを70%以上削減可能。10,000台のAIアクセラレータで不要な重み複製を排除し、受動光タップとコパッケージドオプティクスにより低遅延・低消費電力を実現する。
解説
ねえ智也くん、この論文のタイトル見てびっくりしたんだけど、光ファイバをメモリとして使うってどういうこと？
ああ、Fiber Memoryっていう新しいアーキテクチャだよ。データセンターにある光ファイバそのものを遅延線メモリとして使うんだ。
遅延線メモリ？それって昔のコンピュータで使われてたやつだよね？なんでまたそんな古典的な方式を？
そう。でも現代の光通信技術と組み合わせると面白いんだ。LLMの推論って、重みをDRAMから読み込むのにすごいエネルギーを使うんだけど、光ファイバの中を光信号のまま重みをぐるぐる回せば、読み出しのエネルギーがほぼゼロになる。
なるほど！重みを光のままブロードキャストするってこと？でもそれって遅延が大きくならない？
そこが工夫してあって、受動光タップとコパッケージドオプティクスを使って低遅延を実現してる。10,000台のAIアクセラレータで重みの複製を完全に排除できるから、全体のエネルギーはHBM3eと比べて70%以上削減できる。
70%も！それはすごいね。でも評価実験ではどうやって測ったの？実際にデータセンターで試したの？
いや、シミュレーションだよ。光ファイバの長さやタップの数、アクセラレータの台数を変えてエネルギーとレイテンシを評価してる。特に重みの配信エネルギーが劇的に減ってて、スケーラビリティも高いって結果が出てる。
シミュレーションか…でも実際に作るとなると、光ファイバの長さとか、タップの精度とか、いろいろ課題がありそうだね。
そう。光信号の減衰やノイズの問題もあるし、既存のデータセンターのインフラを大きく変える必要がある。でも、DRAMの消費電力がボトルネックになってる今の状況を考えると、検討する価値はあると思う。
確かにね。でも光ファイバをメモリにするなんて、まるでSFみたい！次は光ファイバでお菓子も作れたりしてね。
それは無理だよ。光ファイバでお菓子は作れない。せいぜいデータを光速で運ぶだけだ。