TL;DR
InferSliceは、通信事業者の地理分散GPUとネットワークを共有基盤にし、アプリのSLOに応じてLLM推論の配置・構成・スライスを選ぶ参照アーキテクチャです。JOINER WAN上では、SLO階層ごとに遅延・スループット特性が分かれ、重みストリーミングがスケールアウト時間を短縮しました。一方、DPは配置に鈍感だがメモリ制約、PPは近〜中距離の跨拠点に耐える一方、TPとPrefill/Decode分離は単一サブネット超で失敗しました。
既存手法との違い
提示本文では、既存システムとの同一条件での直接比較結果は明示されていません。設計比較として、既存のLLM servingは密結合データセンターの高帯域・低遅延インターコネクトを前提とし、地理分散・異種資源の協調支援が限定的とされています。LLM-Sliceは無線ネットワークスライスでLLM通信を差別化しますが、推論計算の配置・オーケストレーションが主眼ではありません。InferSliceは複数のテルコ拠点を共有推論基盤とし、SLOと計算・ネットワーク状態に基づいて配置と推論構成を選ぶ点が異なります。
使える条件
想定利用は、通信事業者が運営する地理分散拠点（中央局、地域データセンター、コア網拠点など）のGPU/ネットワークを共有し、TTFT/TPOTやスループットなどのSLOを持つ複数サービスを同一基盤で扱う場合です。前提として、汎用WANで専用AIインターコネクトやRDMAを仮定しません。構成要素はネットワークスライス、GPU分割、弾性配信、観測性、TP/PP/DP/Prefill-Decode分離です。評価はJOINER UK WAN上の複数都市・複数PoPで行われています。プロンプト長・出力長・負荷・GPU種類などの詳細条件は提示本文からは確認できず、商用網や他地域への適用可否は未知です。
限界と未検証の範囲
評価はJOINER上の汎用テルコWANで、専用AIファブリックなしで実施されています。TPとP/D分離は単一サブネットホップを超えると失敗、PPは近〜中距離の跨拠点まで、DPは配置に鈍感だがメモリ制約という境界が報告されています。これらは特定のモデル・GPU・負荷・ネットワーク条件に依存し、提示本文には数値や詳細条件がないため一般化できません。商用テルコ環境、他のWAN、多様なGPU、規制・セキュリティ、コスト、障害時挙動、SLO達成率の定量的一般化は未検証です。本記事は参照アーキテクチャの論文を解説するもので、実装や追試を行ったものではありません。
解説
ねえ智也、この「InferSlice」って論文、タイトルからして難しそう。通信事業者の広域網でLLM推論を支える設計ってこと？
そう。LLM推論が中央クラウドに集まると、データ主権やコンプライアンス、遠い場所の遅延、手元の計算資源を使えない問題がある。テルコの地理分散GPUとネットワークを共有基盤にしようって発想。
なるほど。でも普通のLLM servingフレームワークじゃダメなの？
既存は密結合データセンター前提で、高帯域・低遅延インターコネクトを当然視しがち。広域で異種GPUが混ざるテルコ網は前提が違う。InferSliceはSLOに応じて配置・構成・スライスを選ぶ参照アーキテクチャ。
SLOってTTFTとかTPOT？
そう。最初のトークンまでの時間と、出力トークン間の時間。対話なら両方大事。バッチならスループット重視とか、要求が違う。だから同じ基盤で複数サービスをSLO付きで扱う。
具体的には何を組み合わせるの？
ネットワークスライス、GPU分割、弾性配信、観測性。推論側はTP、PP、DP、Prefill/Decode分離を広域配置でどう扱えるか見る。JOINER UK WANの複数PoPで評価してる。
TPとPPとDPの違い、ざっくりでいい？
TPは層内の重みを分割して頻繁に集団通信。PPは層で分割して段間で活性を渡す。DPはモデル全体の複製で推論時同期なし。P/D分離はprefillとdecodeを分けてKVキャッシュを転送する。
広域だとどれが耐えるの？
論文の報告ではDPは配置に鈍感だけどメモリ制約。PPは近〜中距離の跨拠点には耐える。TPとP/D分離は単一サブネットホップを超えると失敗した。専用AIファブリックなしの汎用WANだから、この境界が大事。
スケールアウトの話もあったよね？
あった。SLO階層ごとに遅延・スループット特性が分かれ、重みストリーミングがスケールアウト時間を短縮した、という報告。ただ数値や詳細条件は提示本文からは確認できないから、そこは一般化しない。
既存手法との比較は？ LLM-Sliceとか？
同一条件での直接比較結果は本文では明示されていない。設計比較としては、LLM-Sliceは無線ネットワークスライスでLLM通信を差別化するけど、推論計算の配置・オーケストレーションが主眼ではない。InferSliceは計算とネットワークをまとめてSLO駆動で選ぶ点が違う。
使える前提は？
テルコが運営する地理分散拠点のGPUとネットワークを共有し、TTFT/TPOTやスループットのSLOを持つ複数サービスを同じ基盤で扱う想定。中央局、地域DC、コア網拠点みたいな場所。汎用WANで専用AIインターコネクトやRDMAは仮定しない。
じゃあ商用網で何でもOKってわけではないんだ。
そう。評価はJOINER上の汎用テルコWANで、特定のモデル・GPU・負荷・ネットワーク条件に依存する。商用テルコ環境、他のWAN、多様なGPU、規制・セキュリティ、コスト、障害時挙動、SLO達成率の定量的一般化は未検証。あとこの話は論文の解説で、実装や追試をしたわけじゃない。
なるほどね。SLOで配置を選ぶって、LLM版の「空いてる店舗に賢く振る」みたいな感じ？
例えとしては近いけど、店舗ごとに厨房の大きさも回線も違うし、料理の途中で材料を運ぶ必要もある。単なる振り分けではない。
広域テルコ網が接続だけでなくAI推論基盤になれる可能性があるってのは大きいね。でもTPとP/D分離はサブネットの壁に甘くない、と。
そう。そこが一番の学び。あと「店舗」の例えはちょっと雑。
じゃあ今日は「サブネットの壁は店舗の壁より厚い」って標語で覚えるね。
標語にするには雑すぎる。