タグ: ルーティング

DolphinRoutingは、PD分離LLM配信で各要求をプロンプト長・P/D両側のキャッシュ考慮後入力長・出力長でクラスタリングし、クラスタごとにローカル事前計算（集約）かリモート事前計算（分離）かをSLOフィードバックから学習する。実行時は特徴抽出・クラスタ割当・表引きのみ。