prefillは計算律速で、decodeはメモリ律速なんだよ。同じGPUに同居させるとお互いに干渉するから、別のワーカープールに分けてKVキャッシュを転送する。

そう。論文のFigure 1では、TTFT/TPOTの目標によって集約と分離のどっちが勝つか変わるって示してる。ある目標だと集約が97%で分離が42%、別の目標だと集約7%で分離98%みたいに逆転する。

そういう問題設定。DolphinRoutingは、各リクエストをP/D分離構成のまま、ローカルprefill（集約）かリモートprefill（分離）のどっちかに振り分ける経路選択を扱ってる。

Dynamoはeffectiveな入力長とかprefill負荷のルールで決める。DolphinRoutingはrawプロンプト長、P側とD側それぞれのキャッシュ考慮後ISL、それに出力長も一緒に使ってクラスタを作り、クラスタごとに一つの二値決定を学習する。

同じリクエストでもprefillワーカーとdecodeワーカーで持ってるキャッシュの量が違うから、それぞれ生プロンプトからヒット分を引いた長さを別々に特徴量化する。それでキャッシュの非対称性を捉える。

オフラインで4つの特徴をlog(1+x)して標準化して、k-meansかGMMでK個にクラスタリング。各クラスタに集約か分離のどちらか一つの行動を割り当てる。

まずper-cluster scanningで、他のクラスタを固定して対象クラスタを集約で一定時間回して報酬、分離で回して報酬を測って初期化。その後ε-greedyで探索して仕上げる。報酬はend-to-endのSLO達成率。

そう。特徴抽出、クラスタ割当、表引きだけで経路が決まる。追加のコストモデル採点はしない。オンラインの出力長はClairvoyantっていうXGBoost分類器で短/中/長の粗い推定を使う。

実PD分離クラスタで、3つの公開ベンチマーク、混合ワークロード、実データ、2つのP/D割当。混合ワークロードではk-meansでDynamo比のP90 TTFTが7.5〜7.9%減、P90 TPOTが6.5〜10.1%減。実データではTTFTが5.7〜6.5%減、TPOTが2.6〜5.5%減。

TL;DRだと混合ワークロードと実データで、Dynamo比のP90 TTFTが5.7〜7.9%減、P90 TPOTが2.6〜10.1%減と報告されてる。ただ評価はあくまで提示された2つの割当の範囲。

キャッシュの非対称性を経路選択に直接結びつけて、しかもポリシー探索をオフラインに追い出して実行時は表引きだけにしたところ。スケジューリングやワーカー内実行はバックエンドに任せてる。

評価は2つのP/D割当と限られたベンチマークだから、他の割当やSLO目標、モデル、ハードウェアへの一般化は本文からは確認できない。出力長の推定誤差の影響も評価されてないし、SLOフィードバックは飽和負荷下で測られてるから非飽和時の挙動は不明。

そう。あとは実行時の特徴抽出・クラスタ割当・表引きのオーバーヘッドも定量化されてないって書いてある。

学食はSLOフィードバックを飽和負荷で測る前に、まず行列を減らして。

ああ、まさにそれ。パンドラの箱の問題をAIモデルのルーティングに応用した論文なんだ。

ここでは、箱を開ける＝高精度な評価をするってこと。評価にはコストがかかるから、全部のモデルを評価するのは大変なんだ。

そう。この論文では、評価コストを抑えつつ、全部評価したときと同じくらいの品質を保つルーティングを提案してる。

古典的なパンドラの箱問題では、各箱にコストと報酬の分布があって、開けるかどうかを最適化するんだ。それをモデル評価に応用してる。

評価コストを大幅に減らしても、全モデルを評価した場合と同等のルーティング品質を達成できたって。

うん、ただ制限もあるよ。例えば、モデルの性能分布が事前にわかってないと適用しにくいとか、評価のコストが一定でない場合には調整が必要かもしれない。

そうだね。ただ、パンドラの箱を開けすぎると、逆にコストがかさむから注意が必要だけど。

それだと結局開けてるのと同じだよ。

ああ、LLMの評価をするときに、複数の判定者を使うことがあるんだ。例えば、LLM自身に評価させたり、報酬モデル、安全性チェック用の分類器とかね。でも、全部の判定者を全部のサンプルに使うとコストがかかるし、無駄も多い。そこで、どの判定者をどのサンプルに使うか、いつ止めるかを自動で決める方法を提案してるんだ。

まず、少数のラベル付き監査データを使って、各判定者の役割を推定するんだ。役割は3つあって、『コピー』は他の判定者と同じ結果を出すから削除、『補完』は全体に追加、『専門家』は特定のスライス（部分集合）にだけルーティングする。そして、検証ゲインが閾値を下回ったら停止する。

監査データで各判定者の出力を比較して、他の判定者とほぼ同じならコピーとみなす。そうすると、冗長な判定者を省けるからコスト削減になる。

LLMの評価パイプライン全般に使えるよ。特に、複数の評価指標を組み合わせたいときや、コストを気にしながら品質を保ちたいとき。例えば、モデルの開発中に大量のサンプルを評価するときとかね。

そうだね。監査データの質に依存するし、役割の推定が正確でないと効果が薄れる。あと、判定者の数が少ないとコピーや専門家の分類が難しくなるかもしれない。

うん、興味があったら論文読んでみるといいよ。

はは、君はコピーじゃなくて専門家だよ。でも、その冗談はちょっと寒いな。

そうだよ、亜美さん。正確には、AIが回答を書き始める直前の「内部状態」を調べると、その後に正解するかどうかが予測できちゃうっていう研究なんだ。

まあ、そんな感じかな。AIが質問を読み終わった瞬間の「活性化値」っていう、人間でいう脳の電気信号みたいな数値を取り出すんだ。そこに「線形プローブ」っていう、特定の情報を探し出すための簡単なフィルターをかけるんだよ。

いい例えだね。その虫眼鏡を使うと、文字数とか単語の難しさみたいな表面的な情報よりも、ずっと正確に「あ、これ失敗するな」ってことが分かるんだ。しかも面白いことに、人間が難しいと思う問題と、AIが難しいと思う問題は違うらしいよ。

その通り。特に、AIがじっくり考えて答えを出す「推論型」のモデルになればなるほど、人間との感覚のズレが大きくなるんだ。でも、この「失敗予測」ができると、すごく実用的なメリットがあるんだよ。

……お昼寝はしないけど、似たようなもんだね。「ルーティング」って言って、簡単な問題は安くて速いAIに、難しそうな問題だけ高くて賢いAIに任せるっていう振り分けができるんだ。これで計算コストを最大70%も減らせたんだって。

ただ、課題もあるんだ。AIが長く考えれば考えるほど、実は生成前の状態から「正解できるか」を読み取るのが難しくなっちゃうんだよ。思考が複雑になりすぎて、最初の段階では結果が見えにくくなるのかもね。

今後は、どうすればもっと複雑な思考をするAIの失敗を事前に見抜けるか、っていう研究が進んでいくと思うよ。それができれば、もっと効率的にAIを使えるようになるはずだ。

いや、亜美さんは諦める前にちゃんと勉強してよ。