TL;DR

本論文は、再起動・改変できない稼働中PyTorch/CUDAプロセスに非改変デバッガを接続し、割当ログから残差ストリームを盲目的に選んでVRAMのバイトを読む手法を示す。33モデル・9アーキテクチャでバイト一致を確認し、回復状態への線形プローブで拒否/従順をAUROC 0.88(held-out)で判別した。ただし対象は小規模デコーダ専用モデル・バッチ1中心で、46〜192倍の遅延や未対応プラットフォームなど制約が明示されている。

既存手法との違い

原論文は、既存のMLメモリフォレンジックがモデル重みやプロンプトログなど静的成果物を対象にし、GPU残留データ研究も別プロセスの残存や越境漏えいを扱う点を対比する。サービング漏えい研究もプロンプト抽出やタイミング側路が中心で、リクエスト実行中の層ごとの隠れ状態そのものは対象外とされる。手法上は、対象を改変するフックが簡便で高速な一方、本手法はptraceとCUDAデバッガで非改変観測し、制御実験ではフック参照とバイト一致で検証する。代替のライブ取得手法との性能比較は提示本文からは確認できない。

使える条件

前提はローカルでptrace可能な権限、CUDAデバッガ、PyTorchのアロケータ、デコーダ専用モデル(最大3.4B、加えて4bit重みの7Bを1例)、バッチサイズ1。評価は単一のNVIDIA RTX 2080 Max-Q 8GB(sm_75)、CUDA 13.0、PyTorch 2.13.0、cuda-gdb 13.0、vLLM 0.32.0、SGLang 0.5.23で、HF静的KVキャッシュ、vLLM eager/compile+graphs、llama.cpp CUDA、SGLang(Triton attention・radix cache off)など名称付き環境。元プロンプト・応答・モデル同一性・重み・アーキテクチャパラメータは不要とされるが、最終行の切り出しとプローブ適用にはhidden sizeが必要。これ以外の条件は未検証。

限界と未検証の範囲

・ゼロ知識取得や任意モデルへの適用を主張しない。・盲目的セレクタは初期失敗後に2回改訂されている。・HF既定の成長KVキャッシュのdecodeは0/8でアダプタなし、name-free content ruleは開発ゲート失敗、vLLM prefillは最終層を主張せず、SGLang decodeはLlama-3.2-1Bでトークン数誤りなど失敗が報告される。・TensorRT-LLM、TGI、他GPUは未テスト。・デバッガ停止による46〜192倍の遅延、カーネル起動クロックはタイミング主張なし。・回復状態の検証は制御実験のフック参照に限定され、意味内容や意図の結論は範囲外。・拒否プローブは既知の解釈可能性特性の再現であり、新しい解釈知見ではない。

図1: 提案手法の概要(本記事による図解)

本図は、非改変GPUプロセスへのデバッガ接続、割当/起動クロックによるイベント取得、盲目的な残差ストリーム選択、VRAM読取、線形プローブ適用の関係を簡略化して示す(プラットフォーム別アダプタや失敗条件は省略)。
本図は、非改変GPUプロセスへのデバッガ接続、割当/起動クロックによるイベント取得、盲目的な残差ストリーム選択、VRAM読取、線形プローブ適用の関係を簡略化して示す(プラットフォーム別アダプタや失敗条件は省略)。

解説

AMI SURPRISED

ねえ智也くん、『稼働中GPUのライブ隠れ状態を非改変で取得して拒否判定に使う』って論文、なんかすごいタイトルだね。何がうれしいの?

TOMOYA EXPLAINING

ざっくり言うと、動いてるLLMの推論中の中間状態、残差ストリームを、プロセスを改変せずに読む話。デバッガで停止はするけど、対象には手を入れない。重みやプロンプトログみたいな静的物じゃなくて、そのリクエストでモデルが何したかの証拠になる。

AMI THINKING

既存のメモリフォレンジックは重みとかログが中心で、GPU残留も別プロセスの残りとか越境漏えいが中心なんだ?

TOMOYA EXPLAINING

そう。だから実行中の層ごとの隠れ状態は隙間。手法はptraceとCUDAデバッガを非改変でアタッチして、PyTorchアロケータのmalloc/freeログから残差ストリームを盲目的に選ぶ。読みは各テンソルの誕生1アロケーション後。

AMI SURPRISED

アーキテクチャも重みも知らないで?

TOMOYA EXPLAINING

識別はサイズ、寿命、周期の手がかりだけでやる。ただし最終行の切り出しとプローブ適用にはhidden sizeが要る。あと前提はローカルptrace権限、CUDAデバッガ、PyTorchアロケータ、デコーダ専用で最大3.4B、4bit重みの7Bが1例、バッチ1。

AMI UNDERSTOOD

評価は?

TOMOYA EXPLAINING

アロケータクロックの二段セレクタで33モデル・9アーキテクチャのバイト一致。vLLM eagerやkernel-launch系、llama.cpp、SGLangも表では成功と失敗が分かれてる。拒否判定は回収状態に線形プローブを当てて、held-out 142プロンプトでAUROC 0.88。

AMI HAPPY

へえ、回収した状態がそのまま下流解析に使えるってのが大きいね。

TOMOYA THINKING

意義は、再起動も改変もできない稼働サービスから、リクエスト単位の運用挙動を調べる新しい証拠源を作ったこと。ただ拒否プローブ自体は既知の解釈可能性の再現で、新しい解釈知見ではない。

AMI SAD

制約もけっこうきつそう。

TOMOYA EXPLAINING

かなり明示的。HF既定の成長KVキャッシュのdecodeは0/8、vLLM prefillは最終層を主張しない、SGLang decodeはLlama-3.2-1Bでトークン数誤り。TensorRT-LLMやTGI、他GPUは未テスト。デバッガ停止で46〜192倍遅い。ゼロ知識取得や任意モデル適用も主張しない。

AMI THINKING

ライブ取得の代替手法との性能比較は?

TOMOYA NEUTRAL

提示本文からは確認できない。比較は静的成果物中心の既存研究や、フック参照とのバイト一致検証が中心。

AMI SMILE

なるほどね。じゃあ私の『今日はやる気ある』状態も残差ストリームから読めたりして?

TOMOYA NEUTRAL

無理。デバッガを止めても、やる気はアロケーションされてない。