AWS Machine Learning Blog· Sunita Nadampalli·· 4 小时前AI 评分44
Push-based KV transfer 改善 vLLM 分离式推理的 TTFT 与 TPOT
Push-based KV transfer to improve TTFT and TPOT for disaggregated inference in vLLM
AI 导读
vLLM 引入 push-based NIXL connector，在 P5en EFA 的 1P1D 部署上相较 pull 模式为 Qwen3-32B 带来最高 3x 的 TTFT 提升和 30% 的 TPOT 提升。
来源：AWS Machine Learning Blog · aws.amazon.com