AWS Machine Learning Blog· Sunita Nadampalli·· 1 小时前精选AI 评分70
AWS 介绍 vLLM 双向 KV transfer 如何降低多轮智能体工作负载 TTFT
Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM
AI 导读
AWS 介绍了 vLLM 中的双向 KV transfer，它让 prefill 节点复用 decode 节点跨轮次保留的 KV blocks，减少多轮智能体工作负载中的重复计算。
推荐理由
文章拆解了双向 KV transfer 在 P-D 部署中的路由、缓存保留与阈值机制，并用两种模型的实测数据说明长上下文下的 TTFT 变化。
来源：AWS Machine Learning Blog · aws.amazon.com