AWS Machine Learning Blog· Ananth Raghavendra·· 3 小时前精选AI 评分73
AWS 使用 Ray LLM DLC 在 Amazon EKS 上部署多节点推理工作负载
Run multi-node inference workloads using Ray LLM Deep Learning Containers
AI 导读
AWS 介绍了如何使用 Ray LLM DLC 在 Amazon EKS 的两个 GPU 节点上部署单个大语言模型，并通过一个 OpenAI-compatible endpoint 提供服务。示例将 prefill 和 decode 分别部署到两个 g6.8xlarge 节点，通过 NIXL 和 EFA 传输 KV cache，配置使用 Qwen3.5-9B。
推荐理由
文章以可复现配置展示如何在 Amazon EKS 上拆分 prefill 与 decode，并说明 NIXL、EFA 和 Ray LLM DLC 如何协同完成多节点推理部署。
来源：AWS Machine Learning Blog · aws.amazon.com