AWS Machine Learning Blog· Sunita Koppar·· 3 小时前AI 评分38
在 EKS 上使用 Ray Train DLC 和 EFA 进行分布式训练
Distributed training with Ray Train DLCs and EFA on EKS
AI 导读
AWS 给出在 EKS 上使用 Ray Train DLC 和 EFA 进行分布式训练的示例,无需自行构建容器镜像。示例通过 PyTorch FSDP,在两台 g6.12xlarge 实例的 8 个 NVIDIA L4 GPU 上微调 Qwen2.5-1.5B。镜像公开可用,集成并测试了 CUDA、NCCL 和 EFA 通信栈,由 KubeRay 管理集群。
来源:AWS Machine Learning Blog · aws.amazon.com