AWS Machine Learning Blog· Shantanu Tripathi·· 3 小时前精选AI 评分77
Amazon SageMaker AI Inference 支持 NVIDIA Multi-Instance GPU 分区
SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints
AI 导读
Amazon SageMaker AI Inference 支持通过 NVIDIA MIG 将 P4d、P5、G7 和 G7e GPU 划分为硬件隔离的分区，并分配给 inference components。
推荐理由
文章同时给出 API 配置、实例支持范围与基准测试，帮助读者按模型的计算、显存和流量需求选择分区规格。
来源：AWS Machine Learning Blog · aws.amazon.com