AWS 在 SageMaker AI 上用 vLLM-Omni 构建实时语音应用 第 1 部分
AWS 介绍如何在 SageMaker AI 上使用 AWS vLLM-Omni DLC 部署 Qwen3-TTS,让文本输入和音频输出通过同一条持久双向连接流式传输。教程提供 GitHub 示例、部署脚本和 Gradio 应用,音频以 24 kHz PCM 分块返回。示例使用 vLLM-Omni v1.5 DLC 与 SageMaker 实例池,并说明了部署、调用和清理端点的步骤。
推荐理由:文章以 Qwen3-TTS 为例展示从模型部署、双向流式传输到 Gradio 调用的完整路径,便于复用这一多模态推理方案。