跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

最新精选

第 21–40 条 · 共 71 条
9月22日周二
  1. NVIDIA Blog63

    NVIDIA为何强调物理 AI 规模化部署需要全层级安全

    NVIDIA指出,物理 AI 从研究走向大规模部署后,自动驾驶汽车和机器人需要在硬件、软件、AI 行为、运行环境及整个部署生命周期中持续满足安全要求。NVIDIA介绍了覆盖 AV 与机器人的 NVIDIA Halos 全栈安全系统,以及仿真、合成数据、运行时监控和第三方评估等安全基础设施。

    推荐理由:文章把物理 AI 的安全拆解到硬件、软件、AI 行为、运行环境和部署生命周期,并以 NVIDIA Halos 展示 AV 与机器人场景的工程化路径。

9月21日周一
9月17日周四
  1. GitHub Blog · AI & ML82

    GitHub Copilot 使用 Copilot 将运行时迁移至 Rust

    GitHub Copilot 团队使用 GitHub Copilot app 和 Copilot CLI,将 Copilot agent runtime 从 TypeScript 重写为超过 800,000 行生产 Rust,主要代码由 AI agents 编写,历经 128 个 pull requests,并在数月内由一名开发者主导完成。

    推荐理由:文章以 GitHub Copilot runtime 的 Rust 重写为案例,梳理渐进式迁移、跨语言互操作和人机协作中的具体做法。

9月16日周三
  1. NVIDIA Blog67

    NVIDIA Vera Rubin NVL72 首次亮相 MLPerf Inference v6.1,吞吐量最高达 GB300 NVL72 的 3.7x

    NVIDIA Vera Rubin NVL72 在 MLPerf Inference v6.1 中首次提交预览结果,在 Qwen3-VL 上的吞吐量最高达到 GB300 NVL72 的 3.7x,在 DeepSeek-R1 上最高达到 2.5x。

    推荐理由:文章将 Vera Rubin NVL72 的模型吞吐、GB300 NVL72 的跨机架扩展效率与软件优化增益放在同一组 MLPerf 结果中,便于比较推理基础设施的长期经济性。

  2. NVIDIA Blog61

    Emerald AI、Google 与 NVIDIA 发起 AI Energy Management Alliance

    Emerald AI、Google 与 NVIDIA 宣布成立 AI Energy Management Alliance(AEMA),推动能够根据电网状况动态调整用电的数据中心。联盟将围绕响应速度、持续时间、可预测性和应急行为制定技术要求、性能指标与数据共享规范,并探索更快的 AI 基础设施并网路径。

    推荐理由:联盟把 AI 数据中心的电力灵活性转化为可衡量的接入要求,为开发者与电网运营方协作提供共同框架。

  3. NVIDIA Blog66

    NVIDIA 如何用 DSX 提升 AI 工厂每兆瓦产出

    NVIDIA介绍 DSX AI 工厂平台,通过动态功耗分配、工作负载调度和电网响应,在固定电力预算下提高 token 吞吐。Lambda 在 HGX B200 五机架、19 节点集群上实现了 24% 的集群 token 吞吐提升和 23% 的每瓦性能提升。

    推荐理由:文章将 DSX 的功耗调度、需求响应和 800V DC 架构放在同一套 AI 工厂框架中,并给出 Lambda 的吞吐与性能功耗数据。

9月10日周四
  1. Hugging Face Blog75

    Hugging Face Jobs 上用 LoRA 实现无需 NCCL 的 Async GRPO

    Hugging Face 展示了在 Hugging Face Jobs 上运行 Async GRPO 的方案,用 LoRA adapter、Storage Bucket 和代理连接分离的训练 Job 与 vLLM Job,无需 NCCL 传输完整模型权重。

    推荐理由:文章把跨机器训练与推理的实现拆成可复用组件,并用指标定位瓶颈,给出从 3 h 27 min 降至 53 min 的调优路径。

9月9日周三
  1. Mistral AI69

    Mistral AI 如何用 AI 智能体现代化复杂遗留代码

    Mistral AI 协助一家欧洲能源运营商将40,000行 Fortran 77 迁移到 C++,目标系统是没有测试套件和集中式文档的物理密集型储层模拟器。团队先建立数值对齐测试框架并整理代码文档,再按模块组织规划、实现、测试和审查流程,由人工审核 PR;首个 sprint 覆盖了300,000行代码中的40,000行。

    推荐理由:文章把复杂遗留代码迁移拆成文档整理、数值对齐和分模块协作三步,呈现了 AI 智能体在人工审核下落地的具体路径。

9月3日周四
  1. Google DeepMind68

    Google推出 Fairwind Program,为政府和企业提供主动网络防御能力

    Google推出 Fairwind Program,向政府、Google Cloud 客户和可信网络安全伙伴限量开放网络防御能力。该计划将 Gemini 3.8 Flash Cyber 与 CodeMender 结合,用于自主发现、验证和修复漏洞,并在安全云环境中生成可部署补丁。计划已有超过 650 家合作伙伴参与,接入组织须限制使用人员并部署多因素认证等保护措施。

    推荐理由:原文说明了 Fairwind Program 的服务对象、核心工具与接入限制,便于理解其面向政府和企业的部署方式。

9月1日周二
  1. Hugging Face Blog76

    Hugging Face 发布 @huggingface/kernels 与 Fleet,推出 207 个 WebGPU Kernels

    Hugging Face 发布 JavaScript 库 @huggingface/kernels 和浏览器 GPU 基准测试套件 Fleet,并在 Hugging Face Hub 提供首批 207 个 WebGPU kernels。

    推荐理由:文章同时给出 207 个 kernel 的版本化组织方式、Fleet 众测机制和 ORT WebGPU 对比数据,便于理解浏览器推理性能优化的落地路径。

8月21日周五
  1. Microsoft Research60

    Microsoft Research 发布 Skala 1.1,扩展 DFT 精度与软件集成

    Microsoft Research 发布 Skala 1.1,训练数据量达到上一版本的 2.5x,并在热化学、反应动力学和分子结构预测等任务中提升准确性。在 GMTKN55 的 55 个类别中,Skala 1.1 有 32 个类别获得最高排名,当前已集成到 CP2K,并正在接入 Psi4、FHI-aims、ORCA 和 VASP。

    推荐理由:文章将 Skala 1.1 的精度提升、2.5x 数据扩展与 CP2K 等软件集成放在一起,呈现其从模型改进走向科研工作流应用的路径。

8月20日周四
  1. Mistral AI78

    Mistral AI 发布 Agentic Search,提升复杂文档检索准确率并降低延迟

    Mistral AI 发布 Agentic Search,通过多步检索循环让 AI 系统搜索、打开、导航、读取并验证复杂文档中的信息。FinanceBench 上准确率从 26.7% 提升至 86%,OfficeQA Pro 上从 6.3% 提升至 51.9%,p90 延迟最高降低 39.6%,token 消耗最高减少三分之一。

    推荐理由:文章通过 FinanceBench 与 OfficeQA Pro 的对比,具体展示 Agentic Search 如何在复杂文档检索中兼顾准确率、延迟与 token 消耗。

8月18日周二
  1. Hugging Face Blog64

    相同集群利用率提升33个百分点:GPU 分配器改变的是调度顺序

    Dharma AI 构建约束感知 GPU 分配器,并在七个基准场景中与 FIFO 调度器比较;相同硬件和工作负载下,GPU 利用率最高提升33个百分点,优先级加权产出最高提升105.1%。分配器按实时需求曲线和批处理作业优先级规划整个调度周期,在64 GPUs、30 jobs的规模测试中以15 ms延迟带来15.9%的价值提升。

    推荐理由:文章用七个场景比较约束感知 GPU 分配器与 FIFO 调度器,展示同等硬件和工作负载下,调度顺序如何影响利用率与优先级加权产出。

8月11日周二
  1. Mistral AI75

    Mistral推出区域推理端点、优先级服务并接入第三方开放模型

    Mistral推出一般可用的 Regional Endpoints,支持客户选择在欧洲或美国运行推理,并在公开预览中提供带 uptime SLA 和自定义速率限制的 Priority Tier。平台还将接入第三方开放模型,首个为 Z.ai 的 GLM-5.2;同时,Mistral在欧洲组建长期算力联盟,通过 European Compute Units 提供多年基础设施访问。

    推荐理由:文章把区域合规、服务可靠性和模型选择放在同一平台框架中,具体呈现了企业获得统一基础设施的路径。

  2. Hugging Face Blog74

    NVIDIA Magpie TTS 多语言模型发布,支持 12 种语言与低延迟部署

    NVIDIA 发布 Magpie TTS Multilingual 开放权重模型,模型规模为 364M parameters,支持 12 种语言,并新增 Modern Standard Arabic、Korean 和 Brazilian Portuguese。

    推荐理由:文章将开放权重、12 种语言支持、NIM 部署和延迟数据放在同一框架中,便于评估多语言语音智能体的落地路径。

8月10日周一
8月4日周二
7月29日周三