跳到正文

#部署/工程

今日 5 条
9月16日周三
  1. NVIDIA Blog67

    NVIDIA Vera Rubin NVL72 首次亮相 MLPerf Inference v6.1,吞吐量最高达 GB300 NVL72 的 3.7x

    NVIDIA Vera Rubin NVL72 在 MLPerf Inference v6.1 中首次提交预览结果,在 Qwen3-VL 上的吞吐量最高达到 GB300 NVL72 的 3.7x,在 DeepSeek-R1 上最高达到 2.5x。

    推荐理由:文章将 Vera Rubin NVL72 的模型吞吐、GB300 NVL72 的跨机架扩展效率与软件优化增益放在同一组 MLPerf 结果中,便于比较推理基础设施的长期经济性。

  2. NVIDIA Blog61

    Emerald AI、Google 与 NVIDIA 发起 AI Energy Management Alliance

    Emerald AI、Google 与 NVIDIA 宣布成立 AI Energy Management Alliance(AEMA),推动能够根据电网状况动态调整用电的数据中心。联盟将围绕响应速度、持续时间、可预测性和应急行为制定技术要求、性能指标与数据共享规范,并探索更快的 AI 基础设施并网路径。

    推荐理由:联盟把 AI 数据中心的电力灵活性转化为可衡量的接入要求,为开发者与电网运营方协作提供共同框架。

  3. NVIDIA Blog66

    NVIDIA 如何用 DSX 提升 AI 工厂每兆瓦产出

    NVIDIA介绍 DSX AI 工厂平台,通过动态功耗分配、工作负载调度和电网响应,在固定电力预算下提高 token 吞吐。Lambda 在 HGX B200 五机架、19 节点集群上实现了 24% 的集群 token 吞吐提升和 23% 的每瓦性能提升。

    推荐理由:文章将 DSX 的功耗调度、需求响应和 800V DC 架构放在同一套 AI 工厂框架中,并给出 Lambda 的吞吐与性能功耗数据。

9月11日周五
9月10日周四
  1. Hugging Face Blog75

    Hugging Face Jobs 上用 LoRA 实现无需 NCCL 的 Async GRPO

    Hugging Face 展示了在 Hugging Face Jobs 上运行 Async GRPO 的方案,用 LoRA adapter、Storage Bucket 和代理连接分离的训练 Job 与 vLLM Job,无需 NCCL 传输完整模型权重。

    推荐理由:文章把跨机器训练与推理的实现拆成可复用组件,并用指标定位瓶颈,给出从 3 h 27 min 降至 53 min 的调优路径。

9月9日周三
  1. Mistral AI69

    Mistral AI 如何用 AI 智能体现代化复杂遗留代码

    Mistral AI 协助一家欧洲能源运营商将40,000行 Fortran 77 迁移到 C++,目标系统是没有测试套件和集中式文档的物理密集型储层模拟器。团队先建立数值对齐测试框架并整理代码文档,再按模块组织规划、实现、测试和审查流程,由人工审核 PR;首个 sprint 覆盖了300,000行代码中的40,000行。

    推荐理由:文章把复杂遗留代码迁移拆成文档整理、数值对齐和分模块协作三步,呈现了 AI 智能体在人工审核下落地的具体路径。

9月3日周四
  1. Google DeepMind68

    Google推出 Fairwind Program,为政府和企业提供主动网络防御能力

    Google推出 Fairwind Program,向政府、Google Cloud 客户和可信网络安全伙伴限量开放网络防御能力。该计划将 Gemini 3.8 Flash Cyber 与 CodeMender 结合,用于自主发现、验证和修复漏洞,并在安全云环境中生成可部署补丁。计划已有超过 650 家合作伙伴参与,接入组织须限制使用人员并部署多因素认证等保护措施。

    推荐理由:原文说明了 Fairwind Program 的服务对象、核心工具与接入限制,便于理解其面向政府和企业的部署方式。

9月1日周二
  1. Hugging Face Blog76

    Hugging Face 发布 @huggingface/kernels 与 Fleet,推出 207 个 WebGPU Kernels

    Hugging Face 发布 JavaScript 库 @huggingface/kernels 和浏览器 GPU 基准测试套件 Fleet,并在 Hugging Face Hub 提供首批 207 个 WebGPU kernels。

    推荐理由:文章同时给出 207 个 kernel 的版本化组织方式、Fleet 众测机制和 ORT WebGPU 对比数据,便于理解浏览器推理性能优化的落地路径。

8月25日周二
  1. Mistral AI57

    Mistral 与 HUMAIN 宣布战略合作,推进沙特及中东主权 AI

    Mistral 与 HUMAIN 宣布战略合作,覆盖沙特及中东地区的 AI 基础设施、先进模型开发和 AI 解决方案部署。双方将探索利用 HUMAIN 的数据中心基础设施,并重点推进网络安全、语音及阿拉伯语 frontier models。此次合作金额为 hundreds of millions of Euros,双方还计划面向沙特受监管行业制定联合市场策略。

8月24日周一
8月21日周五
  1. Microsoft Research60

    Microsoft Research 发布 Skala 1.1,扩展 DFT 精度与软件集成

    Microsoft Research 发布 Skala 1.1,训练数据量达到上一版本的 2.5x,并在热化学、反应动力学和分子结构预测等任务中提升准确性。在 GMTKN55 的 55 个类别中,Skala 1.1 有 32 个类别获得最高排名,当前已集成到 CP2K,并正在接入 Psi4、FHI-aims、ORCA 和 VASP。

    推荐理由:文章将 Skala 1.1 的精度提升、2.5x 数据扩展与 CP2K 等软件集成放在一起,呈现其从模型改进走向科研工作流应用的路径。

8月20日周四
  1. Mistral AI78

    Mistral AI 发布 Agentic Search,提升复杂文档检索准确率并降低延迟

    Mistral AI 发布 Agentic Search,通过多步检索循环让 AI 系统搜索、打开、导航、读取并验证复杂文档中的信息。FinanceBench 上准确率从 26.7% 提升至 86%,OfficeQA Pro 上从 6.3% 提升至 51.9%,p90 延迟最高降低 39.6%,token 消耗最高减少三分之一。

    推荐理由:文章通过 FinanceBench 与 OfficeQA Pro 的对比,具体展示 Agentic Search 如何在复杂文档检索中兼顾准确率、延迟与 token 消耗。

8月18日周二
  1. Hugging Face Blog64

    相同集群利用率提升33个百分点:GPU 分配器改变的是调度顺序

    Dharma AI 构建约束感知 GPU 分配器,并在七个基准场景中与 FIFO 调度器比较;相同硬件和工作负载下,GPU 利用率最高提升33个百分点,优先级加权产出最高提升105.1%。分配器按实时需求曲线和批处理作业优先级规划整个调度周期,在64 GPUs、30 jobs的规模测试中以15 ms延迟带来15.9%的价值提升。

    推荐理由:文章用七个场景比较约束感知 GPU 分配器与 FIFO 调度器,展示同等硬件和工作负载下,调度顺序如何影响利用率与优先级加权产出。

8月11日周二
  1. Mistral AI75

    Mistral推出区域推理端点、优先级服务并接入第三方开放模型

    Mistral推出一般可用的 Regional Endpoints,支持客户选择在欧洲或美国运行推理,并在公开预览中提供带 uptime SLA 和自定义速率限制的 Priority Tier。平台还将接入第三方开放模型,首个为 Z.ai 的 GLM-5.2;同时,Mistral在欧洲组建长期算力联盟,通过 European Compute Units 提供多年基础设施访问。

    推荐理由:文章把区域合规、服务可靠性和模型选择放在同一平台框架中,具体呈现了企业获得统一基础设施的路径。

  2. Hugging Face Blog74

    NVIDIA Magpie TTS 多语言模型发布,支持 12 种语言与低延迟部署

    NVIDIA 发布 Magpie TTS Multilingual 开放权重模型,模型规模为 364M parameters,支持 12 种语言,并新增 Modern Standard Arabic、Korean 和 Brazilian Portuguese。

    推荐理由:文章将开放权重、12 种语言支持、NIM 部署和延迟数据放在同一框架中,便于评估多语言语音智能体的落地路径。

8月10日周一
8月6日周四
8月4日周二
7月30日周四
  1. Hugging Face Blog39

    GPU 管理:为什么闲置 GPU 是新的“停飞飞机”

    企业 AI 的下一项关键约束正从模型智能转向 GPU 利用率,闲置硬件持续产生成本却不带来计算产出。GPU 按日历小时承担融资、折旧、电力和冷却成本,产出则只在计算小时产生。企业自建 GPU 可把随 token 线性增长的 API 费用换成固定资本支出,但按峰值配置的集群仍可能因需求波动浪费容量。

7月29日周三
7月23日周四
7月16日周四
  1. Hugging Face Blog63

    Agent 中的模型路由看似简单,直到它变得复杂

    作者将 Agent 中的模型路由从分类问题转为同时优化成本、质量和延迟的系统优化问题。在 AppWorld Test Challenge 的 417 个任务中,使用同一 CodeAct agent 时,Claude Sonnet 4.6 总成本为 $79,而 GPT-4.1 为 $155,缓存读取价格差异是重要原因之一。

    推荐理由:文章用实测数据说明模型路由的真实成本受缓存、基础设施和治理约束共同影响,适合用于理解智能体路由的系统优化视角。

7月10日周五
  1. Hugging Face Blog73

    PyTorch 性能分析(第 3 部分):用 profiler 分析 Attention

    Hugging Face Blog 通过 profiler 分析 PyTorch 中的朴素 Attention、原地掩码操作和 SDPA 各后端,展示不同实现的 kernel 与 CPU、GPU 开销。

    推荐理由:文章通过逐层对比 profiler trace,解释 Attention 的 kernel、显存流量与 CPU 开销如何变化,为定位 GPU 性能瓶颈提供可复用的阅读方法。

7月8日周三
  1. Hugging Face Blog79

    Hugging Face transformers 建模后端实现 vLLM 原生推理速度

    Hugging Face 宣布 transformers 建模后端在 vLLM 中已能为多种 LLM 架构达到或超过自定义 vLLM 实现的吞吐速度。该后端在 Qwen3-4B、Qwen3-32B 和 Qwen3-235B-A22B-FP8 三种部署配置中均达到或超过原生实现速度,并可通过 `--model-impl transformers` 启用。

    推荐理由:文章通过 Qwen3 的 4B、32B 和 235B FP8 MoE 对比,说明该后端如何减少模型接入 vLLM 时的重复优化工作。

7月7日周二
  1. Hugging Face Blog80

    Hugging Face 发布 LeRobot v0.6.0,完善机器人学习闭环

    Hugging Face 发布 LeRobot v0.6.0,新增世界模型策略、奖励模型、六个仿真基准和 lerobot-rollout 部署 CLI。数据集支持深度、VLM 自动语言标注和自定义视频编码,数据加载最高提速约 2x;训练新增 FSDP 与 HF Jobs 云训练。

    推荐理由:LeRobot v0.6.0 将世界模型策略、奖励模型、统一评测和部署采集串成闭环,并补充数据处理与云训练能力,便于理解机器人学习工作流的变化。

7月6日周一
  1. Hugging Face Blog71

    Hugging Face Kernels 项目迎来重大更新

    Hugging Face 对 Kernels 项目进行了大幅重构,新增 Hub 的 kernel 仓库类型,并默认限制为可信发布者加载 kernel。项目加入代码签名支持,重构 kernels 与 kernel-builder CLI,还扩展了 Torch Stable ABI 和 Apache TVM FFI 支持。

    推荐理由:文章集中说明 Kernels 在安全机制、框架兼容和智能体开发流程上的改动,便于开发者判断其对自定义 kernel 构建与分发的实际帮助。

7月1日周三
  1. Hugging Face Blog70

    ScarfBench:面向企业 Java 框架迁移的 AI 智能体基准

    ScarfBench 是一个用于评估 AI 智能体执行企业 Java 跨框架迁移的开放基准,覆盖 Spring、Jakarta EE 和 Quarkus。基准包含 34 个应用、204 个迁移任务和约 151K 行代码,要求应用完成构建、部署并通过行为验证;当前最强智能体的行为成功率仍低于 10%。

    推荐理由:ScarfBench把企业 Java 框架迁移拆成构建、部署和行为验证,揭示编码智能体在可编译代码之外仍受配置与运行环境依赖影响。

6月29日周一
  1. Import AI51

    Import AI 463:ENPIRE探索机器人自我改进,ARGUS支撑10,000-GPU训练

    Import AI 463 汇总了 NVIDIA 的 ENPIRE 机器人策略自我改进框架与 Tencent 的 ARGUS 大规模训练追踪系统。ENPIRE通过环境重置、策略改进、机器人执行和演化四个模块开展闭环实验,报道中称其在部分现实灵巧操作任务上达到99%成功率;ARGUS已部署在超过10,000 GPUs的生产集群上运行六个月以上。

6月25日周四
  1. Google Research53

    Google Research 论文提出线性弹性缓存,降低 Spanner 缓存成本

    Google Research 在 CIDR 2025 论文中提出线性弹性缓存,将页面淘汰建模为 ski rental 问题,并根据实时负载动态调整缓存大小。在 Spanner 生产服务器的测试中,内存使用减少 15.5%,缓存未命中增加 5.5%,TCO 降低约 5%,实际 I/O 成本仅增加 0.5%。该方法使用轻量级决策树预测页面 TTL,缓存物理空间不足时仍由 LRU 管理。

6月24日周三
  1. Mistral AI76

    Mistral AI 为 Connectors 带来更多连接器控制能力

    Mistral AI 为 Connectors 新增工作区与组织级管理、带权限范围的 API keys、多账户连接器和 Connectors Debugger。Connectors in Vibe Code 已 GA,Connectors in Workflows 处于 Public Preview;目录现有超过 60 个集成,并支持自定义 MCP 连接器。

    推荐理由:这次更新集中说明了企业智能体接入外部系统所需的授权边界、自动化身份和故障定位能力,并列出各项功能的可用状态。

6月23日周二
  1. Mistral AI71

    Mistral AI 发布 Mistral OCR 4 文档解析模型

    Mistral AI 发布 Mistral OCR 4,支持 170 languages,并可返回 bounding boxes、区块类型和逐词 confidence scores。

    推荐理由:文章同时呈现了 Mistral OCR 4 的结构化解析能力、部署方式与成本,便于比较其在企业文档流程中的适用场景。