跳到正文

全部动态

今日 2 条
今天10月1日周四
  1. AWS Machine Learning Blog71

    Amazon Bedrock Knowledge Bases 如何用自然语言查询理赔记录

    AWS 介绍如何用 Amazon Bedrock Knowledge Bases 和 Amazon S3 构建带引用的理赔问答助手,通过 AgenticRetrieveStream 处理多轮问题、多条件检索和流式回答。教程还演示了基于元数据的筛选、Amazon Bedrock Guardrails 的上下文接地检查,以及对合成数据集的检索和引用评估。

    推荐理由:文章以合成理赔数据演示从文档摄取、自然语言检索到引用和权限控制的完整实现路径,适合迁移到文档问答场景。

9月30日周三
  1. AWS Machine Learning Blog61

    Amazon Quick 提示词工程基础:从 CRISPE 框架到 RFI 自动化

    AWS 介绍 Amazon Quick 的提示词工程基础,涵盖具体化表达、上下文设定、少样本示例和 CRISPE 等结构化框架。文章还给出 RADAR、ARCHITECT、QUEST 等组件相关框架,并以 RFI 问卷处理 Flow 展示如何将多标签页 Excel 问题转换为结构化 CSV。

    推荐理由:文章将提示词具体化、上下文设定、少样本示例与 CRISPE 等框架整理为可复用方法,并用 RFI 自动化展示其落地方式。

  2. AWS Machine Learning Blog66

    用 Amazon Quick 和 Amazon Bedrock AgentCore 构建 AI 合同智能平台

    AWS 展示了一套基于 Amazon Quick 和 Amazon Bedrock AgentCore 的合同智能平台,将合同 PDF 转换为可查询的结构化数据,并支持组合分析与单份合同问答。

    推荐理由:文章展示了面向多文档聚合的可迁移架构,将结构化提取、独立模型校验与数据库分析结合,弥补单纯 RAG 的局限。

9月29日周二
  1. AWS Machine Learning Blog64

    AWS 在 SageMaker AI 上用 vLLM-Omni 构建实时语音应用 第 1 部分

    AWS 介绍如何在 SageMaker AI 上使用 AWS vLLM-Omni DLC 部署 Qwen3-TTS,让文本输入和音频输出通过同一条持久双向连接流式传输。教程提供 GitHub 示例、部署脚本和 Gradio 应用,音频以 24 kHz PCM 分块返回。示例使用 vLLM-Omni v1.5 DLC 与 SageMaker 实例池,并说明了部署、调用和清理端点的步骤。

    推荐理由:文章以 Qwen3-TTS 为例展示从模型部署、双向流式传输到 Gradio 调用的完整路径,便于复用这一多模态推理方案。

  2. AWS Machine Learning Blog62

    教程:AWS 在 SageMaker AI 上用 vLLM-Omni 生成图像并将其动画化为视频

    AWS 介绍如何在 Amazon SageMaker AI 上部署两个 vLLM-Omni 端点,将 FLUX.2-klein-4B 生成的图像传给 Wan2.1-VACE-1.3B,生成短视频。图像端点采用实时推理,视频端点采用异步推理,并通过 Amazon S3 传递 multipart 请求和获取 MP4 结果。文章还提供命令行与 Streamlit 示例、部署命令及清理脚本。

    推荐理由:文章把图像实时推理与视频异步推理串成可复用流程,并给出部署脚本、请求格式和清理步骤,便于理解两种响应模式的取舍。

9月28日周一
  1. AWS Machine Learning Blog62

    Amazon Textract 适配器跨账户生命周期管理实践

    AWS 介绍如何将 Amazon Textract Custom Queries 适配器纳入跨账户生产生命周期管理,覆盖创建、推广、路由与安全配置。文章比较跨账户复制和集中式 Hub 账户两种推广方案,并说明适配器复制只会转移训练模型权重,查询定义与训练数据需要单独维护。

    推荐理由:文章把跨账户推广、文档路由和生产安全拆成可实施的架构,并提供 CloudFormation、Terraform 与 CLI 示例,适合评估落地路径。

9月27日周日
9月26日周六
  1. GitHub Blog · AI & ML72

    GitHub Copilot app 初学者指南:如何用 canvases 构建自定义工作流

    GitHub Copilot app 的 canvases 可根据自然语言描述生成自定义界面,让用户与 Agent 共同操作看板、清单、表单或其他工作流。用户可在 Agent 会话中运行 `/create-canvas`,描述工作流、界面操作和 Agent 能力,系统会生成并打开对应界面。创建后的 canvas 可保存为扩展,供团队共享或个人重复使用。

    推荐理由:文章通过 /create-canvas 的具体流程,说明如何让用户与 Agent 共同维护可交互界面,并将其保存为团队或个人扩展。

  2. AWS Machine Learning Blog67

    NarrateAI:在 Amazon Bedrock 上构建生产级 LLM 质量保障

    AWS 介绍了运行在 Amazon Bedrock 上的 NarrateAI 质量保障架构,通过自适应流水线编排、跨账户多模型故障切换、实时流式评估、组合式评估和数据准确性核验,支持实时生成经过验证的回答。该系统在覆盖 4,000 多名用户的六个月部署中,响应约 13 秒开始流式输出,数值准确率达到 99.3%。

    推荐理由:文章把查询路由、跨账户多模型故障切换、流式评估与数值核验串成一条工程链,适合参考生产级 LLM 应用如何兼顾准确性、延迟和吞吐。

  3. AWS Machine Learning Blog66

    AWS 教程:在 Amazon SageMaker AI 上部署 Qwen3-TTS 实时声音克隆

    AWS 介绍了如何通过 Amazon SageMaker JumpStart,将公开可用的 Qwen3-TTS-12Hz-1.7B-Base 部署到 Amazon SageMaker AI 实时推理端点,实现基于短音频和文本转录的声音克隆。教程涵盖 24 GB NVIDIA L4 GPU 配置、跨语言声音克隆、请求调用以及 Amazon CloudWatch 监控。

    推荐理由:文章给出从 JumpStart 部署 Qwen3-TTS 并调用实时端点完成声音克隆的完整步骤,涵盖 GPU 内存配置和 CloudWatch 监控。

9月25日周五
  1. GitHub Blog · AI & ML75

    GitHub Copilot 中的 canvas:为什么聊天界面并不总是合适

    GitHub Copilot 应用中的 canvas 是运行在应用内、无浏览器界面的 full-stack app,可与 Agent 双向通信,让用户为具体任务生成定制界面。文章以 Connect 4、Winget、SQLite 和开发工作流为例,展示 canvas 如何支持游戏交互、本地包管理、数据库操作和流程自动化。

    推荐理由:文章通过 Connect 4、Winget、SQLite 和开发流程案例,说明 GitHub Copilot canvas 如何把智能体交互转成可操作的任务界面。

  2. GitHub Blog · AI & ML77

    GitHub Security Lab Taskflow Agent 实现 AI 驱动的 C/C++ 模糊测试

    基于 GitHub Security Lab Taskflow Agent 构建的 Fuzzing Taskflow,可为 C/C++ 项目自动完成入口识别、构建分析、harness 编写、AFL++ 运行、覆盖率改进、崩溃分诊和漏洞报告生成。

    推荐理由:文章具体拆解了 Fuzzing Taskflow 如何把 C/C++ 模糊测试中的 harness 编写、覆盖率反馈和崩溃分诊交给 LLM agent,并说明运行时的安全边界。

9月12日周六
  1. GitHub Blog · AI & ML74

    GitHub 如何用 GitHub Copilot 将活动运营代码化

    GitHub 日本和韩国市场的营销负责人使用 GitHub Copilot,将活动策划、报名筛选和会后跟进串成由 GitHub Issue 触发的自动化流程。GitHub Actions 负责创建落地页、生成 UTM 链接、处理名单和更新项目看板,GitHub Copilot skills 则以 SKILL.md 描述灵活的会后步骤。

    推荐理由:文章给出一套从 Issue 表单、标签和 Actions 到 SKILL.md 的营销自动化实践,展示如何在保留人工审批的同时减少跨工具重复操作。

9月11日周五
  1. GitHub Blog · AI & ML71

    GitHub Copilot 初学者指南:使用 diff、terminal 和 browser

    GitHub Copilot app 将 diff、terminal 和 browser 作为内置面板,让用户在同一处审查 Agent 的代码变更、运行项目命令并预览网站效果。用户可以通过 Pick & Polish 工具选择界面元素并让 Agent 调整,确认功能可用后直接接受变更并创建 pull request。

    推荐理由:文章把审查代码变更、运行命令和浏览器预览串成一套流程,帮助读者在接受 Agent 生成的代码前完成验证。

9月10日周四
  1. Hugging Face Blog75

    Hugging Face Jobs 上用 LoRA 实现无需 NCCL 的 Async GRPO

    Hugging Face 展示了在 Hugging Face Jobs 上运行 Async GRPO 的方案,用 LoRA adapter、Storage Bucket 和代理连接分离的训练 Job 与 vLLM Job,无需 NCCL 传输完整模型权重。

    推荐理由:文章把跨机器训练与推理的实现拆成可复用组件,并用指标定位瓶颈,给出从 3 h 27 min 降至 53 min 的调优路径。

9月9日周三
  1. Mistral AI69

    Mistral AI 如何用 AI 智能体现代化复杂遗留代码

    Mistral AI 协助一家欧洲能源运营商将40,000行 Fortran 77 迁移到 C++,目标系统是没有测试套件和集中式文档的物理密集型储层模拟器。团队先建立数值对齐测试框架并整理代码文档,再按模块组织规划、实现、测试和审查流程,由人工审核 PR;首个 sprint 覆盖了300,000行代码中的40,000行。

    推荐理由:文章把复杂遗留代码迁移拆成文档整理、数值对齐和分模块协作三步,呈现了 AI 智能体在人工审核下落地的具体路径。

9月4日周五
  1. GitHub Blog · AI & ML66

    GitHub Copilot 初学者指南:如何同时运行多个智能体

    GitHub Copilot app 支持通过彼此独立的 Agent session 同时运行多个任务,任务之间不会互相干扰。每个 session 使用独立的 Git worktree 并保留自己的上下文,用户可在 sessions view 中查看进度和结果。文章以添加 funded sort、进行无障碍检查和运行测试为例,展示并行处理方式。

    推荐理由:文章以 Git worktrees 和独立上下文为主线,说明如何在 GitHub Copilot app 中并行安排开发、无障碍检查与测试任务。

9月3日周四
  1. Hugging Face Blog60

    LFM2.5-350M 如何用 GRPO 提升结构化输出合规性

    Hugging Face Blog 给出使用 TRL 和 GRPO 微调 LFM2.5-350M 的公开流程,在约 500 个样本和 100 个训练步骤后,IFStruct 通过率从 22.6% 提升至 29.7%。该流程使用 LoRA 训练约 6M 参数,并在相同服务栈下比较基础模型与微调模型,JSON 通过率由 18.0% 提升至 31.9%,YAML 由 27.2% 变为 27.5%。

    推荐理由:文章给出基于 TRL 和 GRPO 的小模型结构化输出微调流程,并用同一 IFStruct 服务栈展示 22.6% 到 29.7% 的可复现实测变化。

8月26日周三
8月21日周五
8月18日周二
  1. Hugging Face Blog64

    相同集群利用率提升33个百分点:GPU 分配器改变的是调度顺序

    Dharma AI 构建约束感知 GPU 分配器,并在七个基准场景中与 FIFO 调度器比较;相同硬件和工作负载下,GPU 利用率最高提升33个百分点,优先级加权产出最高提升105.1%。分配器按实时需求曲线和批处理作业优先级规划整个调度周期,在64 GPUs、30 jobs的规模测试中以15 ms延迟带来15.9%的价值提升。

    推荐理由:文章用七个场景比较约束感知 GPU 分配器与 FIFO 调度器,展示同等硬件和工作负载下,调度顺序如何影响利用率与优先级加权产出。

8月14日周五
  1. Hugging Face Blog69

    用 Strands Agents、LeRobot 与 Hugging Face Storage Buckets 完成机器人数据记录、训练与部署

    Strands Robots 将机器人示范记录、同步、流式训练和策略部署串成一条数据闭环,数据全程保持 LeRobot 格式。教程展示了如何把数据同步到 Hugging Face Storage Bucket,通过 Xet 仅上传变化字节,并从 Hub 流式读取训练而不先完整下载;训练后的 checkpoint 可通过 mode="real" 部署回实体机器人。

    推荐理由:文章把机器人示范采集、数据同步、流式训练和策略部署串成一条可运行链路,展示了 Storage Buckets 如何减少重复传输。

7月16日周四
  1. Hugging Face Blog63

    Agent 中的模型路由看似简单,直到它变得复杂

    作者将 Agent 中的模型路由从分类问题转为同时优化成本、质量和延迟的系统优化问题。在 AppWorld Test Challenge 的 417 个任务中,使用同一 CodeAct agent 时,Claude Sonnet 4.6 总成本为 $79,而 GPT-4.1 为 $155,缓存读取价格差异是重要原因之一。

    推荐理由:文章用实测数据说明模型路由的真实成本受缓存、基础设施和治理约束共同影响,适合用于理解智能体路由的系统优化视角。

7月10日周五
  1. Hugging Face Blog73

    PyTorch 性能分析(第 3 部分):用 profiler 分析 Attention

    Hugging Face Blog 通过 profiler 分析 PyTorch 中的朴素 Attention、原地掩码操作和 SDPA 各后端,展示不同实现的 kernel 与 CPU、GPU 开销。

    推荐理由:文章通过逐层对比 profiler trace,解释 Attention 的 kernel、显存流量与 CPU 开销如何变化,为定位 GPU 性能瓶颈提供可复用的阅读方法。

7月6日周一
  1. Hugging Face Blog66

    PRX 第四部分:数据策略

    PRX 团队介绍了其图像生成模型的预训练数据流程:混合公共与内部数据集,使用 VLM 为图像生成长描述,并以 Lance 构建和探索数据、以 Mosaic Data Shards(MDS)供训练流式读取。团队在数亿级数据上采用 JPEG quality 92、分辨率与宽高比分桶、基于 caption 的过滤和感知哈希去重,并选择 Qwen3-VL-8B 作为 captioner。

    推荐理由:文章把 PRX 的大规模图像训练数据流程拆成可复用环节,覆盖数据探索、VLM 重标注、格式转换、过滤去重及工程取舍。

3月11日周三
  1. Mistral AI61

    Mistral AI 如何构建自动生成 Rails 测试的智能体

    Mistral AI 基于开源编码助手 Vibe 构建了一个自动生成和改进 Rails RSpec 测试的智能体,可读取源文件、执行测试并通过 RuboCop 和 SimpleCov 自我校正。该智能体处理了 275 个源文件,测试通过率和平均代码覆盖率均为 100%,RuboCop 违规数为 0,LLM-as-a-judge 得分为 0.74。

    推荐理由:文章拆解了用 AGENTS.md、分类技能和自定义工具约束智能体生成测试的做法,并给出真实代码库中的量化结果。

1月22日周四
  1. Mistral AI68

    Mistral AI 如何定位并修复 vLLM 的内存泄漏

    Mistral AI 定位了 vLLM 在启用 graph compilation 和 NIXL 的 Prefill/Decode disaggregated serving 中出现的内存泄漏,根因是 UCX 的 mmap hook 机制导致匿名内存持续增长。

    推荐理由:文章以真实的 vLLM 生产前测试故障为例,串联 Heaptrack、pmap、BPFtrace 和 GDB 的定位过程,并给出 UCX 配置层面的修复路径。

8月1日周五
4月9日周三
  1. Mistral AI61

    Mistral AI 介绍用 LLM 作为评审器评估 RAG 的方法

    Mistral AI 介绍一种用 LLM 作为评审器评估 RAG 系统的方法,采用 RAG Triad 检查上下文相关性、groundedness 和答案相关性。

    推荐理由:文章把 RAG 评估拆为上下文相关性、答案相关性和 groundedness,并结合结构化输出给出可复用的机器可读评分方案。

3月4日周二