跳到正文

#多模态

今日 0 条
9月29日周二
  2. Microsoft Research63

    Microsoft Research 推出 Quine 生物学 AI 研究系统

    Microsoft Research 推出 Quine，一套面向生物复杂性的多模态 AI 研究系统，连接生物学世界模型、科学工具、文献、湿实验与研究人员。与 Broad Institute 合作时，Quine 对数千种化合物进行排序，并在 PDAC 肿瘤细胞状态转换实验中验证了部分高排名候选物。Quine 目前仅用于研究，首批访问将通过 Quine Fellows 计划和部分研究合作提供。

    推荐理由：文章展示了 Quine 如何把生物多模态建模、科学工具与湿实验纳入迭代闭环，并以 PDAC 化合物筛选案例说明其研究用途。

  4. AWS Machine Learning Blog64

    AWS 在 SageMaker AI 上用 vLLM-Omni 构建实时语音应用 第 1 部分

    AWS 介绍如何在 SageMaker AI 上使用 AWS vLLM-Omni DLC 部署 Qwen3-TTS，让文本输入和音频输出通过同一条持久双向连接流式传输。教程提供 GitHub 示例、部署脚本和 Gradio 应用，音频以 24 kHz PCM 分块返回。示例使用 vLLM-Omni v1.5 DLC 与 SageMaker 实例池，并说明了部署、调用和清理端点的步骤。

    推荐理由：文章以 Qwen3-TTS 为例展示从模型部署、双向流式传输到 Gradio 调用的完整路径，便于复用这一多模态推理方案。

  5. AWS Machine Learning Blog62

    教程：AWS 在 SageMaker AI 上用 vLLM-Omni 生成图像并将其动画化为视频

    AWS 介绍如何在 Amazon SageMaker AI 上部署两个 vLLM-Omni 端点，将 FLUX.2-klein-4B 生成的图像传给 Wan2.1-VACE-1.3B，生成短视频。图像端点采用实时推理，视频端点采用异步推理，并通过 Amazon S3 传递 multipart 请求和获取 MP4 结果。文章还提供命令行与 Streamlit 示例、部署命令及清理脚本。

    推荐理由：文章把图像实时推理与视频异步推理串成可复用流程，并给出部署脚本、请求格式和清理步骤，便于理解两种响应模式的取舍。

9月26日周六
9月25日周五
  1. Google Research71

    Google Research 探索自动化连贯长视频生成

    Google Research 提出面向连贯长视频生成的 AI 视频协作导演体系，由 Co-Director、CANVAS、A²RD 和 VQQA 四个框架组成。

    推荐理由：这项研究把长视频生成拆解为故事规划、视觉记忆、时序扩展和提示词闭环修正四个环节，并给出对应框架与基准结果。

  2. Google DeepMind71

    Gemini 3.8 Live with Live Avatar 发布

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar，为企业对话式 AI 加入近实时视频生成、语音和动态视觉形象。

    推荐理由：文章集中说明 Live Avatar 的多模态交互、异步工具调用和 97 种语言支持，并交代 Gemini Enterprise 的使用入口与定制头像限制。

9月24日周四
9月23日周三
9月16日周三
  1. Google Research58

    Retrieve-for-Train 用离线强化学习加速复杂 AI 搜索

    Google Research 在 ICML 2026 论文中提出 Retrieve-for-Train，用离线强化学习生成与集合属性对齐的查询分解监督，再训练 53.9M-parameter 扩散检索器，在单次非自回归过程中生成完整目标集合。该方法在时延上相较自回归方法实现 12 to 20 speedup，并在大上下文批处理中将近 50 秒的自回归扇出延迟降至亚秒级到数秒。

9月10日周四
  1. Hugging Face Blog81

    Hugging Face 用 Gradio Workflow 重建 AUTOMATIC1111 的大部分功能

    Hugging Face 构建了 Workflow1111，用单一 Gradio Workflow 画布重建 AUTOMATIC1111 的大部分功能。该工作流包含 73 个节点和 11 条媒体处理管线，覆盖文生图、图生图、检测、放大、背景移除和图生视频等任务。画布输出可自动成为 REST endpoint 和 MCP 工具，用户还能复制 Space 后替换模型、删除节点或重新连接流程。

    推荐理由：文章通过一个可复制和改造的案例，展示 Gradio Workflow 如何把多模型、多模态流程连接为可在浏览器和 MCP 中调用的工作流。

9月3日周四
  2. Hugging Face Blog68

    H Company 发布 NeoMME 多模态多语言编码器

    H Company 发布 NeoMME 多模态多语言编码器，提供 260M 和 800M 两种规模，并从头训练单一双向 Transformer 处理文本与原始图像块。

    推荐理由：文章系统说明了 NeoMME 的单 Transformer 架构、检索性能与压缩方案，便于评估多模态文档检索在速度、质量和存储之间的取舍。

9月2日周三
8月28日周五
  1. Google Research69

    Google Research 推出 planetary prediction engine，自动完成地理空间建模

    Google Research 发布实验性 planetary prediction engine（PPE），可根据自然语言查询自主完成地理空间数据发现、清理、特征工程、模型训练与评估。

    推荐理由：文章展示了 PPE 如何把地理空间数据发现、特征工程和模型评估串成自主流程，并用多个公共健康与人道主义任务给出量化对比。

8月26日周三
8月18日周二
8月17日周一
  1. Google Research63

    Google Research 提出 PhotoScan 用智能手机图像估计心脏代谢风险

    Google Research 介绍 PhotoScan，一种从标准 2D 智能手机照片估计体脂率、A/G 比和 V/S 比的深度学习框架。模型使用 UK Biobank 的 35,323 条记录预训练，并在 677 名成人数据上微调，在 132 人的独立验证队列中评估。

    推荐理由：文章比较了 PhotoScan、BIA 与 DXA 在体成分估计和胰岛素抵抗分类上的表现，呈现了智能手机图像的应用边界。

8月13日周四
  2. Microsoft Research66

    MindTopo 基准揭示 VLM 的拓扑空间推理能力

    Microsoft Research 团队提出 MindTopo 基准，评估多模态大语言模型对连续性、分离、顺序、包围和打结五类拓扑关系的理解。基准同时测试静态场景推理与交互规划，结果显示模型在静态识别上的表现普遍优于需要通过连续动作维持或改变拓扑关系的规划任务。错误通常出现在规划阶段，模型会丢失结构关系或提出违反环境物理约束的动作。

    推荐理由：MindTopo 将静态拓扑识别与交互规划放在同一基准中比较，帮助定位多模态模型从感知到行动的能力断点。

8月12日周三
  3. Microsoft Research65

    Microsoft Research 发布 CARE-X 胸部 X 光 VLM 研究模型

    Microsoft Research 介绍 CARE-X，一款结合报告生成、结构化预测、辅助监督和 DAPO 强化学习的胸部 X 光 VLM。CARE-X 在多项报告生成、问答、定位和分类任务上进行评估；独立实验还将 Qwen3-VL-4B-Instruct 与确定性测量工具结合，在五类测量依赖条件上的平均 F1 提升 43.6 个百分点。

    推荐理由：文章展示了如何将生成、结构化预测与确定性测量工具结合，用于提升胸部 X 光任务中的定位、分类和定量判断能力。

8月10日周一
  1. Hugging Face Blog88

    Meta 发布 Muse Glimmer 30B 开源多模态模型

    Meta 发布 Muse Glimmer 30B，这是一款面向本地智能体场景的开源多模态模型，采用 Apache 2.0 许可，并支持图像、视频和多模态工具调用。模型已获得 transformers、llama.cpp、vLLM 和 Inference Endpoints 的 day-0 支持，还提供 DFlash speculative decoding 和微调示例。

    推荐理由：文章既交代 Muse Glimmer 的 30B 架构与开源许可，也提供本地部署、推理加速和智能体接入的可复用路径。

8月4日周二
7月30日周四
7月28日周二
  1. Google DeepMind79

    Google DeepMind 发布 Gemini Robotics 2，支持全身控制与多机器人协作

    Google DeepMind 发布 Gemini Robotics 2，通过 Gemini Robotics 2、Gemini Robotics ER 2 和 Gemini Robotics On-Device 2，支持人形机器人全身控制、灵巧操作、多步骤推理与多机器人协作。

    推荐理由：原文系统梳理了 Gemini Robotics 2 的三类模型分工、机器人适配方式与安全机制，便于理解其从单机控制走向协作任务的技术路径。

7月23日周四
7月21日周二
  1. Google DeepMind86

    Google DeepMind 发布 Gemini 3.6 Flash、3.5 Flash-Lite 和 3.5 Flash Cyber

    Google DeepMind 发布 Gemini 3.6 Flash、Gemini 3.5 Flash-Lite 和 Gemini 3.5 Flash Cyber，分别面向通用智能体、低延迟高吞吐任务及网络安全。

    推荐理由：文章将三款模型的定位、速度与价格放在同一发布中说明，并交代 Gemini 3.5 Flash Cyber 的受限部署方式，便于比较不同智能体工作负载的选择。

7月16日周四
7月15日周三
7月9日周四
7月7日周二
  1. Hugging Face Blog80

    Hugging Face 发布 LeRobot v0.6.0，完善机器人学习闭环

    Hugging Face 发布 LeRobot v0.6.0，新增世界模型策略、奖励模型、六个仿真基准和 lerobot-rollout 部署 CLI。数据集支持深度、VLM 自动语言标注和自定义视频编码，数据加载最高提速约 2x；训练新增 FSDP 与 HF Jobs 云训练。

    推荐理由：LeRobot v0.6.0 将世界模型策略、奖励模型、统一评测和部署采集串成闭环，并补充数据处理与云训练能力，便于理解机器人学习工作流的变化。

7月1日周三
  1. Hugging Face Blog69

    Hugging Face 与 Cerebras 将 Gemma 4 用于实时语音 AI

    Hugging Face 与 Cerebras 展示了将 Gemma 4 31B 用于实时语音到语音系统的方案。该开放管线依次使用 Nvidia 的 Parakeet 进行语音识别、在 Cerebras 上运行 Gemma 4 VLM 推理，并通过 Qwen3TTS 生成语音。相关架构已用于 Reachy Mini 机器人，配套代码仓库为 huggingface/speech-to-speech。

    推荐理由：文章拆解了实时语音到语音管线的模块构成与协作方式，开发者可据此了解低延迟架构的实现路径和代码入口。

6月13日周六
  1. Google Research67

    Google Research 研究 AI 如何帮助用户理解皮肤状况

    Google Research 分享多项关于 AI 辅助理解皮肤状况的研究，发现 AI 工具将条件名称猜测准确率从标准搜索的 8% 提高到 23%。在 2,345 名参与者的研究中，AI 对后续医疗步骤判断没有显著改善；另一项涉及 110 名参与者的真实场景研究显示，参与者命名条件的能力提高 260%，临床医生认为应用预测与自身评估一致的比例为 86%。

    推荐理由：研究同时考察了皮肤状况识别和后续决策，呈现视觉匹配能带来的帮助及医疗建议场景中的局限。

6月9日周二
  1. Google DeepMind81

    Google DeepMind 发布 Gemma 4 12B 统一无编码器多模态模型

    Google DeepMind 发布 Gemma 4 12B，这是一款面向笔记本本地运行的统一无编码器多模态模型，支持原生音频输入，并提供多步推理和智能体工作流能力。该模型在标准基准上的表现接近 26B MoE 模型，支持使用 16GB 内存本地运行，并以 Apache 2.0 许可证发布。

    推荐理由：文章从架构、资源占用和本地部署入口三个层面，说明 Gemma 4 12B 如何将多模态智能带到消费级笔记本。