跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

102条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 101–102 条 · 共 102 条
2月17日周一
  1. Mistral AI68

    Mistral Saba 发布,面向中东和南亚语言

    Mistral AI 发布 Mistral Saba,这是一款 24B 参数的区域语言模型,针对中东和南亚数据训练,支持阿拉伯语及多种印度源语言。模型可通过 API 使用,也能在客户本地的单 GPU 系统部署,响应速度超过 150 tokens per second,并可通过微调适配能源、金融市场和医疗等领域。

    推荐理由:文章同时交代了 Mistral Saba 的区域语言定位、部署方式和速度指标,便于评估其在本地化应用与企业私有部署中的适用场景。

1月30日周四