Latent Space· Latent Space·· 3 天前精选AI 评分82
DeepSeek 开源 DeepInfer 推理框架并披露 155T tokens/day 集群数据
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI 导读
DeepSeek 开源 DeepInfer 推理框架及 deepseek-recipe，用于 DeepSeek V4.1 Flash 的大规模推理服务。DeepSeek 报告单集群每天处理 155T tokens、输入缓存命中率为 96%，并称离峰价格下每张加速卡每小时收入为 $38；这些数据属于第一方生产声明，未经过独立审计。
推荐理由
原文将 DeepInfer 的开源范围、生产架构和缓存经济性放在一起比较，也明确区分了已公开组件与尚未释放的服务基础设施。
来源：Latent Space · latent.space