The Decoder· Matthias Bastian·· 2 小时前精选AI 评分77
DeepSeek 开源 DeepInfer 推理框架和 deepseek-recipe
Deepseek open-sources the inference engine that powers its fastest and cheapest AI model
AI 导读
DeepSeek 以 Apache License 2.0 开源内部推理框架 DeepInfer，用于支持 V4.1-Flash 模型的规模化推理。该框架基于 vLLM，加入优化计算内核、跨多芯片分布式处理和更快的文本生成技术。DeepSeek 还发布了 deepseek-recipe，以复现官方 DeepSeek API 的 token 处理方式，并表示未来模型的代码也将开源。
推荐理由
文章同时交代了 DeepInfer 与 vLLM、DeepSeek API 兼容方案的关系，便于理解自托管成本下降涉及哪些工程环节。
来源：The Decoder · the-decoder.com