Mistral AI 如何定位并修复 vLLM 的内存泄漏
Mistral AI 定位了 vLLM 在启用 graph compilation 和 NIXL 的 Prefill/Decode disaggregated serving 中出现的内存泄漏,根因是 UCX 的 mmap hook 机制导致匿名内存持续增长。
推荐理由:文章以真实的 vLLM 生产前测试故障为例,串联 Heaptrack、pmap、BPFtrace 和 GDB 的定位过程,并给出 UCX 配置层面的修复路径。
拿来就能用的实操内容:提示词技巧、工作流搭建、工具用法与踩坑经验。
Mistral AI 定位了 vLLM 在启用 graph compilation 和 NIXL 的 Prefill/Decode disaggregated serving 中出现的内存泄漏,根因是 UCX 的 mmap hook 机制导致匿名内存持续增长。
推荐理由:文章以真实的 vLLM 生产前测试故障为例,串联 Heaptrack、pmap、BPFtrace 和 GDB 的定位过程,并给出 UCX 配置层面的修复路径。
Mistral AI 介绍一种用 LLM 作为评审器评估 RAG 系统的方法,采用 RAG Triad 检查上下文相关性、groundedness 和答案相关性。
推荐理由:文章把 RAG 评估拆为上下文相关性、答案相关性和 groundedness,并结合结构化输出给出可复用的机器可读评分方案。