OpenAI 推出 MentalHealthBench：评估 AI 在心理健康对话中的帮助性与安全性
OpenAI 推出 MentalHealthBench，这是一个由专家提供指导的评测基准，用于评估 AI 在贴近现实的心理健康对话中生成回复的帮助性与安全性。该基准聚焦 AI 能否在相关场景下提供有帮助且安全的回应。
#评测/基准
#评测/基准
今日 0 条OpenAI NewsAI 评分3636
Hugging Face Blog精选AI 评分7474 Hugging Face 与 Voice Arena 为 Open ASR Leaderboard 加入 Hindi 和 Indian English 评测
Hugging Face 与 Voice Arena 发布 Monsoon en-IN 和 Monsoon hi-IN 评测集，将 Hindi 和 Indian English 纳入 Open ASR Leaderboard。四个公开与私有切分共覆盖 4,888 名说话人，并记录 12 项说话人属性；Hindi 使用接受多种书写变体的 OIWER 评估，相关实现 voi-oiwer 也已开源。
推荐理由：文章展示了如何将公开和私有切分、说话人元数据与 Hindi 的 OIWER 结合，用于定位不同地区和书写变体下的 ASR 误差。
Hugging Face Blog精选AI 评分6868 智能体需要多少记忆？ALTK-Evolve 在八个模型上的评测
ALTK-Evolve 在 AppWorld 的八模型评测显示，智能体记忆的合适剂量取决于模型能力：强模型适合完整指南集，较弱模型适合固定核心加按任务检索，已饱和模型未见可测增益。
推荐理由：文章用 AppWorld 上八个模型的对比，说明智能体记忆应按模型能力校准，并展示完整指南集与精选检索在效果和 token 成本上的差异。
Hugging Face Blog精选AI 评分6666 Real World VoiceEQ 发布，用人类评价衡量语音 AI 的真实交互质量
Real World VoiceEQ 发布，用于评估语音系统识别、生成和响应语音中非文本声学信息的能力。该基准覆盖 40 多个语音模型、15+ 个评测维度和 60 多项指标，并基于超过 1 million 次人类评价构建。研究发现，不同模型在技术准确性、情绪理解、表达能力和稳健性等方面各有侧重，自动评测尚不能替代涉及声学情境和社会理解的人类听评。
推荐理由：该基准以超过 1 million 次人类评价衡量语音交互质量，展示了传统指标难以覆盖的情绪、身份和真实环境表现差异。