跳到正文
原文
Hugging Face Blog·· 3 小时前精选AI 评分78

FairStress 发布,用于更深入评估大语言模型决策公平性的基准

FairStress: A deeper evaluation of fairness in LLM decision-making

AI 导读

FairStress 是一个评估大语言模型人口统计公平性的基准,关注模型在受到定向说服后是否仍能依据证据稳定作出决策。它包含 300 个覆盖 29 个领域的双候选场景,结合身份呈现方式和 adversarial prefixes 扩展为超过 13 million 个测试案例,并提供 50K-item 的 FairStress-Core 子集。

推荐理由

FairStress将公平性评估从最终选择扩展到说服后决策稳定性、解释差异与内部表征,为诊断大语言模型的隐藏不对称提供了可复用基准。

来源:Hugging Face Blog · huggingface.co