Hugging Face Blog·· 3 小时前精选AI 评分78
FairStress 发布,用于更深入评估大语言模型决策公平性的基准
FairStress: A deeper evaluation of fairness in LLM decision-making
AI 导读
FairStress 是一个评估大语言模型人口统计公平性的基准,关注模型在受到定向说服后是否仍能依据证据稳定作出决策。它包含 300 个覆盖 29 个领域的双候选场景,结合身份呈现方式和 adversarial prefixes 扩展为超过 13 million 个测试案例,并提供 50K-item 的 FairStress-Core 子集。
推荐理由
FairStress将公平性评估从最终选择扩展到说服后决策稳定性、解释差异与内部表征,为诊断大语言模型的隐藏不对称提供了可复用基准。
来源:Hugging Face Blog · huggingface.co