BenchMIRT：LLM 基准测试实际上在测量什么？

AllenAI 介绍 BenchMIRT，一种在单个提示词和任务层面审计 LLM 基准测试、拆分潜在能力信号的方法。该方法基于 100 个 LLM、16 个基准和超过 34K 个问题训练，独立识别出安全与通用推理两个主要维度。实验显示，保留 10% 的问题通常能接近完整评测的能力判断，预测未观测问题正确率为 79%，高于简单基线的 70%。