Google Research 研究 AI 基准中每项需要多少名评测者

Google Research 研究 AI 基准中评测项目数量与单项人工评测者数量的取舍，发现常用的 1、3 或 5 名评测者往往不足。研究通过模拟不同预算和数据集指出，若关注多数投票，增加项目数量通常更有效；若要捕捉完整意见范围，则需要增加每项评测者数量。根据指标优化分配后，约 1,000 次总标注即可获得高度可复现的结果，研究团队还在 GitHub 开源了模拟器。