Hugging Face Blog·· 3 小时前精选AI 评分68
StateBench 测试语言模型在长文档中的状态跟踪能力
StateBench: Testing how language models track state changes over long documents
AI 导读
AllenAI 发布 StateBench 长上下文基准，用四个难度等级测试语言模型跟踪长文档中实体状态变化的能力。测试显示，Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol 和 Luna 在更难任务上随输入变长明显下降，最长 general finite 任务准确率降至 13% 或更低。
推荐理由
StateBench 将长文档状态跟踪拆成四级，并比较 Transformer、混合架构与 Gated DeltaNet 在不同长度上的泛化差异，为定位架构瓶颈提供了统一测试框架。
来源：Hugging Face Blog · huggingface.co