跳到正文
原文
The Decoder· Matthias Bastian·· 4 小时前AI 评分72

斯坦福研究发现44%的LLM研究结论已失效

Rapid LLM development is outrunning the research meant to explain it, study finds

AI 导读

斯坦福研究人员用20个模型复测50项广泛引用的LLM结论,发现44%已经失效,另有34%显著减弱。22项有预计失效日期的发现平均寿命为15.7个月,推理相关结论衰退最快,而偏好和倾向类结论更持久。在文献引用测试中,GPT-6.1 Sol为0%、Claude Sonnet 5.5为1%,Qwen3.7-Flash为69%;研究建议记录模型版本、日期、提示词和分析代码,以便复测。

来源:The Decoder · the-decoder.com