摘要：为了证明自己的观点，Elson，这位伯尔尼大学的心理学家举例了一篇著名论文[1]，这篇论文于2010年发表，作者是马萨诸塞州剑桥哈佛大学的经济学家Carmen Reinhart和Kenneth Rogoff。“这篇论文对欧洲的金融政策产生了巨大影响。”Elso

ERROR项目借鉴了软件行业的策略

Malte Elson在谈到科学的自我纠正能力时直言不讳。“我们目前处理错误的方式行不通。”他说。

为了证明自己的观点，Elson，这位伯尔尼大学的心理学家举例了一篇著名论文[1]，这篇论文于2010年发表，作者是马萨诸塞州剑桥哈佛大学的经济学家Carmen Reinhart和Kenneth Rogoff。“这篇论文对欧洲的金融政策产生了巨大影响。”Elson说，它“提倡采取紧缩措施来减少国家债务”。

三年后，当时就读于马萨诸塞大学阿默斯特分校的经济学博士Thomas Herndon试图复刻这篇论文的结果来完成课堂作业，结果发现论文内所使用的一个关键表格存在一处错误。作者只选择了他们打算纳入关键计算的20个国家中的15个[2]。Elson说，考虑到这个错误和另外两个错误，这项研究的结论并不像最初看起来那么有力。

Reinhart和Rogoff提供了数据并承认了错误，但坚持认为他们的总体结论是正确的。然而，如果Herndon没有尝试重现结果，这些错误可能永远不会被发现。

插图：Project Twins

Elson说，这种随机的错误检测系统毫无意义。“我们不能完全依仗偶然发现错误。”目前，在已发表的论文中寻找错误既不系统，也没有奖励。Elson和他的同事们于2月启动了评估研究的可靠性和稳健性（ERROR）项目，以改变这种状况。

ERROR项目向审稿人付费，让他们检查被引用率较高的心理学及其相关论文中的代码、统计分析和参考引文错误。该项目于5月发布了第一篇审查报告——这是4年内计划的100份报告中的首篇。本月，ERROR团队的目标是将前20篇论文分配给审稿人。

扩大影响力

ERROR由Elson、伯尔尼大学元科学家Ian Hussey和德国莱比锡大学心理学家Ruben Arslan牵头，重点关注自2015年1月以来在“心理学分支学科中重要和受人尊敬的期刊”上发表的具有持续引用流的论文，Elson说。ERROR团队优先考虑引用率高的论文，以尽可能发挥其工作的影响力。团队会联系研究作者，并征求他们的许可来审查他们的工作。“ERROR的成功离不开每个人的参与。”Elson解释道——但团队还需要访问每篇论文的底层数据和代码，而这些数据和代码只有作者才能提供。

伯尔尼大学推动数字化战略的一项基金“数字化转型中的人类”（Humans in Digital Transformation）为该项目提供了4年的支持和25万瑞士法郎（约合205.4万人民币），审稿人每检查一篇论文可获得高达1000瑞士法郎的报酬。审稿人发现任何错误都会获得奖金，错误越大奖金越多——例如，导致重大更正通知或撤稿的错误——可高达2500法郎。该奖金是仿照微软和谷歌等科技公司为能够发现并报告其产品漏洞的黑客们提供的“漏洞赏金”计划制定的。

错误可能包括代码中的错误、代码与手稿措辞的不一致、不支持结论或被误用的统计分析以及不准确的引用。

作者也会得到报酬：回答审稿人的问题和提供数据可获得250瑞士法郎，如果审稿人仅发现小错误或没有发现错误，则作者可额外获得250瑞士法郎作为奖励。

测试案例

ERROR于5月发布了首篇报告[3]，针对2018年发表在 Psychophysiology 期刊上的一篇论文[4]，该论文的作者是爱荷华大学爱荷华分校的认知神经科学家Jan Wessel。Hussey说，这个过程堪称典范，其中包括Wessel和斯坦福大学认知神经科学家Russ Poldrack的开放态度，后者进行了审查并只发现了微小的错误。Wessel甚至写了一篇模拟研究，发现他的数据集中至少存在一个错误的可能性为 96%，甚至ERROR的审查也没有发现。“这是一种非常酷的心态——也正是我们希望培养的。”Hussey说。

Hussey预计将在9月再发布三篇报告。为了完成4年100篇的目标，该团队需要每两周发表一篇报告。（译注：原文发表于2024年8月。）

Hussey说，尽管ERROR项目最初专注于心理学，但它正在“积极努力”扩展到其他学科。该团队已向瑞士国家科学基金会申请资助，以向人工智能研究领域拓展，并希望涉猎医学研究。“更广泛地说，我们希望展示一个可规模化且可“嫁接”的模型，以便其他研究人员可以在自己的领域做到这一点。”Hussey说。Elson表示，该团队还在探索对手稿预印本和已发表文章的审查可能性。

不过该项目仍面临重大挑战。Elson说，很少有作者回复ERROR项目要求允许审查其论文的电子邮件。到目前为止，在134篇选定的论文中，只有17位作者同意审查他们的研究。有时，基础数据已经不复存在或遗失了。有时，作者回复说出于法律原因第三方无法访问相关数据。尽管有相应的技术解决方案，但Elson表示他不会强求。

需要审稿人

另一个挑战是找到既具备所需技术专长又与研究作者没有利益冲突的审稿人。Hussey说，审稿人可能需要拥有比作者更多的相关技术知识，“因为你必须知道不同类型错误的发生概率”。通常，这样的审稿人都是博士生或博士后研究人员，如果他们对由更资深的研究人员撰写的出版物表示怀疑，他们可能会陷入艰难的职业境地。“我们非常清楚其中涉及的权力动态。”Hussey说。“我们正在尽量维护审稿人与被审稿人之间的平衡。”

2023年，为了帮助扩大潜在审稿人的数量，Hussey开始在伯尔尼大学心理学系教授一门关于错误检测的硕士课程。伦敦国王学院精神病学、心理学和神经科学研究所同样于7月在暑期学校开设了类似的课程。

现在，ERROR团队希望说服那些资助研究的人为他们支持的研究支付错误审查费用。Elson说，资助者将从错误检测中受益，因为他们为错误付出了双倍的代价：其一是浪费金钱在被证明是错误的研究上，其二是因为他们错过了资助其他项目的机会。自2024年5月在《自然》上发表了一篇关于该项目的世界观文章[5]以来，Elson已经与德国研究基金会DFG和私人资助者大众基金会进行了交谈。

与目前的随机方法相比，“如果进行一定程度的系统性错误审查，每一美元花费实际上可能会带来更有意义的发现”，Hussey说。一个严肃的错误检测系统需要资源，Elson表示。“我们不能指望它免费运作。

来源：东窗史谈