摘要:《科学》(Science)杂志近日发表一篇题为“利用公共数据集和人工智能,低质量论文激增”(Low-quality papers are surging by exploiting public data sets and AI)的文章,剖析了近年来劣质论文渐
导读
《科学》(Science)杂志近日发表一篇题为“利用公共数据集和人工智能,低质量论文激增”(Low-quality papers are surging by exploiting public data sets and AI)的文章,剖析了近年来劣质论文渐呈泛滥之势的问题所在。
世界顶尖科学家论坛(简称“顶科论坛”)同样关注这一严峻问题。2024顶科论坛期间,压轴登场的莫比乌斯论坛邀请二十余位世界顶尖科学家、中国两院院士、全球卓越青年科学家和科学出版界的专家出席,围绕“改进科学出版机制,共促科学卓越”主题展开深度对话,针对人工智能时代“科学八股文”的多重成因和应对之策,与会专家们碰撞出许多精辟见解,对保持科学出版机制的健康生态具有相当的启示作用。
图:SARA GIRONI CARNEVALE / Science
2024年,英国萨里大学统计学家马特·斯皮克(Matt Spick)嗅到了一些诡异的气息。他注意到大量相似的论文涌入《科学报告》(Scientific Reports)等待同行评议,而他正是该学术期刊的副主编。
这些论文都采用了一个美国的公开数据集——国家健康与营养检查调查(NHANES)。该数据集收集了超过13万人的饮食信息和其他与健康相关的测量数据。
斯皮克无奈地说:“我每天都会收到几乎一模一样的论文,有时甚至一天两篇。”他很快发现,这还只是冰山一角。他和同事们最近发表在《公共科学图书馆·生物学》上的报告,揭示了近年来利用NHANES数据集所发表的劣质论文急剧增加。
杨培东教授对科学八股文的数量激增感到担忧 图:WLA上海中心
2024世界顶尖科学家莫比乌斯论坛期间,2015年麦克阿瑟天才奖得主、加州大学伯克利分校讲席教授杨培东将这一类型的论文称为“科学八股文”。
杨培东教授分享了他作为美国化学学会期刊 JACS 副主编的发现:这类投稿有着雷同的整体结构。首先是一些非常标准的图表,采用看似规范但完全相同的论述方式;第二张图也许会有一些结构性分析、电镜分析等等,但内容依然很容易被辨别出来系由AI生成。
斯皮克收到的论文也遵循着类似的公式:选择一种健康状况、一种可能与之相关的环境或生理因素,然后选择一个年龄段的人群。或许是研究 65 岁以上男性维生素 D 水平与抑郁症之间的联系,或许是研究 18 至 45 岁女性牙齿健康状况差与糖尿病之间的联系,“感觉每一种可能的组合都有人在研究”。
杨培东教授十分担忧“科学八股文”的数量,“今年(2024年)科学八股文投稿比去年同期增加了40%”。
同样的担忧也存在于斯皮克的报告当中。为了深入了解这类论文的泛滥程度,斯皮克和他的团队在 PubMed 和 Scopus 两大科学论文数据集中展开搜索,发现共有 341 篇此类论文发表在 147 种期刊上,包括《科学报告》《BMC 公共卫生》和《英国医学杂志·开放版》等。2014 年至 2021 年期间,平均每年仅发表 4 篇此类论文。但从2022年开始数据急剧增加,截至研究人员进行搜索的2024年10月,共发表了190篇论文。这一增长速度远远超过了使用大型数据集的健康研究的增长速度,这表明NHANES论文涌现的背后还有一些其他因素。
斯皮克认为,“论文工厂”为了赚钱带动了这一波浪潮,而AI则为之推波助澜,不断生成文本为炮制此类论文提供了便利。
美国西北大学元科学家里斯·理查德森(Reese Richardson)认为,这种免费数据源让几乎所有人都能采用已知的研究方法,然后换上新的变量,以一种 “研究的疯狂 ”创造新的 “发现”。他说,目前在一系列领域都出现了类似的“爆炸”现象。
悉尼大学分子生物学家珍妮弗·伯恩(Jennifer Byrne)进一步分析,相同的NHANES研究结果可能被AI反复改写、重新表述,以逃避抄袭被发现,“论文数量激增的速度和规模,让人不得不怀疑这背后存在某种协调机制”。
在斯皮克的调查报告中所提及的所有科学出版商都收取了论文作者的费用。“为发表这些劣质内容,每篇论文的收费可能高达1000美元。”理查德森认为这些论文反映了科学出版和研究奖励方式中存在着广泛的问题。
事情已经变得严重起来,使用NHANES数据集的论文数量从2023年的 4926 篇已增加到 2024 年的 7876 篇。斯皮克还指出,其他大型健康数据集,如全球疾病负担研究,也可能面临类似风险。
让斯皮克感到愤怒的“劣质量研究的‘产业化’让大量无用研究充斥文献”的现象,也引起了很多顶尖科学家的警惕。
谢克曼教授呼吁控制AI在科学出版中的滥用 图:WLA上海中心
2024世界顶尖科学家莫比乌斯论坛期间,2013年诺贝尔生理学或医学奖得主、世界顶尖科学家协会副主席兰迪·谢克曼(Randy Schekman)教授认为“哪怕最新版本的ChatGPT也远不完美,却在科学出版当中被大量使用”,他呼吁科学界和出版商必须发现和控制AI工具在科学出版中的滥用。
爱思唯尔大中华区总裁李琳同意谢克曼教授的观点,她认为AI的不当使用、论文工厂的过多参与,会损害公众对科学的信任。为此,科学界、出版界、政府、行业组织应该共同制定规范AI使用的政策框架。
然而施普林格·自然健康与应用科学编辑总监艾丽卡·帕斯特拉纳(Erika Pastrana)主张不能因噎废食,应该继续允许科学家们在AI的帮助下撰写论文,但作者必须“主动披露自己是否使用了AI”。
“在准确度、诚信度当面,科学出版应该当好守门人。”施普林格·自然政府与学术事务副总裁、前《Cancer Cell》执行主编、前《MIT Technology Review》中国共同出版人杨晓虹认为,“科学出版必须维护科学的尊严”。
正如理查德森警告的那样,科研人员为了职业发展的顺利,更倾向于发表更多而不是更高质量的论文,“除非我们从根本上调整科学发表的激励机制,否则问题只会越来越严重”。
对发表论文数量的考核要求也许才是“科学八股文”泛滥背后的真正原因。杨培东教授从另一个角度提供了他的反思:“我们真的需要发表那么多的论文吗?”
部分编译内容来源:
来源:世界顶尖科学家论坛