摘要：纽约大学研究人员最近的一项研究发现，教学数据中即使是最少的错误信息也会严重削弱大型语言模型（LLM）的功能。科学家们发现，数据集中只有0.001%的虚假信息，就可能导致错误传播，尤其是在医学领域。

纽约大学研究人员最近的一项研究发现，教学数据中即使是最少的错误信息也会严重削弱大型语言模型（LLM）的功能。科学家们发现，数据集中只有0.001%的虚假信息，就可能导致错误传播，尤其是在医学领域。

作为实验的一部分，研究人员故意将人工智能生成的医疗假信息添加到广泛使用的学习数据集The Pile，该数据集包含了PubMed等优质医疗来源。研究人员在24小时内创造了15万篇虚假医学论文，取代了0.001%的教学数据。结果显示，这导致恶意内容的传播增加了4.8%。

特别令人担忧的是，即使在训练数据中存在错误信息，AI模型仍然在用于评估医学LLM的标准测试中表现出很高的成绩。这意味着，传统的测试方法可能无法发现与在医疗实践中使用这些模型相关的潜在风险。

研究人员强调需要加强对数据源的控制和LLM开发的透明度，特别是在医疗保健领域，在那里，错误信息的传播可能会危及患者的安全。他们敦促人工智能开发人员和医学专业人员在构建和使用语言模型时考虑到这种弱点，并在没有适当预防措施的情况下，不要将其用于诊断或治疗目的。

来源：A7a369