面对已读乱回的AI,到底要怎么分辨真假?

360影视 日韩动漫 2025-05-25 21:07 2

摘要:近日,DeepSeek乱编文献的话题冲上热搜。青年群体在享受AI红利时正陷入数字生存困境。你知道什么是AI幻觉吗?你能识别出AI幻觉吗?青年报·青春上海记者就这些大家普遍关心的话题采访了多位专家。

青年报·青春上海记者 刘秦春/文 网络截图

近日,DeepSeek乱编文献的话题冲上热搜。青年群体在享受AI红利时正陷入数字生存困境。你知道什么是AI幻觉吗?你能识别出AI幻觉吗?青年报·青春上海记者就这些大家普遍关心的话题采访了多位专家。

◇ 原来AI真的会已读乱回 ◇

今年2月,一组关于80后死亡率的数据在网上引发广泛关注。称“截至2024年末,80后死亡率突破5.2%,相当于每20个80后中就有1人已经去世。”“80后的死亡率已经超过70后。”后经证实,该则数据为AI数据偏差生成的,也就是AI幻觉所致。

社交平台上,一则名为“AI的幻觉正在加强,不是好事”的帖子收到了2.4万点赞。网友在评论区分享自己遭遇到的各种幻觉:“我让 deepseek 推荐一下楼盘,他说得有理有据,连户型都选好了,我都要心动了,最后一查根本没有这个项目。”“让ds给我做个表格,它说发到我邮箱去了,我还信了,第二天问它为什么没有收到,它说它不会发邮件。”

什么是AI幻觉?据记忆张量CEO兼创始人、上海算法创新研究院大模型中心负责人熊飞宇介绍,在人工智能特别是大语言模型的领域中,“幻觉”指的是模型生成看似合理,但实际上是无意义、与事实不符或缺乏现实依据的内容的现象。

AI幻觉又是怎么产生的呢?熊飞宇告诉记者,从大模型的原理上看,AI幻觉源于模型的统计预测特性:它通过next token prediction(预测下一个标记)进行训练,在推理时“凑合”最可能的答案来回答问题,但并不真正理解事实,当缺乏足够训练数据时,就会编造信息。

值得注意的是,AI幻觉对普通用户和社会带来多重风险。首先,它会误导用户、传播虚假信息。这些虚假信息如果被当作真相传播,就可能导致群众恐慌或错误决策。同时,如果将AI作为严肃的信息来源,幻觉问题处理不好会造成信息安全隐患。另外,当AI输出看似自信的错误信息时,普通用户很难分辨真伪,久而久之可能降低对信息的批判性思考能力。

他认为,识别AI幻觉的关键在于质疑和验证。比如,当听到像“吃香蕉能治感冒”这样的说法时,不应盲目相信或否定,而是去找权威来源。同时,还可以用“反向提问”的方式,比如换个角度问AI:香蕉有哪些成分?它们对病毒有什么影响?这样可以快速测试它是不是在“编故事”。

“未来,其实更考验AI系统的是它是否具备一个比较好的可解释性以及可溯源的能力,类似我们团队现在正在做的关于记忆溯源和推理链条可视化都是为了解决这个幻觉问题,可以让用户一键看到答案背后的知识来源与思考路径,这样才是真正靠谱的AI。”熊飞宇表示。

◇ 推理能力越强的大模型幻觉率更高 ◇

熊飞宇指出,不同大模型的幻觉率差异很大。Vectara HHEM-2.1幻觉检测模型的最新测试结果表明,表现最佳的是谷歌Gemini-2.0-Flash-001,幻觉率仅为0.7%。紧随其后的是OpenAI的o3-mini-high-reasoning模型,幻觉率为0.8%。主流模型中,ChatGPT(GPT-4o)的幻觉率约为1.5%。Claude系列模型的幻觉率从4.4%(Sonnet)到10.1%(Opus)不等。

推理能力越强的模型,幻觉率有时反而更高。以DeepSeek为例,其推理模型R1的幻觉率高达14.3%,是其通用模型V3(3.9%)的约四倍。这一现象表明,模型在获得强大推理能力的同时,也可能带来更多的创造性“偏差”。原因在于DeepSeek-R1在强化学习训练过程中,对模型创造性给予了更多奖励,导致模型在生成内容时更具想象力,但也更容易偏离事实。

此外,不同应用领域对幻觉的容忍度截然不同。在医学、法律、金融、新闻等需要高准确性的专业场景中,即使3%的幻觉率也可能带来严重后果。研究表明,大模型在这些专业领域的落地受幻觉影响严重,需要特别审慎。

熊飞宇相信未来AI幻觉会变得可控:“未来的AI一定会与外部的权威知识系统深度融合,比如接入专业数据、领域标准,生成前先做事实验证,做到先查证再输出,这将是AI走向可靠智能的关键一步。”

◇ AI幻觉高感知公众占比不足一成 ◇

使用频率越高、AI素养越强、学历越高的人感知幻觉程度更低

在2025上海科技节期间举办的第四届上海科技传播大会上,上海交通大学媒体与传播学院发布了一项聚焦生成式人工智能发展与数字传播的研究。研究发现,45.6%的受访者缺乏对AI幻觉的具体风险理解,而“冷感群体”高达 29.7%,“高警觉”的人群仅占 8.5%。

该研究指出,对大模型AI幻觉高感知的公众比例不足一成,而使用频率越高、AI素养越强、学历越高的公众感知幻觉程度更低。大模型技术已深度融入公众生活,一周多次使用的受访者为40.1%,一天多次的占32.1%,仅0.123%受访者从未使用过大模型。

调查发现,不同人群间的“素养鸿沟”仍在加剧。数据显示,年龄越大,受访者自评的AI素养越低,技术理解与应用能力明显落后于年轻群体。这种代际差异不仅体现在操作技能上,更体现在信息获取、风险认知与社会参与层面的不对称,进一步限制了老年人在智能化社会中的深度融入。

好消息是,团队研究发现公众对于AI技术的理解和评估能力正稳步提升。在2023年至2025年间,公众在辨识和识别AI的局限性的能力有了显著增长。认同自己“能够评估大模型AI功能与局限性”的受访者比例从2023年的59.7%大幅上升至2025年的85.7%。

上海交通大学媒体与传播学院副院长、特聘教授徐剑提出,调研显示公众对于大模型的使用热情高涨,但对AI广泛应用带来的负效果未能保持警惕关注,因此社会、企业和媒体更应加强建设,提升公众AI素养。

他认为,应在公共教育体系中系统嵌入AI素养课程,特别是在中学与大学阶段,将“识别幻觉”和“理解算法偏见”与信息检索、媒介判断等内容整合进信息素养与公民教育的统一课程体系,推动技术素养从技能型训练走向风险判断与认知建构的能力培养。

◇ AI幻觉或可误导青少年 ◇

随着人工智能技术的广泛应用,AI在青少年学习和生活中扮演着越来越重要的角色。国家二级心理咨询师姚项哲惠在接受青年报·青春上海记者采访时表示,AI虽可丰富青少年知识面、拓展其思路,但需警惕其生成内容的误导性,特别是AI幻觉可能会对青少年的认知发展构成挑战。

姚项哲惠强调,青少年不应只把AI当做获取答案的工具,而应学会有效提问、与AI互动,并进一步分析、辨别AI生成的结果。这个过程本身比最终的结果更重要。同时,这与当前教育界所提倡的培养高阶思维和媒介素养理念等也高度契合。

那么,家长和老师怎么帮助青少年有效识别AI幻觉带来的虚假或错误信息呢?姚项哲惠建议从以下几个方面入手。

首先,要引导青少年意识到AI局限性,其生成内容可能存在虚假和错误,鼓励青少年通过多种途径交叉验证信息来源,避免单一依赖AI生成内容。同时,重视批判性思维培养,引导他们从不同角度分析问题,进行假设与验证,提升独立思考和解决问题的能力。最后,增强媒介素养教育,包括了解AI的工作机制、识别其局限性、理解信息背后的立场与动机等。

家长和教师也需转变观念:“与其一味限制孩子使用AI,不如与孩子共同探索如何合理利用AI资源。”家长和教师自身也应提升媒介素养,与孩子一起学习如何辨别信息真伪、评估其信息来源可靠性。

◇ AI幻觉像一把双刃剑 ◇

清华大学人工智能学院、新闻与传播学院新媒体研究中心双聘教授沈阳团队今年2月发布了《DeepSeek与AI幻觉》研究报告。报告中指出,AI幻觉具有一定的创造力价值。例如,大卫·贝克团队利用AI“错误折叠”启发新型蛋白质结构,从零开始设计蛋白质,获得了2024年诺贝尔化学奖,并且发表的多篇论文都将“幻觉”纳入了标题当中。

熊飞宇也在一定程度上认可AI幻觉的启发性。适当利用AI的联想能力,确实可以在设计、艺术、科研等场景中激发创新。但他强调,AI幻觉毕竟是不以事实为基础的虚构内容,我们不能把它当成可靠答案。要让其成为创造灵感的泉源,前提是人们须具备辨析能力,要对AI输出保持怀疑、多渠道验证真伪。如果过度信赖AI的幻想,反而会带来危险。

“AI幻觉像一把双刃剑,一端折射出现有技术的局限,一端也可能照见未来创新的火花。我们应承认它的创造力潜质,同时严格控制风险,以促进科技和社会的健康发展。”熊飞宇表示,从目前的趋势看,GPT、Gemini等前沿大模型的幻觉率正在快速下降,这得益于更好的数据质量、架构改进和RAG等新技术的发展。“随着技术不断成熟,我们有理由相信,AI将在保持创造力的同时,变得越来越可靠和值得信赖。”

来源:青年报

相关推荐