摘要:人工智能基础技术正逐步渗透至社会各个领域,全国人大代表、科大讯飞董事长刘庆峰在两会期间提出,应对AI进行深度鉴伪,定期清除幻觉数据,以防止大模型被污染,给互联网安全带来威胁,从技术研发及管理机制着手,构建一个可信赖的信息环境。
人工智能基础技术正逐步渗透至社会各个领域,全国人大代表、科大讯飞董事长刘庆峰在两会期间提出,应对AI进行深度鉴伪,定期清除幻觉数据,以防止大模型被污染,给互联网安全带来威胁,从技术研发及管理机制着手,构建一个可信赖的信息环境。
什么是“AI幻觉”?
AI幻觉(AI Hallucination)指人工智能系统(如生成式AI模型)生成看似合理但实际错误或虚构的信息的现象,通常表现为编造事实、偏离用户指令或生成不符合现实的内容。
随着AI时代的迅猛发展,许多人在享受AI便利的同时,对其信息的真实性产生了质疑:AI提供的信息是否准确?要解答这个问题,我们首先需要明白AI幻觉产生的缘由:
数据偏差:AI大模型依赖训练数据,若数据存在错误、不完整或过时,会导致输出结果严重偏离实际。机制局限:AI的回答基于统计预测逐词生成,初始误差可能引发后续回答的连锁偏差。同时,架构限制导致其上下文记忆有限,难以处理长输入内容,影响回答的连贯性。泛化困境:面对复杂场景,模型过度依赖训练数据的逻辑关联,可能导致“超合理虚构”现象。意图误解:当用户提问模糊时,模型倾向于生成看似合理但实际脱离现实的回答。那么,AI幻觉可能会带来哪些影响呢?
以下是一些真实案例:
纽约一位律师使用ChatGPT撰写诉讼文件,AI却生成了六个不存在的判例,导致案件被驳回。
https://m.toutiao.com/is/rNQT6ofMhnc/ - 都是假的!美国一资深律师用ChatGPT协助办案被“坑” - 今日头条
AI捏造了青铜利簋的历史背景,将其描述为商王帝乙为祭祀父亲而铸,并伪造了文献来源(如将作者改为中山大学考古系)。
AI散布了“中国80后死亡率达5.2%”的谣言,错误使用百分率(实际应为千分率),导致自媒体广泛传播不实信息。
https://m.toutiao.com/is/iq80bsGvXK8/ - 央视新闻:“80后死亡率破5.2%” 如此漏洞百出的假消息是怎么来的? - 今日头条
纽约联邦法官因AI生成的错误法律文件对律师处以罚款,凸显了法律领域对AI过度依赖的风险。
https://m.toutiao.com/is/l9P8Y35w3P8/ - 律师因在法庭文件中使用AI生成的虚假案例而面临1.5万美元的罚款 - 今日头条
OpenAI的Whisper语音识别系统在转录医疗对话时,错误地将患者父亲去世的信息改为“65岁去世”,导致病例失真,影响诊疗。
https://c.m.163.com/news/a/JPR5RHVM0556BRVZ.html?share_token=f79b4613-2256-422b-90a2-b13d8d14082d&tt_from=copy_link&utm_campaign=client_share&utm_medium=toutiao_android&utm_source=copy_link - AI医疗翻车!OpenAI捅出大篓子,3万医生被坑惨,患者险... - 今日头条
以上案例表明,AI目前并非如我们所想象的那样智能,它更多的是遵循设计逻辑,一切旨在帮助用户解决问题,即便它并不确定答案的真实性,也不愿意留下空白。
AI幻觉是人工智能发展过程中难以避免的技术难题,那么在现阶段,我们如何应对这一问题呢?
对于广大用户来说,以下几点建议至关重要:
1.保持批判性思维,不要放弃独立思考,对AI的回答保持审慎,对于需要真实性的信息要进行二次甚至多渠道求证
2.通过描述词约束,降低虚构可能性
来源于清华大学新闻与传播学院新媒体研究中心和人工智能学院联合发布的《 DeepSeek 与 AI 幻觉》)
2.引导AI进行自我审查
最后,容笔者感叹:虽然现在AI还面临算力吃紧、数据质量参差不齐这些"成长烦恼",但就像当年3G网络刚普及时网速慢得令人抓狂,后来不也迭代出5G了吗?我总感觉,等咱们这代人老了,说不定真能看到机器人产生自我意识,硅基生命与碳基生命和谐共存,像《星际穿越》里塔斯那样和人类插科打诨。这种站在科技风口的感觉,就像2007年乔布斯掏出第一代iPhone时,谁也想不到手机会变成今天的"口袋电脑",而AI带来的变革,恐怕要比手机革命还要震撼千百倍!
来源:盯听DL