打造可信大模型，刻不容缓

摘要：随着人工智能大模型技术的纵深发展，以Deepseek为代表的大模型产品已经在全社会广泛应用。未来，所有人都将可以低成本获取人工智能，帮助自己工作和学习、休闲和娱乐。然而，大模型预训练机制的固有局限，导致其在严肃知识领域内难以摆脱幻觉的困扰。人工智能产生的问题语

腾讯研究院大模型研究小分队出品

随着人工智能大模型技术的纵深发展，以Deepseek为代表的大模型产品已经在全社会广泛应用。未来，所有人都将可以低成本获取人工智能，帮助自己工作和学习、休闲和娱乐。然而，大模型预训练机制的固有局限，导致其在严肃知识领域内难以摆脱幻觉的困扰。人工智能产生的问题语料进入互联网，又会再次污染下一轮训练语料，导致用户在使用过程中时常面临信息失真的风险，限制了在教育教学、工作科研等严肃场景对大模型的深度应用。针对以上问题，腾讯研究院率先提出“可信大模型”概念1。除了业内普遍关注的包括训练阶段的价值对齐（如内容合规性）和安全可控（如抗干扰）等“可信”因素外，我们尝试从用户应用体验出发，提出更为全面的思考和建议。

一、可信大模型的概念与实现路径
由于现有技术与应用的局限，一直存在对大模型输出内容是否“可信”的质疑，包括：安全性，用户数据和模型输出是否符合隐私保护标准；可解释性，模型生成内容的来源和推理逻辑是否透明；合规性，是否满足行业监管和法律要求；可靠性，知识内容是否准确、专业和可溯源。针对这些质疑，基于近期的实践探索，我们对“可信大模型”的基本概念做如下归纳总结。可信大模型，是以数据可信、技术可信、规则可信、文化可信为核心，基于现有知识体系开展可验证、可溯源的知识供应，确保输出内容维持在稳定的知识基准线上，实现科技与文化、法律与伦理的融合，赋能各个生产领域、生活场景，促进全社会数智化升级的人工智能系统。从以下四个方面，可以提升大模型的“可信”度。数据层面：从源头保证数据的高质量与合法性。大模型在输入端从根源上保障内容真实与准确，要基于合法、高质量、可溯源数据进行训练；在输出端调度数据、引用数据进行校验时，以全人类不断沉淀、达成共识的文化知识作为数据来源，用确定性知识消除幻觉的不确定性。新闻出版广电文博等传统内容行业有大量内容真实、信源可信的新闻资讯类内容，以及精准、可溯源的知识类内容，适用于新闻和信息传播、科研、教育以及各种生产领域和生活场景，应当与技术融合共创，支持可信大模型的知识底座建设，促进人类知识的传承与创新。技术层面：侧重算法透明和技术支持自主可控。预训练过程中引入人类反馈强化学习（RLHF）优化策略等，降低幻觉风险，并提高模型对复杂问题的推理能力；后训练过程中，引入强化学习等技术，让模型学会类人思维的推理，增强可信度；推理阶段，采取思维链（CoT）策略，明示逐步推理过程，让大模型决策透明化，提升算法可解释性，通过自我一致性评判机制，完成推理过程的自我验证，提升逻辑自洽性；应用阶段，基于检索增强生成（RAG）技术，结合外部知识库对用户问题做动态检索和实时引用，提高生成内容准确性和权威性；引入可信计数与数据水印等，保障数据溯源能力，为构建可信内容生态奠定基础。实践中，检索增强生成（RAG）模式已在医疗、法律等高精度知识需求领域中广泛应用，也有部分出版单位投入到这类试验性项目中，从结果看，既证明了这些具体策略和路径对提升可信度的可行性，也看到了图书等传统内容载体、以及载体背后的行业经验，在新的知识校验机制中的潜在价值。规则层面，建立新的授权合作和验证认证规则。新技术带来新的数据使用方式，原有版权规则难以全面适用，各方应当摒弃“零和博弈”思维，以利于创新发展、共创共赢为依规，探索新合作方式、商业模式、利益分配机制，形成实践检验后切实可行的市场规则，再逐步上升为立法。针对利用大模型工具创作内容的版权归属，可考虑在既有版权法框架下，结合具体创作过程和语料素材的使用，建立“人类贡献、控制+技术辅助、输出”的认定标准，以“谁贡献、谁有权，谁利用、谁负责”作为原则实现权责对等。对技术方和平台方，考虑设置合理的“注意与处置”义务范围。实践中，施普林格与OpenAI已通过协议明确授权，约定了内容使用方式和范围，为共创大模型开辟新路径。在国内，政策层面正在推动建立行业规范，例如出版行业大模型的语料共享标准化建议等；部分出版单位通过与技术企业达成协议，既确保数据在授权范围内使用，又积极探索建立新的溯源验证机制，以合作实现共赢，更有利于大模型可信度的提升。文化层面，强调文化角度的价值观与社会责任。大模型的文化可信性，需要“数据-价值观-技术-评估”的闭环体系实现，核心在于，要让大模型成为文化传承的载体而非偏见传播的媒介，最终服务于文化自信与全球文明互鉴。提升大模型文化可信性，需要在可信度评估框架中增加文化维度指标，包括：文化准确性，保证对历史、民俗等内容的较高还原度；价值观一致性，确保输出内容符合社会主流文化价值观和规范；包容性，保持对少数民族、各种边缘文化的适度代表性和合理覆盖。要建立提升文化可信的可控机制，要在回溯上游来源、生成文化元素、校验生成结果、管控文化传播的过程中，强化文化传承。实践中，腾讯混元开源DiT生图模型通过全链路自研，保证所有训练数据来源可控，保证对中国传统文化和价值观内容生成的可靠性。

二、探索知识共识与可持续供应新机制

从印刷术到互联网、从图书到智能体（Agent），人类的知识创新、知识进步，一直与信息技术的演进同频共振。信息技术支持了内容表达形式、表现形态和传播方式的不断创新与发展。大模型的出现，带来知识汇聚、融合、解构、重组和生成的新流程，有望成为未来知识生产、传播的主流模式之一，正在推动知识创新迈进新阶段。与此同时，大模型也给人类知识传承带来新的问题。一方面，机器幻觉、信息过载、信息污染等现象，给大模型的应用与发展带来信任危机。从“质”的需求看，大模型的幻觉问题在客观上增加了对输出结果进行验证、校准的负担规模。在Deepseek被普遍应用后，国内基础模型能力逐渐接近，专业领域的后训练和推理应用中的数据质量，开始成为AI产品竞争的新关键。各国大模型开发者纷纷加大研发投入，试图通过更大规模参数、更多训练数据来提升基础大模型的可信度。但应当认识到，大模型的“幻觉”问题是伴随着人工智能底层技术路径与生俱来的，和创新能力是一体两面，难以仅仅依靠技术彻底解决。另一方面，人工智能对文本的需求增长速度远超互联网的增长速度，原始创新的优质内容数据、特别是知识数据的可持续供应不足。从“量”的需求看，在大模型预训练和后训练阶段都需要大量的优质知识数据，在输入端做驱动大模型运转的燃料，在输出端做校验结果的标尺。当前，基座大模型预训练已进入瓶颈期，急需破解优质数据的可持续供给难题。研究公司Epoch AI估计，到2028年，互联网上所有高质量的文本数据都将被使用完毕，在业内，这也被称为“数据墙”。到目前为止，大模型并不具备原始创造力。对大模型输出结果拆解到最小颗粒度，可以看到所有的知识元都来自训练阶段的输入。大模型所具备的是对知识元进行“创造性重组”的能力，以完成“将知识元完整填充入逻辑链”的任务，实现与用户指令“相对匹配度更高”的结果。从实践来看，仅仅依靠技术的不断完善、推动可信大模型的自身建设，还不足以应对上述两个问题。重建和修复知识共识与可持续供应新机制，是大模型未来在生产生活应用领域产生更大价值的关键所在。重建知识共识机制，一是要引入权威的知识供应方的存量数据，包括来自书报刊出版机构、广电组织、图书馆、档案馆、博物馆、学校、研究机构的图书、期刊、报纸、音像资料、档案、论文集等，也包括数字时代各类知识集散平台的数字形态的知识数据库；二是要实现对传统知识共识机制的继承与升级，要对传统时代的知识创造、采集加工、发布与传播、达成共识、应用反馈、修正共识、再创造的流程进行拆解，对比分析、查缺补漏、重组优化，完成机制升级。图书、论文等知识内容，由于经过严格的同行评审和三审三校，其准确性、权威性目前还无可替代，成为校正大模型、提升其可信度的宝贵资源。通过将这些高质量内容融入大模型训练，不仅能有效减少知识性错误，还能增强模型的逻辑推理能力，使其在辅助教学科研、赋能各领域产业等方面发挥更大作用，实现人工智能与人类智慧的深度融合。此外，知识在传统时代能够达成共识并传播，是有着相对成熟、相对严谨的规范化流程和评估标准的。比如，出版物是达成知识共识的重要载体，围绕这一载体，推出了编辑审校制度、专家评议和同行评议制度等一系列实质性学术评估规范，以及索引、文献参考等严格的学术形式规范，用机制化的人工干预方式，保障了可传播知识的基准线。大模型的应用，要挖掘传统知识共识机制的本质，重新构建“人机协同”的学术规范，传承知识共识基准线的维护能力。修复知识可持续供应机制，关键是重新构建内容、特别是知识的“创造-回报”模式。只有让知识创造者可预期地获取稳定回报，才能产生知识再创造的动力。由于大模型技术的特殊性，在训练阶段，输入的语料和推理环节输出的结果之间并不存在严格的对应关系，更像是人类经过广泛学习理解后对知识的综合运用，难以追溯，也就难以合理定价。现行版权法律尚不能完全适应技术进步，预训练阶段涉及的对原始语料数据的应用，需要如何获取授权、支付报酬，在国内外都缺乏明确的法律依据。但在实践中，大量优质语料的版权所有者，持高度审慎的观望态度，不肯、不敢向大模型开发运营方授权，也就无法获得报酬；大模型开发方和应用方对优质语料的需求越来越迫切，虽然愿意支付报酬，但又对按照获取版权授权对应付酬的方式存有异议。为解决这一矛盾，需要各方共同探讨，创新授权模式，确保各方利益的平衡，同时推动知识共享，使图书等传统知识载体与人工智能技术加快融合，推动人类文明的进步。鉴于直接的市场回报并不会产生于训练阶段，建议各方暂时搁置训练阶段的授权争议，尝试开展合作，关注应用阶段特别是推理阶段的检索增强（RAG）、精调（Fine-tuning）等环节，从技术上将大模型底层能力与语料数据解耦，通过精准检索和内容引用，带来新增流量，面向用户探索新的服务模式和商业模式，根据创造出的知识增值，结合各自投入协商收益的合理分配机制。既能保障上游版权方利益，又能提升模型可信度，促进知识高效流通与应用，实现共赢。大模型与传统知识供应方充分合作，在不断磨合中探索出新的商业模式之后，将会重构互利共赢的“可信内容新生态”，各方将成为新的产业链上的利益共同体。为了提升数智化内容产品的质量、提升数智化内容服务水平，实现数智时代文化产业的升级，作者、传统出版机构及编辑、其他传统新兴知识供应方、大模型开发方、大模型应用平台等，都将参与到语料共建、联合训练、共识保障、共享模型、分享利益中来，多种新的具体合作模式也将应运而生，而大模型训练阶段的授权争议将自然得到解决。

三、在实践中共创数智新生态