摘要：▷图1. 本文来源：Pedreschi, Dino, et al. "Human-AI coevolution." Artificial Intelligence (2024): 104244.

编译 | 追问nextquestion

▷图1. 本文来源：Pedreschi, Dino, et al. "Human-AI coevolution." Artificial Intelligence (2024): 104244.

人类历史是一部协同进化的历史，包括人类与其他物种之间；人类与工业机器之间；人类与数字技术之间的协同进化。如今，人类与人工智能之间的协同进化也在不断深化。

以推荐系统和智能助手为例。社交平台的推荐算法在无形中影响着广大人群的决定和互动；购物平台的个性化建议引导着我们的消费习惯；导航服务建议通往目的地的路线；而生成式 AI 根据用户的愿望创建内容，并对教育，医疗，就业等多方面产生深远影响。

所有这些系统中都存在一个共同点，那就是“反馈循环”。而这正是人机协同进化的核心。以推荐系统为例，我们可以将反馈循环描述为：用户的决策决定了推荐系统训练的数据集；经过训练的推荐系统随后影响用户的后续选择，这反过来又影响下一轮的训练，从而形成一个可能永无止境的循环（图2）。

▷ 图2.人类与人工智能的反馈循环

人类与技术之间的协同进化并非新鲜事，但人机反馈循环为其赋予了前所未有的形式。纵观历史，技术与社会始终在相互影响和共同发展，例如，印刷术、广播和电视的诞生深刻改变了历史进程。然而，至少在普及性、说服力、可追溯性、速度和复杂性这五个层面，基于人工智能的推荐有着显著的放大效应。

在普及性上，从社交媒体到在线零售和地图服务，推荐系统无处不在。得益于复杂的算法、丰富的数据以及用户普遍接受推荐，推荐系统已经成为在线互动中的常规组成部分。通过收集和分析个人选择的数据，推荐系统能够提供高度个性化的建议，进一步提高了推荐的准确性和说服力。

与传统技术不同，人机生态系统留下了推荐内容和用户选择（通常称为大数据）的不可磨灭的痕迹。因此，基于 AI 的推荐系统拥有对个人选择的全面视角和前所未有的可以成规模地改变人类行为的能力。在此背景下，人机协同进化的速度比以往任何时候都要快，因为 AI 可以在几乎没有人类监督的情况下重新训练，并以前所未有的速度提供建议。人机生态系统还促进了用户和产品巨大空间之间前所未有的互动量，增加了系统复杂性。

人工智能在许多复杂任务中已经能够达到与人类相似的表现，并且正变得越来越可解释和关注人类需求。然而，当前的研究方法往往将机器视为独立的个体，而不是从协同进化的角度进行研究。反馈循环对人类-人工智能生态系统的影响我们知之甚少；因此，我们需要深入研究推荐系统是如何影响社会，尤其是它们是否加剧或缓解了不希望出现的集体效应。

复杂性科学表明，社会互动网络是异质的，导致深度连接的枢纽和模块化结构。这种结构异质性与社会效应，如不平等和隔离相互作用，影响着网络的演化，如流行病、信息和观点的传播；产品、思想和人的成功；以及城市动态。而人类-人工智能反馈循环对网络过程的影响与人工智能出现之前不同。采用协同进化的视角，有助于揭示人类与推荐者之间复杂互动的规律。我们对控制人-人工智能协同进化的网络动力学的参数知之甚少，因此难以对如此复杂的系统进行预测。

为此，对人类与人工智能协同进化的研究，需要新的方法论。科幻作家艾萨克·阿西莫夫曾说“变化，持续的变化，不可避免的变化，是当今社会的决定性因素。任何明智的决定都不能再不考虑现实世界以及它将变成的世界”。随着当今人工智能系统的广泛使用，越来越大的权力，正在以越来越难以被察觉的方式，被越来越少的一群人掌握。定义何为人的不再是神明，权威，公众，而变成了人类与技术互动产生的生态系统。

当前关于人工智能的探讨，或以技术为中心、或以人为中心。而反馈循环引入了一个以社会为中心来思考人工智能的新维度。与传统的技术中心观点不同，这种视角认为反馈循环的影响不能仅通过更多的技术手段来解决。此外，它还接纳了以人为中心的人工智能和集体智慧所带来的洞见。一方面，从以人为中心的角度来看，反馈循环可能会损害人类福祉。另一方面，从集体智慧的角度来看，反馈循环则有可能推动人类与推荐系统的互动朝着理想的方向发展。

以社会为中心的人工智能为人工智能社会影响的辩论带来了三个额外的元素（见图3），分别是（i）反馈循环不仅影响个人福祉，也影响社会福祉；（ii）管理反馈循环需要发展新的科学方法；（iii）与人类-人工智能协同进化相关的问题，没有法律和政治干预是无法解决的。

▷图3. 以社会为中心的人工智能为辩论带来了三个额外的要素。

人类与人工智能协同进化的研究，有多种研究方法，每种各有其利弊。

实证研究与模拟研究是现有研究大多采用的方法。实证研究基于用户在真实平台上的行为生成的数据，这些数据源于人类与推荐系统或智能助手之间的动态互动。这些研究提供了关于特定现象的证据及其理解的实证基础。如果数据集样本大且多样化，实证研究也使研究人员能够对更广泛的群体进行概括。然而，实证研究的局限性在于结论往往受到研究时间框架和条件的限制。此外，由于数据主要归大型科技公司所有且很少公开，这些研究几乎无法复制。

模拟研究则基于由机制、人工智能或数字孪生模型生成的数据。模拟研究为实证研究提供了一种成本效益高的替代方案，尤其是在处理大规模生态系统或数据不易获取的情况下。该方法可以在相同的初始条件下反复进行，从而验证结果。学者可以通过调整参数来观察对人类-人工智能生态系统受到的影响，有助于研究者理解变量之间的复杂关系。然而，由于它们基于大量假设，模拟并不一定反映现实世界的动态，因此在揭示意外或未预见的影响上存在局限性。特定参数的设置可能会阻碍意外结果的出现。

实证和模拟方法都可以是观察性的或控制性的。受控研究，在社会科学中被称为实验，包括准实验、随机对照试验和 A/B 测试。这些研究将样本分为对照组和一个或多个实验组，每个组接受不同的建议。通过比较两组（或更多组）对不同干预的影响，来衡量不同建议产生的影响。受控实验允许研究人员控制各种因素和条件，便于隔离特定干预变量的影响。受控实验的优势在于能够建立因果关系，并且减少选择偏差，确保各组之间的平衡。然而，受控研究也存在重要的不足：控制环境中的纳入和排除标准可能会限制结果的普世性；并且难以适应实验过程中发生的变化。此外，它们难以设计，因为它们需要直接访问平台用户和算法。

一些受控研究的例子有助于阐明这些方法的特点。比如Huszár 等人通过实验研究了Twitter个性化时间线对政治内容传播的影响。该平台选择了一组用户，让他们接触到他们关注的账户以逆时间顺序发布的推文，而实验组用户则接触到基于人工智能的个性化推荐。个性化推荐导致政治信息的显著放大，主流右翼政党比左翼政党更多地受益于算法个性化。Cornacchia 等人则使用交通模拟器来估计实时导航服务对城市环境的影响。研究发现，当采用率超过阈值时，导航服务可能会增加旅行时间和二氧化碳排放。

观察性研究假设没有控制因素，仅依靠自然发生的数据。例如分析Facebook用户的行为、向驾驶员提供Google Maps给出的建议、从浏览器日志中收集的数据、模拟人类行为的机器人，以及要求志愿者以特定方式行为的实验。观察性研究（无论是基于经验数据还是模拟）的一个优点是，当数据量大且具有代表性时，该方法允许研究人员对更广泛的群体进行概括，增强发现的适用性，并突出对不同群体段落的潜在偏差。然而，一个显著的局限性是在建立因果关系时面临挑战，需要额外的证据来支持因果主张。此外，观察性研究的发现可能受到选择偏差、测量误差或混杂变量的影响；这可能会损害它们的准确性和可靠性。

为了阐明观察性研究的特征，这里给出两个例子。Cho 等人分析了导致 YouTube 上政治极化的因素，发现推荐系统可以导致这种极化，但主要是通过用户的渠道偏好。Fleder 等人调查了推荐系统对音乐流媒体平台上用户购买行为的影响。他们发现，接触到推荐的用户购买的商品更多，并且在购买种类的多样性上彼此更相似。

有一些研究超越了静态调查推荐算法对用户行为影响的范畴，从理论和/或实证角度分析反馈循环机制。其中一些工作引入数学模型，基于模型中的参数，提供对推荐者影响的见解。如一项理论研究探讨了反馈循环机制是否会导致用户兴趣的退化：一个具有完美准确性的先知推荐算法会导致快速陷入信息茧房（filter bubble），而在用户选择中注入随机性和扩大可选项则会减缓这一过程。因此，这项研究提供了对反馈循环导致了信息茧房的洞见和潜在补救措施。

也存在将理论评估和实证评估相结合的研究。例如，一项研究调查了基于历史犯罪数据的预测警务推荐系统对在城市地区分配警力的影响。他们模拟了一个以下反馈循环发生的场景：每天向预测犯罪率最高的地区部署警员，这些警员发现的犯罪被报告，然后这些报告的犯罪数据被反馈到推荐算法中。这个过程持续迭代。鉴于这个反馈循环，推荐算法反复将警方的注意力转向报告更多犯罪的地区。由于警员增加，这些地区更有可能发现更多犯罪，从长远来看，模拟导致犯罪分布与观察到的历史犯罪数据相比不现实。作者提出了一种纠正机制，即随着发现的犯罪数据被纳入推荐算法，向某个地区部署警力的可能性会降低。Polya 罐子模型被用来模拟反馈循环和校正机制。可以将该研究解释为推荐系统中的微小变化可以在人机生态系统中产生实际影响。

尽管这些开创性研究为反馈循环机制提供了宝贵的见解，但在分析人机协同进化方面仍有重要的改进空间。在实证层面，这些研究使用的数据只能描绘出人类与推荐者之间互动的不完整图景。通常，它们只描述了用户在特定时间内的选择，而没有考虑哪些推荐被提供会影响用户的使用时间长短。

此外，我们没有任何关于平台多久重新训练推荐算法，从而根据用户的选择更新其偏好知识的信息。因此，现有研究仅使用可用数据来验证模型反馈循环机制的理论方法。为了克服这一限制，我们需要基于纵向数据的实证研究，描述反馈循环的每次迭代：在此过程中，需（i）提供给用户的推荐；（ii）用户对这些推荐的反应；（iii）基于先前推荐影响用户选择的重训练过程。这类研究将允许双向而非单向地观察因果关系。

人类受到的人工智能影响，实际上是推荐算法与用户互动所产生的反馈循环的副产品。我们可以从不同层面来衡量这种影响，包括个人层面、项目层面、模型层面和系统层面。个人影响指的是推荐者对用户的影响，例如在线零售生态系统的卖家和买家，以及城市地图生态系统的驾驶者和乘客。项目层面的影响指的是推荐系统和用户选择如何影响特定对象的特征；例如社交媒体上的帖子、在线零售平台上的产品、城市服务中的行程以及内容生成生态系统中的文本或图像。模型层面的影响涉及用户选择对推荐算法，大模型依赖特征的影响。包括推荐算法是否根据用户选择改变其行为和推荐的本质。最后，系统层面的影响是指在更大范围内，人类与推荐算法之间的互动所带来的集体性影响。

相关文献表明，这些影响可能在系统层面表现为极化、回音室效应、不平等、集中和隔离等。极化是指根据某些属性（观点或信仰）将用户或项目急剧划分为不同的群体。回音室效应是指在一个群体中，观点选择得到确认和加强的环境。不平等表示一个群体成员之间资源分布的不均匀，而集中则是指用户的紧密聚集，在城市背景下，集中通常被识别为拥堵。隔离是指用户群体相互分离的情况。一些影响仅在个体或模型层面出现。例如，信息茧房（个体层面），用户只接触到与其已有信仰一致的信息，以及模型崩溃（模型层面），即，随着推荐系统与用户持续协同进化，推荐系统性能逐渐下降。

最终，所有层面出现的成果反映在数量（即衡量某些用户或物品属性的量）和多样性（即物品和用户行为的多样性）的变化上，而所有这些变化，都是人类与人工智能协同进化过程中自然而然产生的副产品。

在社交媒体中，推荐系统取得了相当大的成功，它帮助用户推荐新帖子和关注的新用户。用户与推荐系统之间的这种协同进化产生了两个相互关联的反馈循环。首先，用户与帖子之间的互动会影响推荐的内容，这些推荐影响了用户与未来帖子之间的后续互动。其次，用户选择关注的账户也会影响推荐的用户，这些推荐影响了用户与其关注者之间的后续互动。这种反馈循环可能在个体层面（如信息茧房、同质化）和系统层面（如极化、碎片化、回音室效应）产生多种影响。虽然推荐系统帮助用户获取内容，并与志同道合的人建立联系，但这些算法也可能将他们限制在信息茧房中。这种限制可能导致观点和用户的显著极化，从而促成思想的极端化倾向。例如，如前所述，Twitter 上的个性化推荐过度暴露用户于某些政治内容。

在线上零售中，推荐系统在亚马逊、eBay 和 Netflix 等电子商务和流媒体巨头成功中扮演着关键角色。这些推荐系统与消费者的共同进化可能产生复杂的反馈循环机制。推荐的商品（例如，消费品、歌曲、电影）取决于之前的购买，而这些购买又受到之前推荐的影响。在这个人机生态系统中，一个关键的区别在于协同过滤和个性化推荐。协同过滤基于“买了这个的谁也买了那个”的原则，依赖于集体用户行为；而个性化推荐则根据个人用户口味定制建议。例如，协同过滤可能增加销售量和个体消费多样性，同时可能降低整体消费多样性，放大流行产品的成功。一方面，推荐系统帮助用户更好地在庞大的产品选择空间中导航，减少选择过载，快速分配所需商品，并提升平台收入。另一方面，在整体层面，它们可能会减少购买产品的多样性（即围绕用户创建过滤气泡）并增加集中度，有利于某些品牌并减少竞争。

导航服务会在考虑不断变化的交通状况并协助用户探索不熟悉地区的情况下，推荐一条到达目的地的路线。因此，具有相同起点和终点的用户会收到类似的推荐。导航服务对城市的影响尚不明确：虽然它们旨在优化个人出行时间，但也可能导致拥堵，并导致环境中的旅行时间更长和二氧化碳排放量更高。例如，在 2017 年，谷歌地图、Waze 和苹果地图将驾驶员从拥堵的高速公路重新引导至新泽西州Leonia （一个小镇）狭窄且多山的街道，造成了更严重的拥堵。这些问题因驾驶员与算法更新之间的协同进化而加剧，形成了一个反馈循环：即实际推荐的旅行时间，也取决于受先前推荐影响的驾驶员的路线选择。驾驶员的行为可能会改变旅行时间，从而塑造随后的推荐。在这种情况下，如果太多驾驶员选择同一条“环保”路线，这条路线将不再环保。

最近出现的大型语言模型正迅速渗透到各个领域，例如教育、政治、就业市场。这些模型的使用可能压缩了语言多样性，从而标准化了生成文本中的语言风格。最近的研究表明，当使用大模型生成的内容来微调大模型自身时，可能会发生“回归均值”的现象，损失生成文本的形式和内容中的语言多样性。随着更多由机器生成的网页内容被用作模型的训练数据，这一自我强化的过程将更加普遍。在分析层面，我们需要理解这种协同进化，以开发能平衡反馈循环潜在的积极影响（语言标准化）和负面影响（语言多样性压缩）的推荐系统。

推荐算法对上述社会现象产生重大且往往“非预期”的影响，这是人机协同进化的核心，因为它们可能会放大社会中已经存在的趋势。不同社会科学领域（如政治学、社会学、政治经济学、经济学和心理学）的研究表明，个人主义和不公的增加以及公共和社会政策的缩减是多个国家的现实情况。在这方面，以人为本的人类-人工智能协同进化研究，应整合社会科学来评估反馈循环机制可能的社会影响。由于篇幅原因，我们将重点关注三个此类交叉点的例子，但这远非全部内容：（i）个人效用与公共商品；（ii）“推荐手段”的所有权；（iii）不平等和集中的现象。

推荐系统的设计通常旨在最大化公司和个人的效用和利润（例如，针对城市地图生态系统，针对在线零售生态系统），然而，这种设计忽视了公共效用的考量。理解这种局限性的一个有效起点是理性选择理论和个人主义方法论（ethodological individualism）的辩论。理性选择理论建立在个体在社会中通过理性推理行动，从而最大化其效用的理念之上。个人主义方法论将社会结果解释为社会中所有人关系行为的总和。基于个人主义方法论设计的推荐系统可能不会考虑集体效用。

历史上，有许多由个人主义行为普遍性导致的对社会造成损害的例子。例如托马斯·莫尔和“圈地运动”，这反映了人类与推荐算法共同进化可能产生的潜在悖论。圈地运动是一场将原本集体使用的土地私有化的大规模运动。类似地，依赖个人效用为驱动力的推荐算法，可能会降低由人工智能发展带来的潜在集体效用，从而加强社会中已经存在的极化机制。

人类与人工智能的协同进化与资本主义的运作密切相关：推荐算法和人工智能的重大技术发展，正是在理性选择理论、个人主义方法论以及新自由主义经济学占主导地位的时期发生的。就如 Kean Birch 关于“自动化新自由主义”的概念（该概念认为数字平台塑造市场，个人数据积累改变个体生活），算法有自动化社会关系的潜力。

然而，可能有助于提高集体效用的解决方案，往往会因推荐算法的作用而难以实现。人工智能与社会的协同进化发生在拥有主流推荐算法的平台和不加批判使用这些算法的用户之间缺乏平衡的背景下。关于谁拥有生产资料的古老问题在今天显得尤为突出，并在人机协同进化的环境中呈现出新的形式。在这方面，通过拥有主流推荐算法，因而产生最多互动的平台，可能在经济和社会中产生变革性影响。

该文并不会阐述人类与人工智能协同进化的政治经济学，即在对资产所有权与推荐者影响力之间的相互联系进行系统分析。然而，这一方面是讨论，至少从理论上，涉及人类与推荐算法协同进化的潜在意外后果的基本背景要素。如果推荐算法对塑造个人选择有强大的影响力，而这些个人选择又塑造了集体结果，我们就必须反思这些选择是如何被做出的。

此外，协同进化的影响可以进一步强化其社会影响，并越来越多地损害集体效用。相反的推理也是有效的，在不同的社会经济背景下，如果推荐算法旨在实现共同的集体目标，则可以通过协同进化促进积极的社会结果。这一点强调了仅仅经由技术的解决方案，即认为技术是我们面临任何挑战的答案，面临较高的风险。我们需要更多关于人类与人工智能协同进化的研究来引导积极的结果。一项对近期研究的综述表明，人工智能倾向于加剧社会分化，尤其是对于历史上被边缘化的群体（例如，关于美国的研究指出种族和性别的影响）。这些模式在低收入/中等收入国家更为明显。可以合理地假设，由于我们缺乏衡量人机协同进化及反馈机制的研究，人工智能的不均衡影响被低估或高估了。

人类与人工智能的协同进化可能会在不同背景的系统中加剧不平等和集中度。例如，在社交媒体中，推荐系统可能会在个人层面加剧曝光不平等，无论用户属性或网络特征如何，都会加剧“富者愈富”效应，对于在线零售，基于购买的协同过滤可能会促使用户购买更多商品，但也可能导致集中度上升，促使用户购买相同的商品。在城市地图里，网约车（如 Uber 和 Lyft）可能会误导贫困和黑人社区的低乘客量，并将其视为低用户需求的表现，从而加剧现有的种族和社会经济不平等。在内容生成生态系统中，这样的算法自我强化可能导致生成内容多样性的丧失。

人类与人工智能协同进化的研究对未来提出了重要挑战，这些挑战可以分为科学、法律和社会政治层面（见图4）

▷图4. 人机协同进化对未来提出的三种重要挑战

从科学角度来看，我们需要一种方法来持续测量反馈循环对人类和推荐者行为的影响，并提出建议。这种方法可以通过跟踪每次推荐算法重新训练时所带来影响的变化来实现。例如，可以测量用户在特定时间内购买的产品种类，评估反馈循环机制在较长的时间尺度上放大或减少这种多样性的程度，又或者，需要多少连续的反馈循环迭代才能改变这种购买多样性？以类似的方式，我们可以跟踪推荐者在重新训练算法后发生的变化：例如考察生成式大模型需要多长时间才会崩溃并失去语言多样性？

研究人机协同进化的一个重要技术因素是反馈循环不同阶段出现的偏差：从用户收集数据可能引入用户选择和曝光偏差；推荐系统从数据中学习时可能出现的归纳偏差，以及将推荐结果反馈给用户后可能产生的流行度偏差和不公平。这些偏差以及其他如数据污染等问题，可以塑造反馈循环机制以及个体、项目、模型和系统性层面的影响。当前文献中尚未充分测量反馈循环不同阶段的偏差之间的相互作用。

另一个值得关注的根本议题是从众与多样性的平衡。从数学建模角度，我们需要有意识地努力，以更好地捕捉反馈循环机制及其对人类-人工智能生态系统的影响。在认识论层面，理解人类与推荐者之间的因果相互作用至关重要；然而，许多现有文献中忽视了协同进化的视角。为减轻这一问题，我们可以采取一些步骤，例如开发考虑反馈循环机制的受控研究。此外，我们必须超越单向因果观，双向探索人类和推荐算法相互持续施加的影响，需要对其协同进化的动力学进行整体研究。

除了科学挑战，其他障碍可能阻碍我们研究人机协同进化这一涌现现象的能力，例如，研究人员无法获取平台外部的数据，以及不同平台中推荐系统设计和应用的透明度不足。这严重损害了关于人机协同进化潜在研究的可重复性和可复制性。而类似欧盟的数字服务法案这样的举措可能缓解这一障碍，但如何允许经过审查的研究人员访问私有平台仍不清楚。除了新的法律透明度框架外，克服这些障碍的一个潜在的方法可能是开发专门的 API，鼓励外部研究人员与平台互动，并通过改变推荐者的参数或建立实验组和对照组用户来开展实证受控实验。政府应鼓励平台建立持续评估反馈循环机制影响的文化，这可以借鉴已有的经验，如减排标准和药品副作用监管等措施。

增加透明度也要求在社会政治层面解决其他基本挑战。推荐算法的集中程度在此议题中至关重要。在大型科技公司享受寡头垄断地位的环境中，推荐算法被调整来为少数人产生高额利润。在这方面，以人为本的人类与人工智能协同进化研究，可能因缺乏政治干预来重新分配推荐渠道及手段，导致众多小型用户市场以及更广泛的社会影响受到忽视。这种干预措施可能有助于制定更透明的数据访问规则和更公平的推荐手段分配。从长远来看，推荐算法或人类行为的微小变化可能导致对社交结果产生重大影响，无论是积极的还是消极的。这可能会在反馈循环中引入“蝴蝶效应”，对此我们必须研究和理解。

该文所讨论的挑战即使在未来的在线平台可能发生深度变革的情况下也将持续存在，例如去中心化平台架构的出现、用户对数据拥有所有权，AI智能体的成熟，以及新的平台监督和管理模式。这些挑战不仅关系到学者进行研究的能力，而且远远超出这一范围，影响到社会和政治领域。只有准确测量和理解推荐算法对人类行为的影响，我们才能向政策制定者提供如何做出明智决策的信息，“不仅考虑到现实世界，还要考虑到未来世界”。这种理解对于设计适当的政策以避免人类和推荐算法之间不受控制的协同进化所带来的潜在负面外部性至关重要。我们致力于构建一个以社会为中心的未来人工智能，它会是解决长期社会问题的方案的一部分，而不是问题的一部分。

早期Tiktok难民挤爆小红书，如今Deepseek洗卷文科，该文对人工智能和人类协调进化的讨论，变得和你我密切相关。该文聚焦推荐系统，这是由于推荐系统已经相对成熟，有足够的相关研究。而影响可能更为深远的是大模型及相关智能体，其不止能用于推荐，还能用于教育，并影响就业市场。只是由于相关研究还不够多，因此该文没有主要阐述。此外，该文也没有谈及人工智能对人类文化及政治层面的影响。

翻译完该文，觉得文中主要讨论的是人类与人工智能协同进化中受到的负面影响。该文标题预言，在人类与人工智能组成的生态系统中，人类如同线粒体，为人工智能提供数据作为养料。然而在更理想的状态中，人工智能负责提供人类监督下的自动化，以确保人性的底线，而那些不能够被自动化定义的，方才是人性的上限。

本文参考来源：Pedreschi, Dino, et al. "Human-AI coevolution." Artificial Intelligence (2024): 104244.

来源：钛媒体