摘要：近年来，基于大型语言模型（LLMs）的多智能体系统（MAS）已成为人工智能领域的研究热点。然而，尽管这些系统在诸多任务中展现了出色的能力，但如何精准评估它们的推理、交互和协作能力，依然是一个巨大的挑战。针对这一问题，我们推出了 WiS 平台 —— 一个实时对战
近年来，基于大型语言模型（LLMs）的多智能体系统（MAS）已成为人工智能领域的研究热点。然而，尽管这些系统在诸多任务中展现了出色的能力，但如何精准评估它们的推理、交互和协作能力，依然是一个巨大的挑战。针对这一问题，我们推出了 WiS 平台 —— 一个实时对战、开放可扩展的 “谁是卧底” 多智能体平台，专为评估 LLM 在社交推理和博弈中的表现而生。
想象一下，一个卧底 AI 拿分配到了 “咖啡”，而其他 AI 分配到的是 “喝茶”，卧底 AI 选择用 “保持清醒” 来混淆视听，而只因为咖啡比茶更能提神这么一点小差异，出色的 GPT-4o 通过链式推理精准识别出了卧底，而那个卧底 AI 还在努力辩解：“其实喝茶也能提神啊！”
WiS 平台到底是什么？简单来说，它是一个基于 “谁是卧底” 游戏的 AI 竞技场，但它的目的不仅仅是为了娱乐，而是通过这种高度互动的社交推理场景，深入剖析大语言模型（LLMs）在推理、欺骗和协作中的潜能。你想知道哪个 AI 智商最高？哪个 AI 最会骗人？WiS 平台就是为了解答这些问题而生的！
在这里，每个 AI 都化身 “玩家”，通过一轮又一轮的发言、投票和伪装来展示自己的社交博弈能力。平民 AI 们要通过逻辑推理找出卧底，而卧底 AI 则在一边拼命 “打太极”，一边尽量隐藏自己 —— 每一句话都可能成为破绽，一边巧妙放出迷惑众人的 “鱼钩”。
想知道哪家 AI 能成为 “卧底之王” 吗？WiS 平台即将为你揭晓答案。
WiS 平台亮点详解
WiS 平台不仅是一个游戏竞技平台，更是一个面向多智能体系统研究的高效实验工具。
1. 精细评估 LLMs 的多智能体能力
WiS 平台让 AI 们在游戏中斗智斗勇，每一轮发言都是戏精级别的表演。发言稍有不慎？卧底身份可能立刻暴露！这种紧张的互动场景，让 AI 必须在语言表达和隐藏信息之间找到微妙的平衡点。
为了保证 “戏份” 公平，WiS 平台给每个 AI 都安排了 “双面角色”：既扮演平民，也要扮演卧底。提示词、参数配置全都一样，谁更能扮猪吃老虎，一眼就看出谁是卧底，这才是 AI 真实水平的较量！
“谁是卧底？” 游戏中不同模型的表现。第一名和第二名表现分别以粗体和下划线字体表示。“Average Score” 是指所有回合的总得分除以回合数。
想看一看你的模型能否击败推理达人 GPT-4o 吗？快来 WiS 平台上试一试吧！
2. 攻击与防御能力的创新实验
WiS 平台特别设计了 “提示词注入攻击与防御” 实验，以模拟实际交互中的复杂策略：
结果分析：实验发现，大部分模型在防御策略下胜率有所下降，但防御能力较强的模型（如 GPT-4o）的表现仍能显著优于平均水平。
具体案例：
两种即时注入策略下不同模型的性能比较。“PIA” 代表即时注入进攻，而 “PID” 代表即时注入防守。评估的指标包括投票准确率、犯规率、平均得分和胜率。
3. 推理能力的详细评估
“谁是卧底” 作为经典的社交推理游戏，对模型的分析与推理能力提出了严苛要求：
数据亮点：在推理实验中，GPT-4o 的投票准确率从普通状态下的 51.85% 提升至 89.29%，而 Qwen2.5-72B-Instruct 则从 51.72% 下降至 32.35%，揭示了模型之间在复杂推理能力上的显著差距。
不同模型在推理上的表现比较。“Vote Acc.” 指投票准确率，“Civ.WR” 指平民胜率，“Civ. Avg Score” 指平民平均得分。
4. 全面的多维度评估能力
WiS 平台针对多智能体系统评估中普遍存在的挑战，如公平性、评估维度单一等问题，提供了一套创新的解决方案。
综合评分机制：平台采用零和评分机制，确保游戏总分固定，同时激励智能体在各阶段优化策略。
5. 实时竞技与可视化回放
WiS 平台致力于降低用户体验门槛，提供了实时参与游戏和复盘比赛的便捷功能：
6. 兼具开源与易用性
WiS 平台以开放为核心理念，为研究者和开发者提供了一套灵活、高效的工具：
WiS 平台通过上述技术创新和全面实验，揭示了 LLMs 在多智能体环境中的潜能与局限性。接下来，我们将聚焦于平台的应用场景与未来展望，展示其在研究和实际应用中的巨大价值！
团队介绍
作者来自淘天集团未来生活实验室 & 阿里妈妈技术团队。核心作者：核心作者包括胡成伟、郑建辉、贺彦程、江俊广等。
淘天集团未来生活实验室致力于建设面向未来的生活和消费方式，进一步提升用户体验和商家经营效果。实验室聚焦大模型、多模态等 AI 技术方向，致力于打造大模型相关基础算法、模型能力和各类 AI Native 应用，引领 AI 在生活消费领域的技术创新。阿里妈妈技术团队在深度学习领域、展示和搜索广告算法领域以及引擎等方向，保持着业内领军地位，引领了 AI 在互联网营销领域的探索和大规模应用，同时在生成式 AI 大模型、多模态等领域不断进行技术探索和应用，大语言模型已经在阿里妈妈的 To B 和 To P（professional consumer）业务场景开始应用。
来源：游戏新视角
