摘要：在互联网世界中，验证码（CAPTCHA）就像是网站的门卫，守护着网络服务不被机器人滥用。然而，对于那些旨在自动化网页任务的人工智能助手来说，这些验证码却成了一道难以逾越的障碍。2025年5月，来自MBZUAI（穆罕默德·本·扎耶德人工智能大学）VILA实验室和
为什么验证码对AI智能体如此重要？
想象一下，你开发了一个能帮助用户自动浏览网页、填写表单的AI助手。这个助手在实验室环境中表现出色，但一旦部署到真实网站上，却频频被验证码拦下。特别是在电子商务平台或登录页面这类高价值网站上，这个问题尤为突出。正如论文作者所指出的，要让AI智能体真正能在现实世界中派上用场，自主解决验证码必须成为其核心能力之一。
现有研究的局限性
虽然像Openai-o3、Claude-3.7-Sonnet和Gemini2.5-Pro这样的多模态大语言模型在静态视觉任务上表现出色，但它们在处理需要多步骤、交互式推理的验证码任务上的能力却未经系统测试。更令人担忧的是，大多数现有的AI智能体测试平台（如VisualWebArena和AgentBench）会刻意过滤掉包含验证码的网页，以避免测试失败。这就像是测试司机能力时，特意避开了所有有红绿灯的路口一样，无法全面评估智能体在真实世界中的适应能力。
Open CaptchaWorld：首个验证码测试平台
为了填补这一研究空白，研究团队开发了Open CaptchaWorld，这是首个专门设计用于测试多模态智能体解决验证码能力的网络平台。这个平台包含20种现代验证码类型，总计225个验证码样本，涵盖了拖拽式、序列点击、滑块对齐和计数式等多种验证码形式。
验证码推理深度：一个全新的评估指标
研究团队还引入了一个新颖的评估指标：验证码推理深度（CAPTCHA Reasoning Depth）。这个指标量化了解决每个验证码所需的认知和运动步骤数量。简单来说，就是衡量一个人（或AI）需要执行多少思考和操作步骤才能成功解决验证码。例如，一个简单的"点击狐狸"验证码可能只需要两步：识别目标对象，然后点击。而一个复杂的拼图验证码则可能需要识别多个部件的对齐方式，规划顺序，并拖动每个部件到正确位置，导致更高的推理深度。
人类VS机器：巨大的差距
实验结果令人深思：人类参与者在测试中能够达到93.3%的成功率，而最先进的MLLM智能体表现却差强人意。即使是表现最好的Browser-Use Openai-o3，其成功率也仅有40.0%，远低于人类水平。这一巨大差距凸显了现有多模态AI系统在处理复杂交互式任务时的局限性。
研究方法：构建一个全面的测试环境
研究团队的数据收集流程非常严谨。由于现有商业验证码不开源，他们开发了一套数据收集流水线，要么使用GPT-4o生成图像，要么由人类设计师创建。每种验证码都经过精心设计，确保人类能够轻松解决，但对AI智能体构成挑战。研究团队还对每种验证码类型进行了推理深度标注，以量化其认知复杂度。
AI过度思考的问题
研究中的一个有趣发现是，AI模型倾向于"过度思考"验证码任务。以序列匹配验证码为例，人类只需执行三个简单步骤：从参考图像识别图标顺序，在主面板中搜索它们，按顺序点击并提交答案。然而，AI模型如Openai-o3会将过程分解为更多细粒度步骤，如识别每个图标、记忆它们的顺序、单独执行每次点击、监控每次操作后的界面反馈等。这导致AI给出的推理深度评估远高于人类。
这种差异反映了一个更广泛的模式：模型倾向于将任务分解为细致的、字面的步骤，而人类则依靠整体理解和先验经验来简化推理过程。人类可以跳过明显或熟悉的操作，专注于高效解决问题。相比之下，模型在每次对话开始时都会重置上下文，除非明确提示，否则无法重用先前的经验。
不同模型的表现对比
在测试中，研究团队评估了多种搭载浏览器使用工具的先进MLLM模型，包括Openai-o3、Claude-3.7-Sonnet、Gemini2.5-Pro和GPT-4.1等。结果显示，Openai-o3表现最佳，成功率达40.0%，但也是成本最高的选项之一，每次完整评估花费66.4美元。GPT-4.1和Gemini2.5-Pro紧随其后，成功率均为25.0%，而成本则相对适中。
值得注意的是，各模型在不同类型验证码上的表现差异很大。大多数模型在依赖基本视觉感知的任务（如图像识别、图像匹配和动物选择）上表现较好。但在需要空间操作（如滑动拼图）、计数（如骰子计数）、动态控制（如按住按钮）或路径推理（如路径查找）的任务上，所有模型几乎都完全失败。
失败案例分析
研究团队对Openai-o3的失败案例进行了深入分析，将其归纳为三种主要模式：
1. 模型采用了大致正确的解决策略，但缺乏足够的视觉感知或空间理解能力。例如，在"放置点"任务中，模型理解应该在路径末端放置一个点，但反复在靠近中心的位置点击，错过了实际目标。
2. 模型面临复杂但精细的操作难题。例如，在"滑动拼图"任务中，模型理解目标但无法计算和执行所需的精确对齐。
3. 模型采用了误导性策略。例如，在"对象匹配"任务中，模型依赖图像文件名或HTML文本线索而非视觉分析，导致从根本上错误的解决方案。
这些失败案例揭示了当前多模态AI系统在处理需要精细视觉-运动协调和多步推理的任务时的核心局限性。
研究意义：为何这项工作很重要
Open CaptchaWorld填补了一个关键的研究空白，为评估和改进AI智能体的实际部署能力提供了宝贵工具。随着越来越多的AI系统被设计用于自动化网络任务，验证码解决能力将成为决定其实用性的关键因素。通过提供一个开源、全面的测试平台，研究团队为未来的模型开发和评估设定了一个新的基准。
特别值得注意的是，Open CaptchaWorld不仅测试静态识别能力，还评估模型在动态、多步骤交互中的表现。这种评估方法更接近真实世界中的应用场景，能够揭示出在简单基准测试中可能被掩盖的问题。
未来展望
尽管当前模型与人类水平之间存在显著差距，但这项研究为缩小这一差距指明了方向。通过深入理解模型在验证码任务中的失败模式，研究人员可以针对性地改进多模态智能体的推理能力、视觉理解和交互操作能力。随着这些改进的实现，我们可以期待未来的AI系统能够更加无缝地融入网络环境，为用户提供更加流畅和自主的体验。
总结
Open CaptchaWorld代表了多模态AI评估领域的一个重要里程碑。通过专注于验证码这一长期被忽视但至关重要的挑战，研究团队不仅揭示了当前模型的局限性，还为未来的研究和开发提供了宝贵的工具和基准。随着多模态智能体继续发展，这类专注于真实世界应用的评估将变得越来越重要，确保我们开发的AI系统不仅在实验室环境中表现出色，也能在复杂多变的真实世界中有效运作。
有兴趣深入了解这项研究的读者可以通过访问Open CaptchaWorld的代码和数据平台或查阅原始论文获取更多信息。随着该平台的持续更新和扩展，它将为研究人员提供越来越丰富的资源，促进多模态智能体在实际应用中的进步。
来源：至顶网一点号