摘要：快速搜索AI代理开发工具，建立广泛的选项列表不会花很长时间。您的组织将如何决定将哪些工具和平台集成到您的开发工作流程中？一个平台对整个人工智能代理开发生命周期的支持有多好，哪些平台具有最成熟的集成、测试、安全和运营能力？

越来越多的公司正在采取行动，将定制人工智能代理整合到业务运营中。以下是评估人工智能代理开发工具和平台时需要寻找的八项基本功能。

快速搜索AI代理开发工具，建立广泛的选项列表不会花很长时间。您的组织将如何决定将哪些工具和平台集成到您的开发工作流程中？一个平台对整个人工智能代理开发生命周期的支持有多好，哪些平台具有最成熟的集成、测试、安全和运营能力？

您的初始列表可能包括开源框架、托管在SaaS平台上的工具以及包含AI代理开发功能的低代码平台。超大规模、大型语言模型提供商和初创企业也在营销人工智能代理开发平台。

除了审查人工智能代理工具和平台的结构化流程外，组织在审查开发人工智能代理的机会时还应考虑架构规则、数据管理注意事项、围绕人工智能的开发人员准备情况以及LLM测试策略。

我联系了专家，确定了人工智能代理开发生命周期中使用的工具和平台的评估标准。

1.人工智能代理开发和部署能力

WisdomAI的联合创始人兼首席执行官Soham Mazumdar表示，开发人工智能代理的平台需要三个核心能力：

可配置性允许团队通过提示、工具和特定领域的知识库自定义行为，而无需更改代码。

评估框架，能够实现严格的测试、行业标准基准测试以及跨各种场景的持续性能验证。

监控和报告，通过详细的日志记录、实时分析和捕获用户交互的可操作反馈回路提供全面的运营可见性。

Mazumdar说：“这些一起工作，以确保代理不仅易于部署，而且始终可靠、可适应上下文，并随着需求的演变和用户需求的变化而定位为持续改进。”

我的看法：为了将更多的实验提升到生产中，组织需要考虑人工智能代理平台的测试和操作能力。如果他们将人工智能代理视为“黑匣子”，那么使用第三方测试和操作工具可能并不理想。具备所有三种功能的平台应该促进更可靠的人工智能代理的交付。

2.代理人工智能的数据集成、编排和控制

对于希望将人工智能代理扩展到更自主的代理功能的组织，评估平台以实现更大的数据集成和控制。Altair数据和人工智能平台高级副总裁Christian Buckner表示，企业需要跨域环境、核心代理机制和企业级控制来为代理自动化打下真正的基础。

上下文不仅仅是数据，还包括政策、工具、过去的行动和监管限制。

力学是指快速工程、数据管道、多代理编排、工具注册、LLM连接和对企业系统的访问等构建模块。

控制意味着将代理视为生产环境中的行为者，其中包含访问治理、可观察性、结果评估和升级。

Buckner说：“有效的代理人工智能需要广泛的基础设施和软件基础，其中大部分对企业来说是全新的。”

我的看法：人工智能代理工具专注于构建、测试和部署，而支持代理人工智能的平台应该能够连接到数据平台、人工智能代理、治理能力和支持操作的工具生态系统。

3.开发者经验

一旦组织对人工智能代理开发工具和代理人工智能能力有了广泛的了解，那么就更深入地研究其功能、外形因素和经验。我总是从最终用户体验开始，因为如果工具太难学习或使用，就会减慢进度，并导致变通办法。

Brillio数据和人工智能董事总经理Dhiraj Pathak说：“在评估代理构建平台时，要寻找那些结合了直观开发体验、深度企业集成和内置治理的平台。”“跨系统编排、确保可解释性和合规性以及不断从反馈中学习的能力将可扩展转型与短寿命试点区分开来。”

我的看法：让不同技能水平的多个开发人员评估几个人工智能代理构建工具。时间框他们学习和进行一些实验的努力，然后收集有关他们经历的反馈。

4.集成能力和互操作性

人工智能代理构建工具需要连接到多个数据源，以及测试不同模型和配置的能力。因此，在验证开发人员体验后，回顾将AI代理开发工具与目标企业数据源连接起来有多容易。

Boomi首席执行官Steve Lucas说：“在选择构建人工智能代理的工具时，团队必须确保互操作性和治理到位，以实现完全的透明度，包括输入/输出、决策路径和外部依赖关系。”“此外，团队应该评估平台是否在其更广泛的数字生态系统中无缝集成，并提供无代码功能来支持可访问性和易用性。”

Dataiku人工智能战略主管Kurt Muehmel补充说：“在评估人工智能代理构建工具时，寻找支持与企业系统和模型持久集成的平台，允许灵活的LLM交换，并通过强大的监控、调试和性能分析实现持续优化。真正的代理成熟度来自于这种全周期的适应性。”

我的看法：技术组织最终拥有太多开发工具的一个原因是，选择侧重于一些短期用例的交付速度。展示集成和互操作性能力的平台更可扩展，更有可能用于持续开发。

5.从运营经验中学习的能力

人工智能代理需要大量数据，但需要评估的是他们解释信息和建议行动的能力。在企业环境中，这不仅意味着连接到数据源；它需要开发使用反馈回路，并围绕业务语言、角色和工作流程构建智能。

Verint首席技术官Rob Scudiere说：“在评估AI代理构建工具时，必须审查它们自主处理客户互动和支持任务的能力。”“品牌必须确定其学习能力，以便通过互动和消耗更多数据来提高绩效。此外，在机会和潜在问题出现之前，考虑解决方案的主动性。”

Hasura的企业现场首席技术官Kenneth Stott补充说：“代理商需要从运营经验中学习，但这种学习必须是可审计和一致的。”“在企业环境中，你不能让代理基于你无法追踪或控制的反馈回路朝着不可预测的方向发展。”

PolyAI首席执行官兼联合创始人Nikola Mrksic表示，真正让人工智能代理感到有帮助的是他们说客户语言的能力。Mrksic说：“您必须能够在人工智能代理构建中包含词典定制，这意味着教授与您的业务和客户群相关的人工智能特定单词、商标短语或行话。”

我的看法：组织应该通过使用子集数据构建人工智能代理来制定测试计划，允许测试版测试用户验证结果，并使用和其他数据源迭代改进模型。迭代方法有助于提高最终用户的采用率和信任度，同时评估人工智能代理提高其结果的能力。

6.采用零信任安全原则

Druva首席技术官Stephen Manley表示，值得信赖的人工智能代理将遵循零信任原则来保护数据访问，集成到安全的生态系统中，并保护数据。曼利提供了以下要求：

代理必须适应基于角色的、最不特权的访问架构，这样您就可以继续保护您的主数据安全。

工具必须集成到您的可观察性生态系统中，以便您可以监控正在发生的事情。

在数据收集、准备、模型训练、微调和部署的整个人工智能生命周期中保护数据。

RAD Security的联合创始人兼首席技术官Jimmy Mesta也对安全能力进行了权衡。他说：“有效代理必须访问实时遥测，在交互中保留短期和长期记忆，并在外部系统中触发操作。”

ASAPP产品管理高级副总裁Devidas Desai补充说：“您的生成代理必须作为您品牌的延伸，因此坚持深度可观察性，包括实时跟踪、编辑日志、令牌支出和CX级关键绩效指标，以及政策驱动的杠杆，让您在不打开票证的情况下微调提示、护栏和回退。”

Dust的软件工程师兼联合创始人Stanislas Polu补充了最后说明。“人工智能代理不会与特定个人绑定，而是作为完整的团队成员，因此您必须为他们提供新的权限，并使代理能够跨人员和产品无缝运行。”

我的看法：人工智能代理是一个安全热点，因为他们访问的企业数据、他们启用的自动化以及他们承担的用户角色。安全功能将是企业就绪的人工智能代理开发平台的关键差异化因素。

7.原生和集成的devops功能

有40多个devops最佳实践涵盖了从规划和构建到部署和监控的应用程序生命周期。寻找具有一些原生功能的人工智能代理开发工具，以及其他与商业devops平台集成的工具。

Copado产品高级副总裁Gloria Ramchandani说：“团队需要版本可追溯性、响应准确性测试和内置护栏等功能，以确保人工智能的道德使用。”“就像任何现代devops工作流程一样，代理也必须能够跨环境部署，具有可审计性和控制性。最有效的工具和平台是那些授权跨职能团队构思、构建、测试和部署具有大规模安全的代理的工具和平台。”

我的看法：人工智能代理将需要持续开发，特别是随着模型的改进、基础数据的变化和新的工作流程的整合。定义devops能力的高基线，特别是围绕连续测试、高级CI/CD和可观察性。

8.不可协商的运营报告

生产人工智能代理可能会以微妙的方式失败，例如以明显的幻觉来回应，或者更糟的是，它可能会采取不利于业务和品牌的自主行动。监控人工智能代理不是通过-失败的SLA驱动操作，响应准确性周围有一个灰色区域。高级人工智能代理构建工具和平台将包括监控和报告，以帮助用户辨别模型漂移和其他潜在错误。

KNIME首席执行官Michael Berthold说：“一旦代理成功部署到实际工作中，更好地了解他们何时以及为什么失败就变得至关重要。”“然而，允许用户实际追踪代理得出某种结论或执行特定操作的工具仍然很少。”

Salesloft首席技术官Saurabh Sodani补充说：“全面的监控和分析对于开发人员来说，了解他们的人工智能代理在生产中的表现以及确定需要改进的内容至关重要。”“如果没有显示成功率、用户满意度和失败点的详细仪表板，开发人员就无法根据实际使用情况有效地迭代和完善他们的代理。”

一种新的代理操作学科（即agentops）正在出现，它结合了devops和modelops的能力，包括可观察性和监控性，有助于跟踪人工智能代理的准确性、可靠性和性能。

IBM watsonx.ai的产品主管Maryam Ashoori说：“Agentops是一个快速发展的学科，为了在它中表现出色，人工智能构建者需要正确的工具来大规模优化、部署和监控代理行为。一旦代理部署、管理和保护他们，Agentops工具应该充当中枢神经系统，以便他们的自主性不会从资产转向负债。”

我的看法：Agentops是一种新兴的功能，它可能会结合传统监控工具、AIops平台和AI代理开发工具的各个方面。

结论

许多组织仍处于开发人工智能代理的早期阶段，而科技公司继续引入新的开发能力，如代理集成协议，如Agent2Agent（A2A）和模型上下文协议（MCP）。考虑开发人工智能代理的公司应该对他们将用来支持整个人工智能代理开发生命周期的工具有短期和长期的看法。

来源：AI中国一点号