摘要：在与Help Net Security的访谈中，AutoRABIT的首席技术官杰森·洛德讨论了人工智能（AI）代理在网络安全中的风险。他指出，幻觉、提示注入和固有偏见等问题使这些系统易受攻击。AI代理基于大型语言模型（LLMs），其不确定性在现实应用中带来显著

在与Help Net Security的访谈中，AutoRABIT的首席技术官杰森·洛德讨论了人工智能（AI）代理在网络安全中的风险。他指出，幻觉、提示注入和固有偏见等问题使这些系统易受攻击。AI代理基于大型语言模型（LLMs），其不确定性在现实应用中带来显著风险，可能导致虚构信息和恶意输入，进而形成攻击向量。洛德强调，AI代理的特权身份和对企业系统的访问权限增加了新的攻击面，可能导致严重的数据泄露和系统损害。此外，AI代理的行为不确定性使审计变得复杂，组织需警惕由AI驱动的供应链风险，确保对AI生成输出的严格治理和持续监控，以应对潜在的脆弱性和风险。

在最近与Help Net Security的访谈中，AutoRABIT的首席技术官杰森·洛德深入探讨了与集成于现实系统中的人工智能（AI）代理相关的网络安全威胁。他强调了诸如幻觉、提示注入和固有偏见等关键问题，这些问题可能使这些系统面临攻击的脆弱性。洛德强调了监督、持续监控以及实施人机协作控制的重要性，以有效应对这些网络安全挑战。

AI代理通常是基于基础模型或大型语言模型（LLMs）构建的。这些模型的不确定性，包括幻觉和提示注入，在这些代理被应用于现实场景时带来了显著风险。基础模型和LLMs是基于庞大的数据集进行训练的，这意味着任何现存的偏见、低质量输入或事实不准确性都可能在其行为中根深蒂固。随着时间的推移，尤其是当模型与更广泛的上下文互动时，这些差异可能会积累。

尽管LLMs的不确定性在创意或对话应用中可能带来积极效果，但在运营环境中却可能导致相当大的风险。幻觉，即虚构或错误的陈述，以及提示注入——对输入的恶意修改——可能会创造隐藏的脆弱性。在严重的情况下，这些问题可能成为攻击向量，给予未授权访问关键系统或敏感信息的机会。即使是AI代理输出中的轻微不准确性，也可能危及数据完整性或产生后门，从而导致从未授权披露到潜在系统损坏的各种风险。

当AI代理被赋予访问企业系统、工具或数据的权限时，它们引入了新的攻击面和供应链脆弱性。实际上，AI代理成为了一类新的特权身份，能够访问敏感信息和关键业务操作。它们执行命令、检索或更改数据以及与其他企业系统互动的能力意味着，一旦AI代理的凭证或操作逻辑被攻破，可能造成的损害与整个特权用户账户被妥协一样严重。

与传统脚本或应用程序相比，AI代理的不确定行为使审计过程变得复杂。它们依赖于自然语言输入，这些输入可能通过提示注入、对抗样本或配置错误的访问控制等技术被操控，从而导致不期望或恶意的行为。组织还必须意识到由AI驱动的供应链风险。当AI代理为持续集成和持续部署（CI/CD）管道创建代码或生成工件时，可能无意中引入脆弱性或将错误逻辑传播到下游系统。这些隐藏的风险可能在经过彻底审计或利用尝试之前持续存在，突显出对严格治理、访问控制和对AI生成输出的持续监控的迫切需求。

来源：老孙科技前沿