ChatGPT搜索极易受到操控

摘要:基于ChatGPT技术的搜索引擎展现出对操控的高度敏感性,用户可能会接收到误导性答案。OpenAI推出的ChatGPT搜索引擎专为AI助手的订阅用户设计,声称提供比传统搜索引擎更优的结果。然而,调查显示,该搜索引擎的结果容易受到影响,存在重大安全隐患。隐藏内容

#头条精品计划#

基于ChatGPT技术的搜索引擎展现出对操控的高度敏感性,用户可能会接收到误导性答案。OpenAI推出的ChatGPT搜索引擎专为AI助手的订阅用户设计,声称提供比传统搜索引擎更优的结果。然而,调查显示,该搜索引擎的结果容易受到影响,存在重大安全隐患。隐藏内容中的指令可能导致ChatGPT修改响应,甚至提供不实信息。安全专家警告,结合搜索功能与大型语言模型的风险需要用户谨慎对待,尤其是在编程帮助方面。尽管存在初步风险,专家对未来改进持乐观态度,认为当前版本是开创性的进展。OpenAI尚未回应相关调查,且最近推出了仅供顶级开发者使用的o1推理模型。

基于ChatGPT技术构建的搜索引擎展现出对潜在操控的高度敏感性。这种脆弱性可能通过“提示注入”等技术实现,允许对响应进行修改。因此,使用该搜索引擎的用户可能会收到不仅被操控而且误导性的答案。最近,OpenAI推出了基于ChatGPT的搜索引擎,称为ChatGPT搜索,专为其AI助手的订阅用户而设。开发者表示,这种以提示驱动的搜索引擎提供了比传统搜索引擎显著改善的搜索结果。因此,用户被鼓励将ChatGPT搜索作为他们的主要搜索工具。

然而,《卫报》的最新调查揭示,ChatGPT搜索生成的搜索结果容易受到影响。这种操控引发了重大安全隐患。其中一个显著问题是,当ChatGPT被要求总结包含隐藏内容的网页时,其搜索能力受到限制。这些隐藏内容可能包括迫使ChatGPT修改其响应的指令,这种技术被称为提示注入。此外,嵌入在这些隐藏内容中的故意指令可能导致ChatGPT提供不实的答案,例如,过度强调某些产品的优势。这种操控的脆弱性可能被恶意利用,潜在地使ChatGPT传播来自受损网站的有害代码。

安全专家对这一研究发表了看法,强调将搜索功能与大型语言模型(LLMs)结合所带来的长期风险。因此,用户应保持谨慎,不要自动信任AI工具生成的答案。微软的一位安全专家描述了一个最近的事件,涉及一位加密货币爱好者,他寻求ChatGPT的编程帮助。提供的代码中包含一段声称是访问Solana区块链的合法方法。不幸的是,这段代码实际上是恶意代码,导致开发者的登录凭据被盗,造成2500美元加密货币的损失。

尽管与ChatGPT的新搜索功能相关的初步风险存在,但安全专家对这些问题在未来会有所减轻持乐观态度。他们指出,目前的ChatGPT搜索版本在这一领域代表了开创性的一步。OpenAI尚未对《卫报》关于这些发现的询问作出回应。此外,值得注意的是,OpenAI最近推出了o1推理模型,该模型仅供顶级开发者使用。

来源:老孙科技前沿一点号

相关推荐