摘要：它的目的是「减慢、迷惑并浪费不遵守禁止爬取指令的AI爬虫和其他机器人的资源」，Cloudflare 在其博客文章中描述道。「当AI爬虫跟随这些链接时，它们会浪费宝贵的计算资源处理无关内容，而不是提取合法网站数据。这大大降低了它们收集足够有用信息以有效训练模型的
它的目的是「减慢、迷惑并浪费不遵守禁止爬取指令的AI爬虫和其他机器人的资源」，Cloudflare 在其博客文章中描述道。「当AI爬虫跟随这些链接时，它们会浪费宝贵的计算资源处理无关内容，而不是提取合法网站数据。这大大降低了它们收集足够有用信息以有效训练模型的能力」。相比起反击，另一种观点是「Nepenthes有一种令人满意的正义感，因为它向爬虫提供无意义的内容并污染它们的数据源，但最终Anubis是对网站有效的解决方案」。拒绝或者反击也许都不是最佳的途径。DeVault也公开发出了一则诚恳的请求，希望有一个更直接的解决办法：「请停止将LLMs或AI图像生成器任何这类垃圾合法化。恳求停止使用它们，停止谈论它们，停止制造新的，就这么停下」。但是，想让LLM厂商主动停止爬虫这种情况的可能性几乎为零。毕竟AI的「智能」都来自于不断「吞噬」互联网上的各种数据和信息。不论是给禁止AI爬虫访问网站、给AI「投喂垃圾」还是将AI爬虫拉入「无线虚空」。开发者们，尤其是在开源软件领域，正在用智慧和「极客幽默」进行反击。如果你是网站管理者和开发者，你会如何「出招」？参考资料：https://techcrunch.com/2025/03/27/open-source-devs-are-fighting-ai-crawlers-with-cleverness-and-vengeance/原标题：《AI爬虫肆虐，OpenAI等大厂不讲武德！开发者打造「神级武器」宣战》 来源：蕾姐育儿知识
免责声明：本站系转载，并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题，请在30日内与本站联系，我们将在第一时间删除内容!
