Cloudflare开始免费提供阻止AI机器人的一键式解决方案

Cloudflare开始免费提供阻止AI机器人的一键式解决方案 就在上周，Akamai 的一份报告再次证实，机器人在整个网络流量中的占比非常大，人工智能让网络犯罪分子和不诚实的企业更容易得手。使用 Cloudflare 提供的内容交付和防火墙服务的网站和内容创建者现在又多了一个简单易用的解决方案，可以遏制大科技公司在没有明确授权的情况下释放机器人和采集网站内容的能力。大多数流行的人工智能公司（如 OpenAI）已经开始提供一种方法，通过在服务器上的robots.txt 文件中添加自定义规则来阻止爬行机器人。然而，这些解决方案只有在机器人被设计为真正遵守这些规则时才会起作用问题在于：1）并非所有公司都愿意遵守 robots.txt 指令；2）许多人工智能公司在提供这种"选择退出"之前就已经放弃了一切可能Cloudflare 表示，其绝大多数客户（多达 85%）已经选择以这种方式阻止人工智能机器人。Cloudflare 提供的新一键式解决方案既适用于免费客户，也适用于付费客户，它似乎可以有效打击不遵守 robots.txt 规则的人工智能机器人。Cloudflare 可以识别机器人，并为每个机器人创建单独的指纹，而且它发誓会随着时间的推移自动更新其指纹数据库。作为互联网上最大的 CDN 网络之一，Cloudflare 可以从平均每秒超过 5700 万次的网络请求中推断出数据。该公司列出了一份当今网络上最活跃的人工智能机器人名单，其中 Bytespider、GPTBot 和 ClaudeBot 是访问量最大的三个机器人。Bytespider 由中国公司和 TikTok 所有者字节跳动运营，很可能使用从 40% 受 Cloudflare 保护的网站上抓取的内容来训练其大型语言模型。GPTBot 正在访问 35% 的网站，并收集数据用于训练 ChatGPT 和 OpenAI 提供的其他生成式人工智能服务。Cloudflare 表示，ClaudeBot 最近的请求量增加了 11%，并被用于训练 Anthropic 开发的同名 LLM 算法系列。虽然通过静态分析可以更容易地识别这些众所周知的机器人，但 Cloudflare 还可以检测到假装成真人浏览网页的机器人。该公司开发了自己的全球机器学习模型，基本上是利用人工智能技术来识别假装成其他东西的人工智能机器人。Cloudflare表示，其模型能够"适当标记"来自躲避性人工智能机器人的流量，未来将用于检测新的刮擦工具和假冒机器人，而无需先生成新的机器人指纹。 ... PC版： 手机版：