Cloudflare为免费用户推出AI爬虫防护功能 可自动识别和阻止抓取内容的爬虫
Cloudflare为免费用户推出AI爬虫防护功能可自动识别和阻止抓取内容的爬虫新推出的AI爬虫防护(AIScrapersandCrawlers)则是面向所有用户推出的一键设置，无论是免费还是订阅用户，只需要一键开启该选项后即可。CloudFlare称开启此选项后将会阻止机器人和爬虫抓取网站内容用于训练人工智能模型，这可以避免某些人工智能公司未经授权直接抓取网站内容。背后的运作原理暂时还不清楚，不过大概率是CloudFlare已经整理并识别常见的AI爬虫例如OpenAI的GPTBot，只要根据这些爬虫的名称进行拦截即可。CloudFlare为数以百万计的网站提供安全防护和分发服务，因此这项功能也确实有实际意义，毕竟有不少网站尤其是新闻媒体类的网站都是版权保护的。只不过问题在于爬虫识别本身也是防君子不防小人，像OpenAI这样公布自己的爬虫名称并表示会遵守robots.txt协议还好处理，问题是很多公司压根不遵守协议也不公布自己的爬虫名称，疯狂抓爬网站获取内容。这种情况下想要拦截就需要想一些对策了，比如对于高频抓爬的UA直接封禁，开启CloudFlare的真人验证等功能，防止各种爬虫绕过CloudFlare的AI爬虫防护。如何开启此功能：CloudFlare、控制台、转到对应网站、安全性、自动程序，开启AIScrapersandCrawlers即可。...PC版：https://www.cnbeta.com.tw/articles/soft/1436037.htm手机版：https://m.cnbeta.com.tw/view/1436037.htm
