Reddit 更新 robots.txt 文件 加强爬虫限制

Reddit更新robots.txt文件加强爬虫限制社交平台Reddit周二宣布，在接下来的几周内，将更新其机器人排除协议(robots.txt文件)，该协议提供有关该平台如何允许和不允许第三方抓取Reddit内容的高级说明。除了更新robots.txt文件外，Reddit还将继续对未知的机器人和抓取工具访问该平台网站进行速率限制和/或阻止。此更新不应影响绝大多数使用和享受Reddit的用户。善意的行为者，如研究人员和互联网档案馆等组织，仍将能够出于非商业目的访问Reddit内容。——

相关推荐

封面图片

Google呼吁更新"robots.txt"以适应新兴AI场景

Google呼吁更新"robots.txt"以适应新兴AI场景Google副总裁在博客中表示，随着新技术的出现，网络社区有必要发展支持网络未来发展的标准和协议。Robots.txt，一个于近30年前由社区主导的创建的网络标准，已被证明是网络出版商控制搜索引擎抓取其内容的一种简单透明的方式。（Robots.txt是一个文本文件，用于控制搜索引擎爬虫在网站上的抓取行为。其本身是非强制性的，不具备法律效应。）他们认为现在应当为网络和人工智能社区探索其他机器可读方法，以便网络发布者选择和控制新兴人工智能和研究用例，并将为此启动。消息来源：投稿：@ZaiHuaBot频道：@TestFlightCN
封面图片

Reddit更新robots.txt文件加强爬虫限制https://www.bannedbook.org/bnews/itnew
封面图片

X更新服务条款：禁止第三方抓取数据来培训AI模型

X更新服务条款：禁止第三方抓取数据来培训AI模型robots.txt文件可向机器人爬虫提供指令，告诉它们可以访问网站的哪些部分。但在过去的几个月里，X公司修改了robots.txt文件，删除了除谷歌以外的所有爬虫机器人指令。2015年，X公司与谷歌达成了一项协议，允许谷歌在搜索结果中显示推文。X公司老板埃隆·马斯克（ElonMusk）一直反对第三方收集X平台上的数据来培训人工智能模型。今年4月，他甚至威胁要起诉微软，称微软非法使用X的数据训练其人工智能模型。7月，X公司对四家实体提起诉讼，指控它们从事数据抓取活动，导致X的服务器严重紧张，用户体验恶化。X当时称：“抓取会干扰网站和移动App的合法运营，因为它发出了数百万个请求，对服务器带来很大负载，并损害了真正用户的体验。“在禁止第三方抓取的同时，X本月早些时候也曾调整隐私政策，允许X使用用户发布的信息来训练其人工智能模型。马斯克称，X只会使用公开的信息来训其练人工智能模型，不会使用任何私有的内容。...PC版：https://www.cnbeta.com.tw/articles/soft/1382587.htm手机版：https://m.cnbeta.com.tw/view/1382587.htm
封面图片

CloudFlare为所有用户推出AI爬虫防护功能，一键拦截未经授权的AI爬虫抓取网站数据

CloudFlare为所有用户推出AI爬虫防护功能，一键拦截未经授权的AI爬虫抓取网站数据CloudFlare最近推出了一项新的AI爬虫防护功能，允许用户一键开启自动拦截AI爬虫，防止网站数据被用于AI模型训练。这项服务对免费和订阅用户均开放，旨在避免未经授权的内容抓取。尽管CloudFlare的具体运作原理尚未公开，但预计其可能通过识别并拦截常见的AI爬虫名称来实现防护。此外，对于不遵守robots.txt协议的爬虫，CloudFlare建议使用额外措施，如封禁高频UA或开启真人验证功能，以增强防护效果。关注频道@ZaiHuaPd频道爆料@ZaiHuabot
封面图片

X（推特）更新服务条款：禁止第三方抓取数据来培训 AI 模型

X（推特）更新服务条款：禁止第三方抓取数据来培训AI模型X公司（推特）日前更新了服务条款，在未经许可的前提下，任何第三方都不得在X平台上抓取数据来培训人工智能（AI）模型。该条款将于9月29日起生效。根据新条款，未经事先书面许可，无论出于何种目的，都不得在X平台上进行任何形式的数据抓取行为。而之前，X公司允许外界通过robots.txt文件对平台数据进行抓取。在禁止第三方抓取的同时，X本月早些时候也曾调整隐私政策，允许X使用用户发布的信息来训练其人工智能模型。马斯克称，X只会使用公开的信息来训其练人工智能模型，不会使用任何私有的内容。来源，频道：@kejiqu群组：@kejiquchat
封面图片

小红书禁止所有搜索引擎抓取其内容 只能通过站内手动

小红书禁止所有搜索引擎抓取其内容只能通过站内手动搜索目前并不清楚小红书为什么禁止搜索引擎抓取内容，从SEO角度来说，允许搜索引擎抓取有助于给小红书带来更多流量，毕竟现在百度都索引了7亿多个网页。而且小红书是去年4月修改的，所以估计也不是因为防止被抓取内容训练AI吧？但小红书目前的内容库拿去训练AI确实很有价值，毕竟巨量文字和图片内容。不过robots.txt文件只是君子协定，属于防君子不妨小人的那种，除了会导致用户无法从搜索引擎直接查询小红书内容外，其实帮助也不大，毕竟其他非搜索引擎的爬虫也会继续抓取内容，小红书肯定也做了反爬措施了。现在国内的网站禁止搜索引擎抓取已经是个很常见的事情，或者专门预留一些层级目录供搜索引擎抓取想要获得一些流量，更有甚者甚至别说搜索引擎了，就连正常的用户访问也会被拦截，必须注册账号登录后才能继续访问，这显然不是一个好事情。附小红书2023年4月2日的robots.txt信息：下面是小红书最新的robots.txt信息：...PC版：https://www.cnbeta.com.tw/articles/soft/1425509.htm手机版：https://m.cnbeta.com.tw/view/1425509.htm

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人