Reddit向AI搜索爬虫发出侵权警告

Reddit向AI搜索爬虫发出侵权警告 该公司表示，它还将继续阻止和限制未与该公司事先达成协议的爬虫和其他机器人。该公司表示，这些变化不会影响"善意的行为者"，如互联网档案馆和研究人员。Reddit 的这一通知是在多方报道 Perplexity 和其他人工智能公司经常绕过robots.txt协议，该协议被出版商用来告诉网络爬虫他们不希望其内容被访问。Perplexity 的首席执行官最近在一次采访时说该协议"不是一个法律框架"。Reddit 发言人在一份声明中表示，这并不是针对某家公司。该发言人说："这次更新并不是针对某个实体，而是为了保护 Reddit，同时保持互联网的开放性。在接下来的几周里，我们将更新 robots.txt 说明，尽可能明确：如果你使用自动代理访问 Reddit，无论你是哪类公司，你都需要遵守我们的条款和政策，并与我们沟通。我们相信开放的互联网，但我们不相信对公共内容的滥用。"这已经不是该公司第一次在数据访问方面采取强硬立场了。该公司在开始对其 API 收费时，就提到了人工智能公司使用其平台的情况。 API收费时，该公司提到了人工智能公司使用其平台的情况。此后，该公司与一些人工智能公司达成了许可协议，其中包括 Google和 OpenAI.这些协议允许人工智能公司在 Reddit 的档案中训练自己的模型，这也是新近上市的 Reddit 的重要收入来源。这句话中的"和我们谈谈"部分很可能是在不露声色地提醒人们，Reddit 已经不再是一家免费提供内容的公司了。 ... PC版： 手机版：

OpenAI主动公开自家爬虫，撇清窃取数据之嫌？OpenAI的网络爬虫GPTBot可以自动从整个互联网上抓取数据。OpenAI称

OpenAI主动公开自家爬虫，撇清窃取数据之嫌？OpenAI的网络爬虫GPTBot可以自动从整个互联网上抓取数据。OpenAI称将使用这些数据将用于训练未来的AI模型。如果不希望GPTBot访问你的网站，可以将GPTBot添加到你网站的robots.txt文件中 #抽屉IT

知情人士向《科创板日报》记者透露，腾讯微信内容其实并未向谷歌、必应开放，而是系统存在小漏洞，其他搜索引擎可通过爬虫抓取到内容，后

知情人士向《科创板日报》记者透露，腾讯微信内容其实并未向谷歌、必应开放，而是系统存在小漏洞，其他搜索引擎可通过爬虫抓取到内容，后续此系统漏洞或将被修复。 编者按：截至发稿时，昨晚曾一度清空的 https://mp.weixin.qq.com/robots.txt 已恢复其原本内容，即禁止搜索引擎抓取。 （财联社）

涉嫌违规抓取网站数据 亚马逊AWS调查Perplexity AI

涉嫌违规抓取网站数据 亚马逊AWS调查Perplexity AI robots.txt协议作为一种网络标准，由网站管理员设置，旨在告知网络爬虫哪些页面可以被访问，哪些则禁止抓取。尽管遵守该协议是自愿的，但长期以来，各大搜索引擎和知名公司的爬虫程序普遍遵循这一标准。然而，近期有指控称，Perplexity AI的爬虫程序却选择了忽视。根据《Wired》杂志的报道，其调查团队发现了一台托管在AWS服务器上的虚拟机，该机器使用的IP地址为44.221.181.252，在过去三个月内多次访问并抓取了Condé Nast旗下资产的内容，包括《Wired》杂志本身。此外，《卫报》、《福布斯》和《纽约时报》等媒体也报告了类似情况，指出该IP地址多次访问其出版物内容。为验证Perplexity AI是否确实在抓取内容，《Wired》杂志将文章标题或简短描述输入Perplexity的聊天机器人进行测试。结果显示，聊天机器人返回的内容与原文措辞高度相似，且引用极少，进一步加剧了对其违规行为的质疑。面对指控，Perplexity AI方面表示已回应亚马逊的询问，并否认其爬虫程序故意绕过robots.txt协议。公司发言人Sara Platnick强调，PerplexityBot在AWS上运行时尊重robots.txt文件，并确认公司控制的服务不会违反AWS服务条款进行爬虫活动。然而，她也承认，在特定情况下，即用户输入特定URL时，PerplexityBot会忽略robots.txt协议。Perplexity AI首席执行官Aravind Srinivas则指出，公司确实使用了第三方网络爬虫程序，而Wired所识别的违规爬虫可能正是其中之一。他否认公司“无视机器人排除协议并就此撒谎”，但承认公司在数据处理和引用来源方面存在改进空间。值得注意的是，路透社最近的一份报告指出，Perplexity AI并非唯一一家绕过robots.txt文件收集内容以训练大型语言模型的人工智能公司。然而，亚马逊的调查目前似乎仅针对Perplexity AI展开。亚马逊发言人向《连线》杂志表示，AWS服务条款明确禁止客户使用其服务进行任何非法活动，且客户有责任遵守条款和所有适用法律。此次调查旨在确认Perplexity AI是否存在违规行为，并根据调查结果采取相应措施。 ... PC版： 手机版：

《纽约时报》封杀 OpenAI 的网络爬虫

《纽约时报》封杀 OpenAI 的网络爬虫 《纽约时报》屏蔽了 OpenAI 的网络爬虫，这意味着 OpenAI 无法使用该出版物的内容来训练其人工智能模型。 如果你查看《纽约时报》的 robots.txt 页面，就会发现《纽约时报》禁止使用 OpenAI 本月早些时候推出的爬虫 GPTBot。根据互联网档案馆的 Wayback Machine，纽约时报似乎早在 8 月 17 日就屏蔽了该爬虫。 这一变化是在《纽约时报》本月初更新其服务条款以禁止使用其内容来训练人工智能模型之后发生的。据报道，《纽约时报》还在考虑对 OpenAI侵犯知识产权的行为采取法律行动。 此前莎拉·西尔弗曼和另外两位作家在 7 月份就 OpenAI 使用 Books3 训练 ChatGPT 而起诉该公司，Books3 是一个用于训练 ChatGPT 的数据集，可能包含数千部受版权保护的作品，还有一位程序员兼律师马修·巴特里克指控该公司的数据抓取行为构成软件盗版侵权。

OpenAI 和 Anthropic 无视了防止机器人抓取在线内容的既定规则

OpenAI 和 Anthropic 无视了防止机器人抓取在线内容的既定规则 据《商业内幕》获悉，世界上最大的两家人工智能公司无视媒体出版商要求其停止免费抓取其网络内容用于模型训练的请求。据了解 TollBit 调查情况的人士以及另一位知情人士称，OpenAI 和 Anthropic 要么无视、要么规避了名为 robots.txt 的既定网络规则，该规则阻止自动抓取网站内容。TollBit 是一家致力于在出版商和人工智能公司之间促成付费许可交易的初创公司，该公司发现有多家人工智能公司存在这种行为，并在周五的信函中通知了某些大型出版商，信函中没有透露被指责规避规则的人工智能公司名字。