OpenAI 现允许网站阻止其网络爬虫抓取数据，避免数据被用于训练 AI 模型

OpenAI 现允许网站阻止其网络爬虫抓取数据，避免数据被用于训练 AI 模型 OpenAI 在其博客文章中表示，网站运营者可以通过在其网站的 Robots.txt 文件中禁止 GPTBot 的访问，或者通过屏蔽其 IP 地址，来阻止 GPTBot 从其网站上抓取数据。 GPTBot是OpenAI的网络爬虫，可以通过以下用户代理和字符串来识别。 User agent token: GPTBot Full user-agent string: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot) 禁止 GPTBot User-agent: GPTBot Disallow: / 自定义 GPTBot 访问 User-agent: GPTBot Allow: /directory-1/ Disallow: /directory-2/ IP 出口范围 40.83.2.64/28

OpenAI 现允许网站阻止其网络爬虫抓取数据，避免数据被用于训练 AI 模型

OpenAI 现允许网站阻止其网络爬虫抓取数据，避免数据被用于训练 AI 模型 OpenAI 在其博客文章中表示，网站运营者可以通过在其网站的文件中禁止 GPTBot 的访问，或者通过屏蔽其 IP 地址，来阻止 GPTBot 从其网站上抓取数据。OpenAI 还表示，“使用 GPTBot 用户代理（user agent）抓取的网页可能会被用于改进未来的模型，并且会过滤掉那些需要付费访问、已知收集个人身份信息（PII）、或者有违反我们政策的文本的来源。”对于不符合排除标准的来源，“允许 GPTBot 访问您的网站可以帮助 AI 模型变得更加准确，并提高它们的通用能力和安全性。” 但是，这并不会追溯性地从 ChatGPT 的训练数据中删除之前从网站上抓取的内容。来源 ，， 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

《纽约时报》封杀 OpenAI 的网络爬虫

《纽约时报》封杀 OpenAI 的网络爬虫 《纽约时报》屏蔽了 OpenAI 的网络爬虫，这意味着 OpenAI 无法使用该出版物的内容来训练其人工智能模型。 如果你查看《纽约时报》的 robots.txt 页面，就会发现《纽约时报》禁止使用 OpenAI 本月早些时候推出的爬虫 GPTBot。根据互联网档案馆的 Wayback Machine，纽约时报似乎早在 8 月 17 日就屏蔽了该爬虫。 这一变化是在《纽约时报》本月初更新其服务条款以禁止使用其内容来训练人工智能模型之后发生的。据报道，《纽约时报》还在考虑对 OpenAI侵犯知识产权的行为采取法律行动。 此前莎拉·西尔弗曼和另外两位作家在 7 月份就 OpenAI 使用 Books3 训练 ChatGPT 而起诉该公司，Books3 是一个用于训练 ChatGPT 的数据集，可能包含数千部受版权保护的作品，还有一位程序员兼律师马修·巴特里克指控该公司的数据抓取行为构成软件盗版侵权。

涉嫌违规抓取网站数据 亚马逊AWS调查Perplexity AI

涉嫌违规抓取网站数据 亚马逊AWS调查Perplexity AI robots.txt协议作为一种网络标准，由网站管理员设置，旨在告知网络爬虫哪些页面可以被访问，哪些则禁止抓取。尽管遵守该协议是自愿的，但长期以来，各大搜索引擎和知名公司的爬虫程序普遍遵循这一标准。然而，近期有指控称，Perplexity AI的爬虫程序却选择了忽视。根据《Wired》杂志的报道，其调查团队发现了一台托管在AWS服务器上的虚拟机，该机器使用的IP地址为44.221.181.252，在过去三个月内多次访问并抓取了Condé Nast旗下资产的内容，包括《Wired》杂志本身。此外，《卫报》、《福布斯》和《纽约时报》等媒体也报告了类似情况，指出该IP地址多次访问其出版物内容。为验证Perplexity AI是否确实在抓取内容，《Wired》杂志将文章标题或简短描述输入Perplexity的聊天机器人进行测试。结果显示，聊天机器人返回的内容与原文措辞高度相似，且引用极少，进一步加剧了对其违规行为的质疑。面对指控，Perplexity AI方面表示已回应亚马逊的询问，并否认其爬虫程序故意绕过robots.txt协议。公司发言人Sara Platnick强调，PerplexityBot在AWS上运行时尊重robots.txt文件，并确认公司控制的服务不会违反AWS服务条款进行爬虫活动。然而，她也承认，在特定情况下，即用户输入特定URL时，PerplexityBot会忽略robots.txt协议。Perplexity AI首席执行官Aravind Srinivas则指出，公司确实使用了第三方网络爬虫程序，而Wired所识别的违规爬虫可能正是其中之一。他否认公司“无视机器人排除协议并就此撒谎”，但承认公司在数据处理和引用来源方面存在改进空间。值得注意的是，路透社最近的一份报告指出，Perplexity AI并非唯一一家绕过robots.txt文件收集内容以训练大型语言模型的人工智能公司。然而，亚马逊的调查目前似乎仅针对Perplexity AI展开。亚马逊发言人向《连线》杂志表示，AWS服务条款明确禁止客户使用其服务进行任何非法活动，且客户有责任遵守条款和所有适用法律。此次调查旨在确认Perplexity AI是否存在违规行为，并根据调查结果采取相应措施。 ... PC版： 手机版：

Reddit 更新 robots.txt 文件 加强爬虫限制

Reddit 更新 robots.txt 文件 加强爬虫限制 社交平台 Reddit 周二宣布，在接下来的几周内，将更新其机器人排除协议 (robots.txt 文件)，该协议提供有关该平台如何允许和不允许第三方抓取 Reddit 内容的高级说明。除了更新 robots.txt 文件外，Reddit 还将继续对未知的机器人和抓取工具访问该平台网站进行速率限制和/或阻止。此更新不应影响绝大多数使用和享受 Reddit 的用户。善意的行为者，如研究人员和互联网档案馆等组织，仍将能够出于非商业目的访问 Reddit 内容。

ℹ封锁 AI 爬虫抓取网站资料！Cloudflare 推免费工具还揭露了 OpenAI 与字节跳动等 AI 的惊人「存取率」#

ℹ封锁 AI 爬虫抓取网站资料！Cloudflare 推免费工具还揭露了 OpenAI 与字节跳动等 AI 的惊人「存取率」# 对于网站而言这些可能因为爆量存取而导致接近于攻击的行为，促使了许多如媒体等网站对于 AI 服务如 OpenAI 等的存取采取阻挡的策略。继...