Reddit 更新 robots.txt 文件 加强爬虫限制

Reddit 更新 robots.txt 文件 加强爬虫限制 社交平台 Reddit 周二宣布，在接下来的几周内，将更新其机器人排除协议 (robots.txt 文件)，该协议提供有关该平台如何允许和不允许第三方抓取 Reddit 内容的高级说明。除了更新 robots.txt 文件外，Reddit 还将继续对未知的机器人和抓取工具访问该平台网站进行速率限制和/或阻止。此更新不应影响绝大多数使用和享受 Reddit 的用户。善意的行为者，如研究人员和互联网档案馆等组织，仍将能够出于非商业目的访问 Reddit 内容。

Reddit 在 IPO 前签署人工智能内容许可协议

Reddit 在 IPO 前签署人工智能内容许可协议 据知情人士透露，Reddit Inc. 已与一家大型人工智能公司达成了一项丰厚的协议，允许其使用社交媒体平台的内容来训练其模型。该公司即将启动期待已久的首次公开募股。知情人士称，这家总部位于旧金山的公司在 IPO 中告诉潜在投资者，该公司已于今年早些时候签署了该协议，该交易的年化价值约为6000万美元。其中一位人士说， Reddit 与一家未具名的大型人工智能公司签订的协议可能成为未来类似性质合同的范本。

《纽约时报》封杀 OpenAI 的网络爬虫

《纽约时报》封杀 OpenAI 的网络爬虫 《纽约时报》屏蔽了 OpenAI 的网络爬虫，这意味着 OpenAI 无法使用该出版物的内容来训练其人工智能模型。 如果你查看《纽约时报》的 robots.txt 页面，就会发现《纽约时报》禁止使用 OpenAI 本月早些时候推出的爬虫 GPTBot。根据互联网档案馆的 Wayback Machine，纽约时报似乎早在 8 月 17 日就屏蔽了该爬虫。 这一变化是在《纽约时报》本月初更新其服务条款以禁止使用其内容来训练人工智能模型之后发生的。据报道，《纽约时报》还在考虑对 OpenAI侵犯知识产权的行为采取法律行动。 此前莎拉·西尔弗曼和另外两位作家在 7 月份就 OpenAI 使用 Books3 训练 ChatGPT 而起诉该公司，Books3 是一个用于训练 ChatGPT 的数据集，可能包含数千部受版权保护的作品，还有一位程序员兼律师马修·巴特里克指控该公司的数据抓取行为构成软件盗版侵权。

OpenAI 签署协议以 Reddit 数据训练人工智能

OpenAI 签署协议以 Reddit 数据训练人工智能 人工智能公司 OpenAI 已与 Reddit 达成协议，使用该社交新闻网站的数据来训练人工智能模型。OpenAI 表示，与 Reddit 的合作将使其能够访问 Reddit 上的“实时、结构化和独特内容” (例如帖子和回复)，从而使其工具和模型能够“更好地理解和展示”这些内容。Reddit 的内容将被整合到 OpenAI 流行的对话式人工智能 ChatGPT 中，双方将合作为 Reddit 用户和版主带来未具体说明的新“人工智能功能”。OpenAI 也将成为 Reddit 的广告合作伙伴。

“美版贴吧”Reddit上市前签署AI内容授权协议

“美版贴吧”Reddit上市前签署AI内容授权协议 有知情人士表示，这家总部位于旧金山的公司告诉一些潜在投资者，它已于今年早些时候签署了这笔按年计算价值约6，000万美元的重磅协议。知情人士表示，Reddit与一家未具名的大型人工智能科技公司达成的协议，可能成为未来类似性质合同的典范。随着ChatGPT和谷歌的Bard等以消费者应用为中心的生成式人工智能（AI）工具接连问世，全球开始迈入AI时代，现代化的人工智能程序开始使用大型语言模型，在海量的网络内容上训练人工智能系统，其中的数据内容包括推特（被马斯克收购后改名为X社交平台）和Reddit等网站上用户生成的帖子。在去年，Reddit曾公开要求开发者支付数千美元才能直接访问该公司的数据和内容，此举可能有助于该公司构建更多元化的营收来源。据不完全统计，每日有千万级别用户涌入Reddit发帖、浏览、转发文章，这些内容包括但不限于政治、经济、体育、娱乐、生活、美食等等，这些内容共同构建起巨大的数据库。知情人士表示，Reddit去年的营收规模超过8亿美元，比2022年的数字增长了大约20%。从席卷全球科技企业的人工智能浪潮中获利的能力，可能有助于Reddit利用全球投资者对这项革新性的技术的投资热情，进而推动其整体估值以及IPO规模。有媒体报道称，有华尔街投资机构建议该公司考虑至少50亿美元的IPO规模，并建议最早于下个月正式启动IPO。据媒体今年早些时候的报道，以摩根士丹利和高盛集团为首的约16家华尔街投行正在筹备此次IPO；参与此项交易的其他投资银行可能还包括摩根大通、美国银行和花旗集团等。知情人士表示，Reddit内部围绕IPO的讨论仍在进行中，上市计划以及与AI货币化有关的细节都可能发生变化。Reddit的一位代表拒绝就媒体援引的知情人士消息进行置评。渴望获得海量社交媒体数据来训练自己的AI应用软件的人工智能公司，一直在与渴望获得新营收来源的内容提供商达成训练数据许可协议。据媒体此前报道，风靡全球的ChatGPT开发商的OpenAI去年12月与德国媒体行业巨头阿克塞尔·施普林格公司（Axel Springer SE）达成了一项价值数千万美元的人工智能数据训练合同。据媒体报道，ChatGPT文本生成工具背后的这家AI初创公司同时也在与包括CNN、福克斯公司和时代周刊在内的知名新闻出版商进行谈判，以获得他们的数据训练许可，为其人工智能聊天机器人ChatGPT提供更多的训练数据，使其响应的结果更加精确、更相关、更及时。 ... PC版： 手机版：

涉嫌违规抓取网站数据 亚马逊AWS调查Perplexity AI

涉嫌违规抓取网站数据 亚马逊AWS调查Perplexity AI robots.txt协议作为一种网络标准，由网站管理员设置，旨在告知网络爬虫哪些页面可以被访问，哪些则禁止抓取。尽管遵守该协议是自愿的，但长期以来，各大搜索引擎和知名公司的爬虫程序普遍遵循这一标准。然而，近期有指控称，Perplexity AI的爬虫程序却选择了忽视。根据《Wired》杂志的报道，其调查团队发现了一台托管在AWS服务器上的虚拟机，该机器使用的IP地址为44.221.181.252，在过去三个月内多次访问并抓取了Condé Nast旗下资产的内容，包括《Wired》杂志本身。此外，《卫报》、《福布斯》和《纽约时报》等媒体也报告了类似情况，指出该IP地址多次访问其出版物内容。为验证Perplexity AI是否确实在抓取内容，《Wired》杂志将文章标题或简短描述输入Perplexity的聊天机器人进行测试。结果显示，聊天机器人返回的内容与原文措辞高度相似，且引用极少，进一步加剧了对其违规行为的质疑。面对指控，Perplexity AI方面表示已回应亚马逊的询问，并否认其爬虫程序故意绕过robots.txt协议。公司发言人Sara Platnick强调，PerplexityBot在AWS上运行时尊重robots.txt文件，并确认公司控制的服务不会违反AWS服务条款进行爬虫活动。然而，她也承认，在特定情况下，即用户输入特定URL时，PerplexityBot会忽略robots.txt协议。Perplexity AI首席执行官Aravind Srinivas则指出，公司确实使用了第三方网络爬虫程序，而Wired所识别的违规爬虫可能正是其中之一。他否认公司“无视机器人排除协议并就此撒谎”，但承认公司在数据处理和引用来源方面存在改进空间。值得注意的是，路透社最近的一份报告指出，Perplexity AI并非唯一一家绕过robots.txt文件收集内容以训练大型语言模型的人工智能公司。然而，亚马逊的调查目前似乎仅针对Perplexity AI展开。亚马逊发言人向《连线》杂志表示，AWS服务条款明确禁止客户使用其服务进行任何非法活动，且客户有责任遵守条款和所有适用法律。此次调查旨在确认Perplexity AI是否存在违规行为，并根据调查结果采取相应措施。 ... PC版： 手机版：