科技巨头狂撒千亿美元 “买照片” 只为训练AI模型?

科技巨头狂撒千亿美元 “买照片” 只为训练AI模型? 不只是Photobucket,Reddit、Youtube等知名网站都成了科技巨头们的疯抢目标。苹果为训练AI买图片,网友担忧隐私Photobucket是一个提供影像寄存、视频寄存、幻灯片制作与照片分享服务网站,成立于2003年。在当时,用户把这个网站当作个人相册,与功能与现在流行的在线相册非常相似。在巅峰期,该网站曾拥有7000万用户。而到2007年,Photobucket就声称已有超过28亿张图像上传到其网站。不过随着越来越多的功能更强大的在线相册App出现之后,这种网站式的在线相册也逐渐失去了热度。不过毕竟是一家成立二十多年的网站,别的不说,数据是真的多,130亿张图片与视频,足够AI模型消化很久。据悉,苹果购买的图片的主要目的就是提高生成式AI的水平。除此之外,苹果公司在早些时候与另一家图片素材网站Shutterstock达成了数百万张图片的授权协议,据悉这笔交易的价值在2500万美元到5000万美元之间。随着 今年6月份WWDC大会日益临近,每个人都在期待苹果公司能带来“令人惊叹”的AI功能。但和上笔交易不同,不少网友开始为了隐私担心。有人评论表示,Photobucket的图片来源都是基于网友的“托管,这就意外着这些图片虽然已经是陈年老图,但仍属于用户的个人秘密。而Shutterstock的数据大多是免版税的图片、矢量图和插图库,包括影片剪辑以及音乐曲目,本身就可以授权给用户使用。这么一对比,网友对于Photobucket的数据隐私安全问题也可以理解了。除了涉及隐私以外,不少网友还对这些库存照片的质量提出了质疑。如果给AI喂食这些本来就带有错误的图片,那么是否会生成质量更低的图片呢?总之,就苹果购买Photobucket图片的行为,大多数网友并不赞同。但即使冒着泄露隐私的风险,苹果和其他公司们还是得“铤而走险”搞来这些数据。主要原因还是高质量的互联网数据,可能没几年就要耗尽了。其实早在多年前,各大科技巨头就已经碰到训练语料缺失的瓶颈。据《纽约时报》报道,OpenAI在训练GPT-4时,就曾遇到英文文本资料缺失的情况。为了处理这个问题,OpenAI推出一款名为Whisper语音识别工具,用来转录Google旗下视频平台Youtube的视频音频,生成大量的对话文本。据报道称,这款工具以开源的名义转录了超过一百万小时的Youtube视频,实际上已经违反了Youtube的隐私规则,而这些资料也成为ChatGPT的基础。这并不是OpenAI第一次因为偷扒数据犯错。包括《纽约时报》在内,多家数字新闻媒体对OpenAI提起版权侵权诉讼,认为他们的数千篇报道被OpenAI用来训练ChatGPT。当然,通过“爬虫”等手段搜刮训练数据的科技公司不止OpenAI这一家,“受害者”Google也曾通过修改服务条款的方式,将“使用公开信息训练AI模型”偷偷写进隐私细则中,从而允许工程师们利用公开的文档、在线资料等开发AI产品。不过随着OpenAI在版权问题上越陷越深,其他科技巨头也只能乖乖掏钱为训练数据付费。至少比起互联网上免费抓取的数据,Photobucket近130亿的数据量还是相对来说质量更高点。花钱买数据,或许还不够可怕的是,即便是130亿的数据量,也可能喂不饱现在的AI的模型。研究机构Epoch直白地表示,现在科技公司使用数据的速度已经超过数据生产的速度,这些公司最快会在2026年就耗尽互联网上的高质量数据。有数据统计,在2020年11月发布的GPT-3上,使用了3000亿个Token的训练数据。而到了2024年,GooglePaLM 2的训练数据量则达到3.6万亿个Token。数据量是一回事,数据的质量更是直接影响AI大模型的生成能力。正如网友所担忧的那样,低质量的数据甚至可能让AI陷入不可逆转的方向。面对这样的问题,OpenAI开始尝试使用合成数据(AI生成的数据)来训练AI。这样既可以减少对受版权保护数据的依赖,同时也能训练出更强大的结果。对此OpenAI和一系列机构开始研究使用两个不同的模型来生成更有用、更可靠的合成数据,其中一个模型用来生成数据,另一个则用来对生成的数据进行审核。不只是OpenAI,英伟达很早就在用合成数据弥补现实世界的数据。在2021年11月,英伟达对外推出合成数据生成引擎Omniverse Replicator 。英伟达将其描述为“用于生成具有基本事实的合成数据以训练 AI 网络的引擎”,其作用就是用来训练AI。此产品推出后,由该引擎生成的合成数据在自动驾驶、机器人等多个场景里都得到了验证,因此英伟达也在近些年希望将其推广到更多领域,包括聊天机器人。然而,合成数据在工业场景里的成功案例,并不代表在其他领域都能遵循物理规律。有时候AI连真实图片都无法理解,更不要说理解二次生成的图片了。 ... PC版: 手机版:

相关推荐

封面图片

微软、OpenAI等公司已使用合成数据来训练AI模型

微软、OpenAI等公司已使用合成数据来训练AI模型 金十数据7月20日讯,人工智能初创公司Cohere首席执行官AidenGomez表示,由于Reddit、推特等公司的数据采集要价太高,微软、OpenAI和Cohere等公司,已使用合成数据来训练AI模型。Gomez表示,合成数据可以适用于很多训练场景,只是目前尚未全面推广。 来源:https://flash.jin10.com/detail/20230720104640322100 via 匿名 标签: #AI 频道: @GodlyNews1 投稿: @GodlyNewsBot

封面图片

OpenAI 头号竞争对手:大模型训练成本最多三年将升至百亿美元 甚至是千亿美元

OpenAI 头号竞争对手:大模型训练成本最多三年将升至百亿美元 甚至是千亿美元 被视为 OpenAI 头号竞争对手的 AI 初创企业 Anthropic 的 CEO 表示,目前公司正在开发的 AI 模型训练成本高达 10 亿美元,他预计,AI 模型的训练成本将在 2027 年之前提升到 100 亿美元,甚至是 1000 亿美元。

封面图片

OpenAI 现允许网站阻止其网络爬虫抓取数据,避免数据被用于训练 AI 模型

OpenAI 现允许网站阻止其网络爬虫抓取数据,避免数据被用于训练 AI 模型 OpenAI 在其博客文章中表示,网站运营者可以通过在其网站的文件中禁止 GPTBot 的访问,或者通过屏蔽其 IP 地址,来阻止 GPTBot 从其网站上抓取数据。OpenAI 还表示,“使用 GPTBot 用户代理(user agent)抓取的网页可能会被用于改进未来的模型,并且会过滤掉那些需要付费访问、已知收集个人身份信息(PII)、或者有违反我们政策的文本的来源。”对于不符合排除标准的来源,“允许 GPTBot 访问您的网站可以帮助 AI 模型变得更加准确,并提高它们的通用能力和安全性。” 但是,这并不会追溯性地从 ChatGPT 的训练数据中删除之前从网站上抓取的内容。来源 ,, 频道:@kejiqu 群组:@kejiquchat 投稿:@kejiqubot

封面图片

AI产业的灰暗面:OpenAI、谷歌、Meta如何获取训练语料

AI产业的灰暗面:OpenAI、谷歌、Meta如何获取训练语料 《纽约时报》在本周末刊发的调查报道中,揭露了OpenAI、Google、Meta等公司为了获取训练语料所采取的一些“走捷径”措施,同时也展现了整个行业迫在眉睫的困境。美国科技巨头各走“捷径”2021年末,正在训练GPT-4的OpenAI遇到了一个棘手的问题,公司已经耗尽了互联网上所有可靠的英文文本资源,而他们需要更多、更大规模的数据来训练更强大的模型。为了处理这个问题,OpenAI的Whisper语音识别工具诞生了用来转录Google旗下视频平台Youtube的视频音频,生成大量的对话文本。报道称,包括OpenAI总裁布洛克曼在内的团队总共转录了超过一百万小时的Youtube视频。随后这些资料被输入到GPT-4系统中,并成为聊天机器人ChatGPT的基础。根据Google的政策,禁止用户将平台上的视频用于“独立”应用,同时禁止通过任何自动化手段(爬虫等)访问其视频。有趣的是,在OpenAI偷偷扒Youtube视频时,Google也在转录自家流媒体平台的内容训练大模型同样冒着侵犯版权的风险。正因如此,虽然有Google员工知道OpenAI在这么干,也没有出手阻止。因为一旦Google对OpenAI提出抗议,也有可能“引火烧身”到自己身上。对于是否采用Youtube视频训练AI的询问,OpenAI方面回应称,他们使用了“多个来源”的数据。Google发言人Matt Bryant则表示,公司对OpenAI的行为一无所知,且禁止任何人“未经授权抓取或下载Youtube视频”。不过Bryant也表示,公司只会在有明确法律、技术依据时才会采取行动。Google自家的条款,则允许平台使用这些视频开发视频平台的新功能,但这样的措辞是否意味着Google能用这些资料开发商用AI,也存在不小的疑问。与此同时,Meta的内部会议纪要显示,工程师和产品经理讨论了购买美国大型出版商Simon & Schuster以获取长文本资料的计划,另外他们还讨论了从互联网上收集受版权保护的内容,并表示“与出版商、艺术家、音乐家和新闻行业谈判授权需要的时间太多了”。据悉,有Meta的高管表示,OpenAI似乎正在使用受版权保护的材料,所以公司也可以遵循这个“市场先例”。更显性的变化是,Google去年修改了服务条款。根据内部资料显示,推动隐私政策变化的动机之一,包括允许Google利用公开的Google文档、Google地图上的餐厅评论,以及更多在线资料开发AI产品。最终Google赶在美国国庆节(7月4日)放假前的7月1日发布了修改后的隐私条款,将“使用公开信息训练AI模型”首次纳入其中。Bryant回应称,公司不会在没有用户“明确许可”的情况下使用他们的Google文档来训练AI,这里指的是自愿参与的实验性功能体验计划。即便如此还是不够正因为这些操作,近些年来伴随着人们对AI能力的惊叹,越来越多的版权方也开始意识到自己的数据被偷偷拿走训练AI了。包括《纽约时报》、一些电影制作人和作家已经将这些科技公司告上法庭,美国著作权局也正在制定版权法在AI时代的适用指南。问题在于,即便一些作家、制片人将科技公司的行为称为“美国史上最大盗窃案”,科技公司用来发展下一代AI的数据依然还是不够。2020年初,约翰霍普金斯大学的理论物理学家(现Anthropic首席科学官)Jared Kaplan发布了一篇论文,明确表示训练大语言模型用的数据越多,表现就会越好。自那以后,“规模就是一切”成为了人工智能行业的信条。2020年11月发布的GPT-3包含约3000亿个Token的训练数据。2022年,GoogleDeepMind对400个人工智能模型进行测试,其中表现最好的模型(之一),一个名为Chinchilla的模型用了1.4万亿个Token的数据。到2023年,中国科学家开发的Skywork大模型在训练中使用了3.2万亿个英文和中文Token,GooglePaLM 2的训练数据量则达到3.6万亿个Token。研究机构Epoch直白地表示,现在科技公司使用数据的速度已经超过数据生产的速度,这些公司最快会在2026年就耗尽互联网上的高质量数据。面对这样的问题,奥尔特曼已经提出了一种解决方法:像OpenAI这样的公司,最终会转向使用AI生成的数据(也被称为合成数据)来训练AI。这样开发人员在创建愈发强大的技术同时,也会减少对受版权保护数据的依赖。目前OpenAI和一系列机构也正在研究使用两个不同的模型,能否共同生成更有用、更可靠的合成数据一个系统产生数据,另一个系统对信息进行评判。当然,这种技术路径是否可行,目前仍存争议。前 OpenAI 研究员Jeff Clune认为,这些AI系统所需的数据就像是穿越丛林的路径,如果这些公司只是在合成数据上训练,AI可能会在丛林里迷失。 ... PC版: 手机版:

封面图片

研究表明用AI产生的语料来训练AI将使其退化并最终崩溃

研究表明用AI产生的语料来训练AI将使其退化并最终崩溃 现在,随着越来越多的人使用 AI 来制作和发布内容,一个明显的问题出现了:当 AI 生成的内容在互联网上激增并且 AI 模型开始用其进行训练,而不是使用主要人类生成的内容时,会发生什么? 来自英国和加拿大的一组研究人员已经研究了这个问题,并且最近在开放获取期刊 arXiv 上发表了一篇关于他们工作的论文。他们的发现令当前的生成式 AI 技术及其未来令人担忧:“我们发现在训练中使用模型生成的内容会导致生成的模型出现不可逆转的缺陷。” 研究人员专门研究了文本到文本和图像到图像 AI 生成模型的概率分布,得出结论:“从其他模型生成的数据中学习会导致模型崩溃一个退化过程,随着时间的推移,模​​型会忘记真正的底层数据分布……这个过程是不可避免的,即使对于具有近乎理想的长期学习条件的情况也是如此。” “随着时间的推移,生成数据中的错误会复合并最终迫使从生成数据中学习的模型进一步错误地感知现实,”该论文的主要作者之一 Ilia Shumailov 在给 VentureBeat 的电子邮件中写道。“我们惊讶地观察到模型崩溃发生的速度有多快:模型可以迅速忘记他们最初从中学习的大部分原始数据。” 换句话说:当 AI 训练模型接触到更多 AI 生成的数据时,它的性能会随着时间的推移而变差,在其生成的响应和内容中产生更多错误,并在其响应中产生更少的非错误多样性。 额外编辑:研究人员同样担忧,目前互联网上AI生成内容正在迅速增加,训练下一代ai的数据正在被迅速污染。

封面图片

Meta 的 AI 图像生成器用了 11 亿 Instagram 和 Facebook 照片训练

Meta 的 AI 图像生成器用了 11 亿 Instagram 和 Facebook 照片训练 Meta 发布了一个免费的文本图像生成网站 (需要登陆)。它的图像生成器是基于其 Emu 图像合成模型,用了 11 亿 Instagram 和 Facebook 上公开可见的照片训练。你的 Facebook 或 Instagram 的公开照片很可能被用于训练 Emu 了,不想被训练的话可以将自己的照片设为私有。Instagram 上每天上传的照片数以亿计,Meta 只使用了很小一部分去训练其模型。在 Imagine with Meta AI 上输入提示词,它会返回四张 1280×1280 像素的图像,可以以 JPEG 格式下载保存,图像左下方会打上水印 Imagined with AI。来源 , 频道:@kejiqu 群组:@kejiquchat

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人