ChatGPT 有多烧钱?大模型训练一次 200-1200 万美元

ChatGPT 有多烧钱?大模型训练一次 200-1200 万美元 ChatGPT 风靡全球后,科技巨头们纷纷入局,生成式 AI 其背后以大模型为基础的人工智能成为业界投入的方向。 所谓“大模型”,通常是在无标注的大数据集上,采用自监督学习的方法进行训练。之后在其他场景的应用中,开发者只需要对模型进行微调,或采用少量数据进行二次训练,就可以满足新应用场景的需要。 然而,训练通用大模型非常“烧钱”。据国盛证券报告《ChatGPT 需要多少算力》估算,GPT-3 训练一次的成本约为 140 万美元,对于一些更大的 LLM(大型语言模型),训练成本介于 200 万美元至 1200 万美元之间。以 ChatGPT 在 1 月的独立访客平均数 1300 万计算,其对应芯片需求为 3 万多片英伟达 A100 GPU,初始投入成本约为 8 亿美元,每日电费在 5 万美元左右。 如果将当前的 ChatGPT 部署到谷歌进行的每次搜索中,需要 512820.51 台 A100 HGX 服务器和总共 4102568 个 A100 GPU,这些服务器和网络的总成本仅资本支出就超过 1000 亿美元。 来自:雷锋 频道:@kejiqu 群组:@kejiquchat 投稿:@kejiqubot

相关推荐

封面图片

微软 Office 365 AI 助手定价曝光:比普通版多付40%,已有100家客户各掏10万美元

微软 Office 365 AI 助手定价曝光:比普通版多付40%,已有100家客户各掏10万美元 成本是 Copilot 涨价的主要原因:无论是前期训练模型时所花费的成本,还是后期服务器运行的成本。

封面图片

ChatGPT公司一直在努力让更多新闻机构签署许可协议以训练人工智能模型。

ChatGPT公司一直在努力让更多新闻机构签署许可协议以训练人工智能模型。 据The Information报道,OpenAI每年提供100万至500万美元的版权新闻文章授权,以训练其人工智能模型。这是人工智能公司计划为授权材料支付多少费用的首批迹象之一。与此同时,最近的一份报告称,苹果正在寻求与媒体公司合作,将内容用于人工智能培训,并在多年期间提供至少5000万美元的数据。The Verge联系了OpenAI,请其对这些数字发表评论。 这些数字似乎与早期的一些非人工智能授权交易大致相似。当Meta推出Facebook新闻标签时后来在欧洲停用了据称它每年提供高达300万美元的新闻报道、头条和预览许可。但目前尚不清楚,总支付额是否会达到我们所看到的一些更大的数字。例如,谷歌在2020年宣布,将投资10亿美元与新闻机构合作。在一项新法律的压力下,谷歌最近还同意每年向加拿大出版商支付总计1亿美元,以换取对其文章的链接。 就我们所知,今天的大型语言模型的训练数据主要是来自互联网的信息。虽然一些人工智能模型没有透露它们是如何获得训练数据的,但通常可以获得有关使用了哪些数据集或网络爬虫的信息。训练数据集的定价因提供者、大小和数据集的内容而异。一些数据提供程序,如LAION,是开源的,完全免费的,被Stable Diffusion等模型使用。人工智能开发人员还经常设置网络爬虫,从互联网上获取数据,以帮助训练他们的模型。(人工智能开发人员仍然需要雇人来审查、标记,有时还要清理培训数据,这大大增加了运营成本。) 但这种做法现在面临着重大挑战。首先,OpenAI的GPT爬虫已经被一些公司阻止访问数据,包括《纽约时报》和The Verge的母公司Vox Media。另一方面,一些组织认为对他们的数据进行培训构成侵犯版权。《纽约时报》(New York Times)等媒体起诉OpenAI和微软侵犯版权,称ChatGPT和微软的Copilot可以生成几乎与其工作内容一字不差的输出。 标签: #OpenAI #ChatGPT #AI 频道: @GodlyNews1 投稿: @GodlyNewsBot

封面图片

GPT-4 有 1.8 万亿参数

GPT-4 有 1.8 万亿参数 OpenAI 今年初公布的新一代大模型 GPT-4 的技术细节泄露,它有 1.8 万亿个参数,利用了 16 个混合专家模型(mixture of experts),每个有 1110 亿个参数,每次前向传递路由经过两个专家模型。它有 550 亿个共享注意力参数,使用了包含 13 万亿 tokens 的数据集训练,tokens 不是唯一的,根据迭代次数计算为更多的 tokens。GPT-4 预训练阶段的上下文长度为 8k,32k 版本是对 8k 微调的结果。如果是在云端进行训练,以 每 A100 小时 1 美元计算,那么一次的训练成本就高达 6300 万美元。不过今天的训练成本能降至 2150 万美元。来源 , 来自:雷锋 频道:@kejiqu 群组:@kejiquchat 投稿:@kejiqubot

封面图片

Reddit的神秘买家是谷歌 斥资6000万美元/年购买内容训练AI

Reddit的神秘买家是谷歌 斥资6000万美元/年购买内容训练AI 而这些内容将成为 Reddit 的摇钱树,彭博社此前已经提到 Reddit 与某个科技公司达成合作,后者每年将向 Reddit 提供 6000 万美元的资金,以获取 Reddit 的内容用来训练 AI。今天汤森路透发布文章透露这个神秘买家其实就是Google,其实这个不是特别让人惊讶,毕竟每年能出得起 6000 万美元买内容的科技公司没几个,只不过没想到不是苹果而是Google。Reddit 最早可能在本周向美国监管机构提交 IPO 文件,Reddit 计划在上市后出售 10% 的股份。对Google来说 6000 万美元的资金不算太多,但全部用来购买内容的话其实也不算少了,毕竟现在Google都在用 YouTube 视频训练 AI,可见Google多么希望能够获得更多内容来训练。这段时间Google还在裁员,节省下来的资金用来投资 AI,追赶 OPENAI 和Google,至少从目前来看,在 AI 领域Google还是落后于 OPENAI 和微软的。目前 Reddit 和Google都没有就内容合作传闻发布回应。 ... PC版: 手机版:

封面图片

微软钦点OpenAI备胎:GPT-4级大模型上线即挤爆 成本仅2200万美元

微软钦点OpenAI备胎:GPT-4级大模型上线即挤爆 成本仅2200万美元 同时推出在线聊天机器人平台Le Chat,即使有了微软Azure算力资源,服务器还是被挤爆了。由于其API比GPT-4最新版便宜20%,已经吸引了部分创业者去尝试。根据HyperWriteAI创始人测试,Mistral Large跑分看起来只比排第三的Claude 2好一点,但是实测效果还要好更更更多。不过也有开发者认为便宜只是暂时的,非常确信GPT-4也有降价空间。总之,这个价格战真的打起来就更妙了。网页版开放,但服务器被挤爆Mistral Large属于他家商用系列的大杯,不开源,也不免费。主要亮点如下:32k上下文窗口支持多语言,代码能力强,擅长推理原生支持函数调用和输出JSON格式模块化的审查控制机制在多项推理和知识能力测试中,成绩仅次于GPT-4除此之外,并无更多消息透露,从之前小杯、中杯的情况看,技术报告可能也不会有了。不过创始人Arthur Mensch透露,Mistral Large训练成本不到2200万美元,相比之下GPT-4可能超过1亿美元。API价格比gpt-4-turbo便宜20%,输出一百万token要24美元,约173人民币元。gpt-4-turbo同样输出一百万token要30美元,约216人民币。两者输入token价格都是输出tokend的1/3。除了通过API访问之外,这次Mistral也开放了相当于ChatGPT的网页版Le Chat聊天助手。这里还有一个小彩蛋。Le Chat在法语里相当于英语The Cat,在原本的M字Logo下加上两个点代表眼睛,这样空白处就成了猫耳朵。切换到夜间模式,还会变成Le Chat Noir,也就是The Black Cat。很可惜,现在再注册已经需要排队了。如果现在想体验Mistral Large, 还可以去Poe.com或大模型竞技场LMSYS Chatbot Arena。不过由于太火了,目前全平台无法响应……在最新Chatbot Arena排行榜上,Mistral中杯版已经与GPT-4早期版本差距不大,大杯版的表现也值得期待。微软不再独宠OpenAI微软CEO纳德拉宣布,已与Mistral AI建立多年合作伙伴关系。微软将持有Mistral AI少量股份,并提供算力基础设施用于w训练和推理部署大模型。新模型优先通过微软Azure云提供给客户,暂不登录亚马逊Google云等其他云平台。Mistral也成了微软Azure上除了OpenAI以外,第二个商业闭源模型供应商。有网友开玩笑说,早看出来他们两家有点子关系,Mistral AI的Logo一看就是用Word艺术字画的。 ... PC版: 手机版:

封面图片

ChatGPT热潮下“提示工程师”成热门职业,年薪高达34万美元!不是计算机专业也能做

ChatGPT热潮下“提示工程师”成热门职业,年薪高达34万美元!不是计算机专业也能做 随着聊天机器人ChatGPT热潮席卷全球,每个人都在谈论它背后的AI技术,每个人都在担心自己会不会被AI替代,但很少有人注意到,这项技术带来的新就业岗位。 这种岗位被称为“提示工程师”(Prompt Engineer),年薪可高达33.5万美元,但不要求员工必须持有计算机工程学位。 谷歌投资的初创公司Anthroic,正在旧金山招聘“提示工程师和图书馆员”一职,薪水高达33.5万美元。AI合同审查公司Klarity正在加利福尼亚招聘一名“机器学习工程师”,年薪高达23万美元。且像谷歌、TikTok 和 Netflix这种大厂,类似职位薪水一直在涨,是近期招聘岗位的主流。 所谓提示工程师,也就是AI训练师,即通过与AI交互写出相关提示,以帮助用户操作AI生成更完美的内容,并帮助公司培训员工使用这些工具。简而言之,提示工程师相当于是设计师、文案和程序员三者的结合体。 标签: #ChatGPT #提示工程师 #机遇 频道: @GodlyNews1 投稿: @GodlyNewsBot

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人