ChatGPT 有多烧钱?大模型训练一次 200-1200 万美元

ChatGPT有多烧钱?大模型训练一次200-1200万美元ChatGPT风靡全球后,科技巨头们纷纷入局,生成式AI其背后以大模型为基础的人工智能成为业界投入的方向。所谓“大模型”,通常是在无标注的大数据集上,采用自监督学习的方法进行训练。之后在其他场景的应用中,开发者只需要对模型进行微调,或采用少量数据进行二次训练,就可以满足新应用场景的需要。然而,训练通用大模型非常“烧钱”。据国盛证券报告《ChatGPT需要多少算力》估算,GPT-3训练一次的成本约为140万美元,对于一些更大的LLM(大型语言模型),训练成本介于200万美元至1200万美元之间。以ChatGPT在1月的独立访客平均数1300万计算,其对应芯片需求为3万多片英伟达A100GPU,初始投入成本约为8亿美元,每日电费在5万美元左右。如果将当前的ChatGPT部署到谷歌进行的每次搜索中,需要512820.51台A100HGX服务器和总共4102568个A100GPU,这些服务器和网络的总成本仅资本支出就超过1000亿美元。来自:雷锋频道:@kejiqu群组:@kejiquchat投稿:@kejiqubot

相关推荐

封面图片

【报告:ChatGPT每日烧钱约70万美元,OpenAI或已在破产边缘】

【报告:ChatGPT每日烧钱约70万美元,OpenAI或已在破产边缘】2023年08月13日06点08分老不正经报道,OpenAI可能正处于潜在的财务危机之中,印度新闻媒体平台AnalyticsIndiaMagazine近日的一份报告称,该公司可能在2024年底破产。报告称,OpenAI仅运行其人工智能服务ChatGPT每天就要花费约70万美元(约合506.8万元人民币)。OpenAI目前正处于烧钱的状态,尽管该公司试图通过GPT-3.5和GPT-4来实现盈利,但该目前还没有能够产生足够的收入来实现收支平衡。报告称,自从其开始开发ChatGPT以来,其亏损额在5月份翻了一番,达到了5.4亿美元。微软对OpenAI投资了100亿美元,这可能是目前支撑该公司运行的原因。但该报告称,如果OpenAI不能很快获得更多资金,该公司可能不得不在2024年底之前申请破产。

封面图片

ChatGPT运行每天或花费70万美元 微软开发自主芯片尝试降低成本

ChatGPT运行每天或花费70万美元微软开发自主芯片尝试降低成本帕特尔指出,ChatGPT需要庞大的算力,才能基于用户的输入信息做出反馈,包括撰写求职信、生成教学计划,以及帮助用户优化个人资料等。他表示:“大部分成本都来自于昂贵的服务器。”此外,帕特尔最初的估计基于OpenAI的GPT-3模型,而在采用最新的GPT-4模型之后,ChatGPT现在的运行成本可能更高。对此,OpenAI尚未对此做出回应。帕特尔和SemiAnalysis的另一位分析师阿夫扎尔·艾哈迈德(AfzalAhmad)表示,此前外界已经注意到,训练ChatGPT背后的大语言模型可能要花费上亿美元,但运营费用,或者说人工智能推理的成本,以任何合理的部署规模来看都远远超过了训练成本。他们指出:“事实上,按周来看,ChatGPT的推理成本超过了训练成本。”过去几年,使用OpenAI语言模型的公司也一直在承担高昂的价格。创业公司Latitude开发了一款基于用户输入信息生成故事情节的人工智能地下城游戏。该公司首席执行官尼克·沃尔顿(NickWalton)表示,运行该模型,以及相应的购买亚马逊AWS云服务器的费用2021年达到每月20万美元。因此,沃尔顿最终决定改用AI21Labs支持的语言软件提供商。这帮助他将公司的人工智能成本降低了一半,至每月10万美元。沃尔顿在接受采访时表示:“我们会开玩笑说,我们有人类员工和人工智能员工,在这两类员工身上花费的成本大致相同。我们每个月在人工智能上花掉数十万美元,而且我们也不是一家大型初创公司,所以这是一笔巨大的开支。”近期有报道称,为了降低生成式人工智能模型的运行成本,微软正在开发一款代号为“雅典娜”的人工智能芯片。该项目于2019年启动。在此几年前,微软与OpenAI达成了10亿美元的投资协议,要求OpenAI仅在微软的Azure云服务器上运行其模型。微软启动这一芯片项目的背后有两方面思考。知情人士透露,微软高管意识到,他们在自主芯片开发方面落后于谷歌和亚马逊。与此同时,微软正在寻找更便宜的方案去替代英伟达的GPU芯片。目前,微软大约有300多名员工正在开发这款芯片。消息人士称,该芯片最早可能在明年发布,供微软和OpenAI内部使用。微软拒绝对此消息置评。...PC版:https://www.cnbeta.com.tw/articles/soft/1355963.htm手机版:https://m.cnbeta.com.tw/view/1355963.htm

封面图片

【观点:称ChatGPT每天运行开销达70万美元】

【观点:称ChatGPT每天运行开销达70万美元】2023年04月21日09点54分4月21日消息,据《科创板日报》消息,芯片行业研究公司SemiAnalysis首席分析师迪伦・帕特尔表示,由于ChatGPT运行在价格昂贵的计算基础设施之上OpenAI每天为运行ChatGPT投入的成本可能高达70万美元。帕特尔指出,ChatGPT需要庞大的算力,才能基于用户的输入信息做出反馈,包括撰写求职信、生成教学计划,以及帮助用户优化个人资料等。他表示,大部分成本都来自于昂贵的服务器。

封面图片

ChatGPT带火AI芯片 英伟达顶级显卡eBay售价超4万美元

ChatGPT带火AI芯片英伟达顶级显卡eBay售价超4万美元据悉,去年发布的H100是英伟达最新的旗舰AI芯片,接替了A100,A100是一款被称为AI应用“主力军”的芯片,售价约为1万美元。根据英伟达的说法,与A100相比,H100的能效提高了3.5倍。开发人员正在使用H100来构建所谓的大型语言模型(LLMs),这是OpenAI的ChatGPT等AI应用的核心。这些AI模型对算力的要求极高。因此,训练它们,尤其是像GPT这样的大型模型,需要数百颗高端英伟达GPU协同工作。正因如此,那些正进行AI竞赛的科技巨头们不惜斥巨资购买AI芯片。例如,微软就斥资数亿美元购买了数万颗英伟达A100芯片,以帮助打造ChatGPT。另外,据媒体最新报道,“钢铁侠”埃隆·马斯克在美国内华达州成立了一家名为X.AI的人工智能公司,旨在与OpenAI展开竞争。据悉,为了这个新项目,马斯克已从英伟达购买了数千个高性能GPU处理器。英伟达还提供一款拥有8颗GPU的超级计算机,名为DGX。今年早些时候,该公司宣布了新服务,允许企业以每月3.7万美元的价格租用DGX计算机。在这项服务下,几乎任何企业都可以通过云租赁来使用这些强大但成本昂贵的设备。英伟达控制着AI芯片的绝大部分市场。随着ChatGPT在全球范围内掀起AI热潮,英伟达股价“狂飙”:最新报267.58美元,今年已经累计上涨近90%。      ...PC版:https://www.cnbeta.com.tw/articles/soft/1354929.htm手机版:https://m.cnbeta.com.tw/view/1354929.htm

封面图片

ChatGPT每天运营成本70万美元 微软在考虑自研AI芯片消减成本

ChatGPT每天运营成本70万美元微软在考虑自研AI芯片消减成本·ChatGPT的爆火有着后台惊人的成本损耗,开发公司OpenAI每天最多要付出高达70万美元的运营成本来维持聪明的ChatGPT让客户满意,由于ChatGPT每天做出的计算量实在大到惊人,天价高昂的顶级精英服务器是必须的基础。·而且根据业界人士的曝料称,OpenAI的后台老板微软似乎也在为这个高昂成本烦恼至极,正在悄悄的计划自研芯片以用来消减部分成本,敬请期待后续报道。...PC版:https://www.cnbeta.com.tw/articles/soft/1357219.htm手机版:https://m.cnbeta.com.tw/view/1357219.htm

封面图片

各大AI模型训练成本大比拼:谷歌Gemini Ultra高达1.9亿美元

各大AI模型训练成本大比拼:谷歌GeminiUltra高达1.9亿美元训练成本是如何确定的?斯坦福大学与研究公司EpochAI合作,根据云计算租金估算了AI模型的训练成本。双方所分析的关键因素包括模型的训练时长、硬件的利用率和训练硬件的价值。尽管许多人猜测,训练AI模型的成本变得越来越高,但缺乏全面的数据来支持这些说法。而斯坦福大学发布的《2024年AI指数报告》正是支持这些说法的罕见来源之一。不断膨胀的训练成本下表展示了自2017年以来,经通胀调整后的主要AI模型的培训成本:去年,OpenAI的GPT-4培训成本估计为7840万美元,远高于谷歌PaLM(540B)的训练成本。谷歌PaLM较GPT-4仅早一年推出,但训练成本为1240万美元。相比之下,2017年开发的早期AI模型Transformer的训练成本为930美元。该模型在塑造当前所使用的许多大型语言模型的体系结构方面起着基础性作用。谷歌的AI模型GeminiUltra的训练成更高,达到了惊人的1.91亿美元。截至2024年初,该模型在几个指标上都超过了GPT-4,最引人注目的是在“大规模多任务语言理解”(MMLU)基准测试中胜出。这一基准是衡量大型语言模型能力的重要标尺。例如,它以评估57个学科领域的知识和解决问题的熟练程度而闻名。训练未来的AI模型鉴于这些挑战,AI公司正在寻找新的解决方案来训练语言模型,以应对不断上涨的成本。其中的方法有多种,比如创建用于执行特定任务的较小模型,而其他一些公司正在试验创建自家的合成数据来“投喂”AI系统。但到目前为止,这方面还没有取得明确的突破。例如,使用合成数据的AI模型有时会“胡言乱语”,引发所谓的“模型崩溃”。...PC版:https://www.cnbeta.com.tw/articles/soft/1433692.htm手机版:https://m.cnbeta.com.tw/view/1433692.htm

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人