AI行业买英伟达GPU,花的钱比赚的多17倍搞AI大模型,实在太烧钱了。有人却表示「很合理」。

None

相关推荐

封面图片

AI行业买英伟达GPU 花的钱比赚的多17倍 有人却表示很合理

AI行业买英伟达GPU花的钱比赚的多17倍有人却表示很合理上个周末,机器学习社区围绕这个数字热烈地讨论了起来。明星创业公司,几周估值翻倍:但没有收入由知名投资人PeterThiel支持的AI初创公司CognitionLabs正在寻求20亿美元估值,新一轮融资在几周之内就将该公司的估值提高了近六倍。在如今火热的生成式AI领域里,Cognition是一家冉冉升起的新星。如果你对它还不太熟悉,这里有它的两个关键词:国际奥赛金牌团队,全球首位AI程序员。Cognition由ScottWu联合创立,其团队组成吸引眼球,目前只有10个人,但包含许多国际信息学奥林匹克竞赛的金牌选手。CognitionLabs的团队,CEOScottWu(后排身穿衬衣)只有27岁。该公司在今年3月推出了AI代码工具Devin,号称“第一位接近人类的AI程序员”,能够自主完成复杂的编码任务,例如创建自定义的网站。从开发到部署,再到debug,只需要人类用自然语言给需求,AI就能办到。该新闻很快就登上了众多媒体的头条,也成为了热搜:一些投资者表示,Devin代表了人工智能的重大飞跃,并可能预示着软件开发的大规模自动化之路已经开启。Cognition虽然神奇,但它并不是个独苗。最近一段时间,生成式AI展现了超乎想像的吸金能力。去年12月,总部在法国的Mistral获得了4.15亿美元融资,估值达到20亿美元,比前一年夏天的一轮融资增长了大约七倍。3月初,旨在挑战Google网络搜索主导地位的AI初创公司Perplexity也传来新一轮融资的消息,新估值有望达到近10亿美元。而在这其中,作为一家旨在提供AI自动代码工具的创业公司,Cognition去年才开始研发产品,目前并没有获得有意义的收入数字。今年初,在FoundersFund牵头的一轮2100万美元融资中,该公司的估值达到了3.5亿美元。据介绍,美国著名创业投资家、创办FoundersFund的PeterThiel帮助领导了对Cognition的投资。PeterThiel是全球畅销书《从0到1:开启商业与未来的秘密》的作者,身家71亿美元。AI编写代码看起来是一个有前途的大模型应用方向,其他提供类似产品的公司也看到了增长势头。上个季度,微软的代码工具GitHubCopilot用户数量增长了30%达到130万。MagicAI是Cognition的竞争对手,2月份获得了1.17亿美元的投资。国内也有一些代码生成自动化工具的初创企业,在生成式AI技术爆发后正在加速行业落地。尽管出现了令人鼓舞的增长迹象,新公司的估值也不断膨胀,但这种快速发展也引发了人们对于出现泡沫的担忧——到目前为止,很少有初创公司能够展示他们如何赚钱,想要收回开发生成式AI的高昂成本,似乎还没有门道。在3月的一次演讲中,红杉资本(SequoiaCapital)有投资人估计AI行业去年为了训练大模型,仅在英伟达芯片上就花费了500亿美元,而换来的收入是30亿美元。所以说,不算电费,开销是收入的17倍。怎么样,今年还玩得起吗?出路在哪如今生成式AI技术的爆发,可谓验证了强化学习先驱RichardS.Sutton在《苦涩的教训》中的断言,即利用算力才是王道。黄仁勋两周前在GTC上也曾表示:“通用计算已经失去动力,现在我们需要更大的模型、更大的GPU,需要将GPU堆叠在一起……这不是为了降低成本,而是为了扩大规模。”但是在千亿、万亿参数量的大模型出现之后,通过提升规模来提升智能的方法是否还可以持续,是一个无法回避的问题。更何况现在的大模型已经很贵了。华尔街日报的文章迅速引起大量讨论。有网友认为:“资本支出通常就是一次性的,而投资的收入却是日积月累的。生成式AI刚刚起步,其后续的经济收益可能是巨大的。”但这种乐观的观点很快遭到反驳,另一位网友指出:“资本的支出的确是一次性的,但GPU会相对较快地贬值。”为什么说GPU会快速贬值呢?虽然较老版本的GPU也不会停止支持CUDA(英伟达推出的运算平台)等等,但与H100相比,V100的能源消耗是巨大的浪费。毕竟同样也是在3月份,英伟达已经发布了全新一代AI加速的GPUBlackwell系列。近八年来,AI算力增长了一千倍。如果使用V100可以赚钱,那当然没问题。然而,如诸多媒体报道所述,对大多数公司来说,现阶段运行大模型并没有转化为实际收入。另一方面,看看现在大模型每周都在推陈出新的状态,即使几年前的GPU在算力角度看可以接受,但大模型也在“快速折旧”。七年后的AI,用现在的基础设施能支撑吗?此外,如果一家公司花费大量成本来购买V100,试图跟上生成式模型的趋势,那么可能就会出现研究团队雇佣成本不足的问题,那么最终可能还是无法做出有实际应用、经济收益的产品。值得注意的是,许多LLM都需要额外的处理层来消除幻觉或解决其他问题。这些额外的层显著增加了生成式模型的计算成本。这不是10%的小幅增长,而是计算量增长了一个数量级。并且许多行业可能都需要这种改进。图源:Reddit用户@LessonStudio从行业的角度讲,运行生成式大模型需要大型数据中心。英伟达已经非常了解这个市场,并持续迭代更新GPU。其他公司可能无法仅仅投资数百亿美元来与之竞争。而这些GPU需求还只是来自各大互联网公司的,还有很多初创公司,例如Groq、Extropic、MatX、Rain等等。最后,也有人给出了这种夸张投入的“合理性”:坐拥大量现金的微软、Google和Meta,他们因为反垄断法规而无法继续收购,因而只能选择将资金投入AI技术发展。而GPU支出的折旧,可以作为损失避免缴纳更多税款。但这就不是创业公司所要考虑的事了。无论如何,竞争会决出胜者。无论花掉多少钱,成为第一可能就会带来潜在的收益……但是什么样的收益,我们还无法作出预测。难道,生成式AI真正的赢家是英伟达?...PC版:https://www.cnbeta.com.tw/articles/soft/1425787.htm手机版:https://m.cnbeta.com.tw/view/1425787.htm

封面图片

英伟达 GPU 价格暴涨,供应短缺影响 AI 大模型训练

英伟达GPU价格暴涨,供应短缺影响AI大模型训练作为AI大模型训练的底层架构基石,GPU的价格随之水涨船高。有代理商透露,英伟达的A100价格从2022年12月份开始上涨,截至2023年4月上半月,5个月价格累计涨幅达到37.5%;A800价格从2022年12月份开始上涨,截至2023年4月上半月,5个月价格累计涨幅达20.0%。且交货周期也被拉长,之前拿货周期大约为一个月左右,现在基本都得三个月,甚至更长。据透露,国内可用于训练AI大模型的A100大约有4万-5万个,供应相当吃紧,一些云服务厂商已严格限制内部使用这些先进芯片,以将其保留至需要强力运算的任务。投稿:@ZaiHuaBot频道:@TestFlightCN

封面图片

英伟达GPU囤太多,科技巨头赚不出2000亿美元?红杉与AI大佬激辩

英伟达GPU囤太多,科技巨头赚不出2000亿美元?红杉与AI大佬激辩不论是“领头羊”微软,还是“后起之秀”Google、Meta、Adobe,这些公司还处于将AI接入其产品的阶段,还没有真正“货币化”,即从AI那里赚到真金白银。目前,许多公司的AI服务都是免费的,只有微软敢把Copilot费用提价83%,但消费者还未必买账。尽管还未真正实现盈利,但科技公司大举投资AI领域、囤积GPU,已成为事实。根据华尔街分析师预测,到今年年底,英伟达的GPU销售额可能突破500亿美元。到此,投资者们就不禁想问,在盈利前景还不明朗的情况下,如此大举购买GPU,科技公司们能回本吗?到头来,会不会竹篮打水一场空?如果能回本,那什么时候才能回本呢?风投机构红杉的合伙人DavidCahn日前发文进行了计算。Cahn认为,每1美元的GPU支出,大约对应1美元的数据中心能源成本,也就是说,保守估计下,如果英伟达到年底能卖500亿美元的GPU,数据中心的支出就高达1000亿美元。然后,以50%的利润率假设,AI行业需要2000亿美元的收入才能收回前期投资的成本。但Cahn指出,目前只有750亿美元的年收入,缺口达到1250亿美元。质疑声袭来对于Cahn提出的观点,硅谷创投巨头A16Z特别顾问、AI初创公司2X创始人GuidoAppenzeller进行了反驳,逐字逐句地推翻了其论点。总体而言,Appenzeller的核心论点围绕着一个信念,即人工智能将成为几乎任何含软件产品中无处不在的组件。他断言,在GPU基础设施上的大量投资,即使高达500亿美元,也可以很容易地在全球5万亿美元的巨大IT支出中得到摊销。他不仅推翻了红杉对于AI赚钱能力的估算,还指出红杉最根本的问题是,低估了AI历史性革命的影响。具体而言,Appenzeller首先指出,Cahn是“标题党”,企图用“2000亿美元”这样一个数字来吸人眼球,但实际上他的计算过程完全是错的。Appenzeller指出,Cahn把GPU的购买成本(资本性支出)、每年的运营成本、GPU使用周期内的累计收入和AI应用带来的年收入都加到了一起,得到了2000亿美元这一看起来超级夸张的数字。但他认为,更合适的计算方法应该基于GPU买家投资成本所获得的年回报率。其次,他还认为,GPU的电费成本也被夸大了。根据Appenzeller的说法,一块H100PCIeGPU的成本大约是3万美元,耗电量约为350瓦,考虑到服务器和冷却,总功耗可能在1千瓦左右。以0.1美元/千瓦的电价计算,这块H100GPU在5年的生命周期内,在GPU硬件上每花1美元,其需要的电费仅为0.15美元,远低于Cahn估算的1美元。但最重要的是,Appenzeller认为,Cahn忽略了AI革命的规模。他指出,AI模型就像CPU、数据库和网络一样,是一种基础设施组件。而现在,几乎所有的AI软件都在使用CPU、数据库和网络,未来也是如此。那么,AI行业到底能不能赚够2000亿美元?Appenzeller给出了肯定的答案,而且不止如此,作为网络基础设施,它创造的收入会以不同形式存在于每个部门。因此,他总结称,AI会颠覆一切软件,Cahn所谓的“AI收入缺口”其实并不存在。...PC版:https://www.cnbeta.com.tw/articles/soft/1386107.htm手机版:https://m.cnbeta.com.tw/view/1386107.htm

封面图片

英伟达收购 GPU 编排软件提供商 Run:ai

英伟达收购GPU编排软件提供商Run:ai4月25日消息,英伟达(NVIDIA)已就收购基于Kubernetes的工作负载管理与编排软件提供商Run:ai达成最终协议,具体收购金额暂未披露。英伟达计划暂时保留Run:ai目前的商业模式,Run:ai员工将加入英伟达位于以色列的研发中心。此外,英伟达DGX和DGXCloud客户将获得Run:ai为其AI工作负载(尤其是大型语言模型部署)提供的功能。目前Run:ai的解决方案已与英伟达DGX、英伟达DGXSuperPOD、英伟达BaseCommand、NGCcontainers和英伟达AI企业软件等产品集成。

封面图片

推理速度提升十倍!英伟达发布ChatGPT核弹级GPU

推理速度提升十倍!英伟达发布ChatGPT核弹级GPU当地时间周二,英伟达举办2023年春季GTC大会,黄仁勋穿着标志性皮夹克,向开发者披露最新的硬件和AI应用软件进展。在过去十年里,AI产业经历了历史性的飞跃。从2012年卷积神经网络AlexNet点燃了深度学习领域的“星星之火”,到ChatGPT一鸣惊人。黄仁勋表示,眼下整个AI产业正处于“iPhone时刻”——创业公司正在竞相建立颠覆式的商业模型,而业界巨头也在寻找应对之道。GTC大会上,英伟达推出开源量子计算机软件CudaQuantum,用于构建量子算法;与AT&T(T.N)合作,帮助提高调度服务的效率。当地时间3月21日,GTC大会,英伟达发布了专为ChatGPT设计的“核弹”GPU(图像芯片)H100NVL,较之适用于GPT-3的A100,速度提升10倍。#视频()来自:雷锋频道:@kejiqu群组:@kejiquchat投稿:@kejiqubot

封面图片

【英伟达收购GPU编排软件提供商Run:ai】

【英伟达收购GPU编排软件提供商Run:ai】2024年04月25日03点57分4月25日消息,英伟达(NVIDIA)已就收购基于Kubernetes的工作负载管理与编排软件提供商Run:ai达成最终协议,具体收购金额暂未披露。英伟达计划暂时保留Run:ai目前的商业模式,Run:ai员工将加入英伟达位于以色列的研发中心。此外,英伟达DGX和DGXCloud客户将获得Run:ai为其AI工作负载(尤其是大型语言模型部署)提供的功能。目前Run:ai的解决方案已与英伟达DGX、英伟达DGXSuperPOD、英伟达BaseCommand、NGCcontainers和英伟达AI企业软件等产品集成。

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人