AI行业买英伟达GPU 花的钱比赚的多17倍 有人却表示很合理

AI行业买英伟达GPU 花的钱比赚的多17倍 有人却表示很合理 上个周末,机器学习社区围绕这个数字热烈地讨论了起来。明星创业公司,几周估值翻倍:但没有收入由知名投资人 Peter Thiel 支持的 AI 初创公司 Cognition Labs 正在寻求 20 亿美元估值,新一轮融资在几周之内就将该公司的估值提高了近六倍。在如今火热的生成式 AI 领域里,Cognition 是一家冉冉升起的新星。如果你对它还不太熟悉,这里有它的两个关键词:国际奥赛金牌团队,全球首位 AI 程序员。Cognition 由 Scott Wu 联合创立,其团队组成吸引眼球,目前只有 10 个人,但包含许多国际信息学奥林匹克竞赛的金牌选手。Cognition Labs 的团队,CEO Scott Wu(后排身穿衬衣)只有 27 岁。该公司在今年 3 月推出了 AI 代码工具 Devin,号称“第一位接近人类的 AI 程序员”,能够自主完成复杂的编码任务,例如创建自定义的网站。从开发到部署,再到 debug,只需要人类用自然语言给需求,AI 就能办到。该新闻很快就登上了众多媒体的头条,也成为了热搜:一些投资者表示,Devin 代表了人工智能的重大飞跃,并可能预示着软件开发的大规模自动化之路已经开启。Cognition 虽然神奇,但它并不是个独苗。最近一段时间,生成式 AI 展现了超乎想像的吸金能力。去年 12 月,总部在法国的 Mistral 获得了 4.15 亿美元融资,估值达到 20 亿美元,比前一年夏天的一轮融资增长了大约七倍。3 月初,旨在挑战Google网络搜索主导地位的 AI 初创公司 Perplexity 也传来新一轮融资的消息,新估值有望达到近 10 亿美元。而在这其中,作为一家旨在提供 AI 自动代码工具的创业公司,Cognition 去年才开始研发产品,目前并没有获得有意义的收入数字。今年初,在 Founders Fund 牵头的一轮 2100 万美元融资中,该公司的估值达到了 3.5 亿美元。据介绍,美国著名创业投资家、创办 Founders Fund 的 Peter Thiel 帮助领导了对 Cognition 的投资。Peter Thiel 是全球畅销书《从 0 到 1:开启商业与未来的秘密》的作者,身家 71 亿美元。AI 编写代码看起来是一个有前途的大模型应用方向,其他提供类似产品的公司也看到了增长势头。上个季度,微软的代码工具 GitHub Copilot 用户数量增长了 30% 达到 130 万。Magic AI 是 Cognition 的竞争对手,2 月份获得了 1.17 亿美元的投资。国内也有一些代码生成自动化工具的初创企业,在生成式 AI 技术爆发后正在加速行业落地。尽管出现了令人鼓舞的增长迹象,新公司的估值也不断膨胀,但这种快速发展也引发了人们对于出现泡沫的担忧 到目前为止,很少有初创公司能够展示他们如何赚钱,想要收回开发生成式 AI 的高昂成本,似乎还没有门道。在 3 月的一次演讲中,红杉资本(Sequoia Capital)有投资人估计 AI 行业去年为了训练大模型,仅在英伟达芯片上就花费了 500 亿美元,而换来的收入是 30 亿美元。所以说,不算电费,开销是收入的 17 倍。怎么样,今年还玩得起吗?出路在哪如今生成式 AI 技术的爆发,可谓验证了强化学习先驱 Richard S. Sutton 在《苦涩的教训》中的断言,即利用算力才是王道。黄仁勋两周前在 GTC 上也曾表示:“通用计算已经失去动力,现在我们需要更大的模型、更大的 GPU,需要将 GPU 堆叠在一起…… 这不是为了降低成本,而是为了扩大规模。”但是在千亿、万亿参数量的大模型出现之后,通过提升规模来提升智能的方法是否还可以持续,是一个无法回避的问题。更何况现在的大模型已经很贵了。华尔街日报的文章迅速引起大量讨论。有网友认为:“资本支出通常就是一次性的,而投资的收入却是日积月累的。生成式 AI 刚刚起步,其后续的经济收益可能是巨大的。”但这种乐观的观点很快遭到反驳,另一位网友指出:“资本的支出的确是一次性的,但 GPU 会相对较快地贬值。”为什么说 GPU 会快速贬值呢?虽然较老版本的 GPU 也不会停止支持 CUDA(英伟达推出的运算平台)等等,但与 H100 相比,V100 的能源消耗是巨大的浪费。毕竟同样也是在 3 月份,英伟达已经发布了全新一代 AI 加速的 GPU Blackwell 系列。近八年来,AI 算力增长了一千倍。如果使用 V100 可以赚钱,那当然没问题。然而,如诸多媒体报道所述,对大多数公司来说,现阶段运行大模型并没有转化为实际收入。另一方面,看看现在大模型每周都在推陈出新的状态,即使几年前的 GPU 在算力角度看可以接受,但大模型也在“快速折旧”。七年后的 AI,用现在的基础设施能支撑吗?此外,如果一家公司花费大量成本来购买 V100,试图跟上生成式模型的趋势,那么可能就会出现研究团队雇佣成本不足的问题,那么最终可能还是无法做出有实际应用、经济收益的产品。值得注意的是,许多 LLM 都需要额外的处理层来消除幻觉或解决其他问题。这些额外的层显著增加了生成式模型的计算成本。这不是 10% 的小幅增长,而是计算量增长了一个数量级。并且许多行业可能都需要这种改进。图源:Reddit 用户 @LessonStudio从行业的角度讲,运行生成式大模型需要大型数据中心。英伟达已经非常了解这个市场,并持续迭代更新 GPU。其他公司可能无法仅仅投资数百亿美元来与之竞争。而这些 GPU 需求还只是来自各大互联网公司的,还有很多初创公司,例如 Groq、Extropic、MatX、Rain 等等。最后,也有人给出了这种夸张投入的“合理性”:坐拥大量现金的微软、Google和 Meta,他们因为反垄断法规而无法继续收购,因而只能选择将资金投入 AI 技术发展。而 GPU 支出的折旧,可以作为损失避免缴纳更多税款。但这就不是创业公司所要考虑的事了。无论如何,竞争会决出胜者。无论花掉多少钱,成为第一可能就会带来潜在的收益……但是什么样的收益,我们还无法作出预测。难道,生成式 AI 真正的赢家是英伟达? ... PC版: 手机版:

相关推荐

封面图片

一天蒸发5900亿美元!英伟达评价DeepSeek:是卓越进步,推理需要大量GPU

一天蒸发5900亿美元!英伟达评价DeepSeek:是卓越进步,推理需要大量GPU 尽管国产大模型公司深度求索(DeepSeek)使得AI(人工智能)芯片龙头英伟达股价暴跌,但英伟达依然给出高度评价。当地时间1月27日,英伟达发言人表示:“DeepSeek是AI领域的一项卓越进步,也是测试时间缩放(Test Time Scaling)技术的完美范例。DeepSeek的工作展示了如何利用这种技术、…… - 电报频道 - #娟姐新闻: @juanjienews

封面图片

推理速度提升十倍!英伟达发布ChatGPT核弹级GPU

推理速度提升十倍!英伟达发布ChatGPT核弹级GPU 当地时间周二,英伟达举办2023年春季GTC大会,黄仁勋穿着标志性皮夹克,向开发者披露最新的硬件和AI应用软件进展。在过去十年里,AI产业经历了历史性的飞跃。从2012年卷积神经网络AlexNet点燃了深度学习领域的“星星之火”,到ChatGPT一鸣惊人。黄仁勋表示,眼下整个AI产业正处于“iPhone时刻”创业公司正在竞相建立颠覆式的商业模型,而业界巨头也在寻找应对之道。GTC大会上,英伟达推出开源量子计算机软件Cuda Quantum,用于构建量子算法;与AT&T(T.N)合作,帮助提高调度服务的效率。 当地时间3月21日,GTC大会,英伟达发布了专为ChatGPT设计的“核弹”GPU(图像芯片)H100 NVL,较之适用于GPT-3的A100,速度提升10倍。#视频 () 来自:雷锋 频道:@kejiqu 群组:@kejiquchat 投稿:@kejiqubot

封面图片

AI 行业买 英伟达 GPU,花的钱比赚的多17倍搞 AI 大模型,实在太烧钱了。有人却表示「很合理」。

封面图片

英伟达经济学:云服务商在GPU上每花1美元 就能赚7美元

英伟达经济学:云服务商在GPU上每花1美元 就能赚7美元 Buck表示,竞相建设大型数据中心的公司将特别受益,并在数据中心四到五年的使用寿命内获得丰厚的回报,“云提供商在购买 GPU 上花费的每一美元,四年内(通过提供算力服务GAAS)都能收回 5 美元。”“如果用于推理,则更有利可图,每花费 1 美元,在同样的时间段内就能产生 7 美元的营业额,并且这个数字还在增长。”Buck说道。NVIDIA创始人、总裁兼首席执行官黄仁勋和执行副总裁兼首席财务官Colette Kress此前也曾表达过同样的观点。他们此前曾表示,借助CUDA算法创新,NVIDIA将H100的LLM推断速度提升至原来的3倍,这可以将Llama 3这类的模型的成本降低到原来的三分之一,而H200在推理性能上较H100几乎翻了一番,为生产部署带来了巨大的价值。例如,使用7000亿参数的LLama 3,单台HGX H200服务器可以每秒输出24000个Token,同时支持超过2400名用户。这意味着,按照现有的定价来看,托管Llama3的API供应商每花费1美元在NVIDIAHGX H200服务器上,未来四年内就可从Llama3 token计费中赚取7美元收入。围绕 Llama、Mistral 或 Gemma 的 AI 推理模型正在不断发展,并由Token提供服务。NVIDIA正在将开源 AI 模型打包到名为 Nvidia 推理微服务 (NIM) 的容器中。NVIDIA最新推出的Blackwell 针对推理进行了优化,支持 FP4 和 FP6 数据类型,在运行低强度 AI 工作负载时可进一步提高能效。根据官方的数据,与Hopper相比,Blackwell 训练速度比H100快4倍,推断速度快30倍,并且能够实时运行万亿参数大语言模型生成式AI,可进一步将成本和能耗降低到原来的25分之一。这似乎呼应了黄仁勋多次喊出的“买的越多,省的越多”的口号,但不可忽视的是,NVIDIA GPU价格也在快速上涨。为 Rubin GPU做准备很多云提供商提前两年就已经开始规划新的数据中心,并希望了解未来的AI GPU 架构会是什么样子。NVIDIA在6月初的Computex 2024展会上宣布,Blackwell芯片现已开始投产,即将替代Hopper芯片。2025年将会推出Blackwell Ultra GPU芯片。NVIDIA还公布了下一代集成HBM4的名为“Rubin”的AI平台,该GPU将于2026年发布,以替代Blackwell和Blackwell Ultra GPU。“对我们来说,做到这一点真的很重要数据中心不是凭空而来的,它们是大型建设项目。他们需要了解Blackwell 数据中心会是什么样子,它与Hopper数据中心有何不同。”Buck说。Blackwell 提供了一个转向更密集的计算形式和使用液体冷却等技术的机会,因为空气冷却效率不高。NVIDIA已经宣布每年都会推出一款新的 GPU的节奏,这有助于公司跟上 AI 发展的步伐,进而帮助客户规划产品和 AI 战略。Buck说:“NVIDIA已经与那些最大的客户针对Rubin GPU探讨了一段时间他们知道我们的目标和时间表。”AI 的速度和能力与硬件直接相关。在 GPU 上投入的资金越多,AI公司就能训练出更大的模型,从而带来更多收入。微软和谷歌将自己的未来寄托在人工智能上,并竞相开发更强大的大型语言模型。微软严重依赖新的 GPU 来支撑其 GPT-4 后端,而谷歌则依赖其 TPU 来运行其人工智能基础设施。Blackwell供不应求NVIDIA目前正在生产 Blackwell GPU,样品很快就会发布。但客户可以预料,首批 GPU(将于年底发货)将供不应求。“每一项新技术的转型都会带来……供需方面的挑战。我们在 Hopper 上就经历过这种情况,Blackwell 的产能提升也将面临类似的供需限制……今年年底到明年。”Buck 说道。Buck还表示,数据中心公司正在淘汰 CPU 基础设施,为更多 GPU 腾出空间。Hopper GPU 可能会被保留,而基于旧 Ampere 和 Volta 架构的旧 GPU 则会被转售。NVIDIA将保留多个级别的 GPU,随着 Blackwell 的不断发展,Hopper 将成为其主流 AI GPU。NVIDIA已经进行了多项硬件和软件改进,以提高 Hopper 的性能。未来所有云提供商都将提供 Blackwell GPU 和服务器。专家模型Buck 表示,GPT-4 模型大约有 1.8 万亿个参数,由于 AI 扩展尚未达到极限,参数数量还将继续增长。“人类大脑的规模大概相当于 1000 亿到 150 万亿个参数,具体数量取决于个人,取决于大脑中的神经元和连接。目前,人工智能的参数规模约为 2 万亿……我们尚未进行推理。”Buck说道。未来将会有一个包含数万亿个参数的大型模型,在此基础上会构建更小、更专业的模型。参数数量越多对NVIDIA越有利,因为它有助于销售更多 GPU。NVIDIA正在调整其 GPU 架构,从原来的基础模型方法转向混合专家模型。专家混合涉及多个神经网络通过相互参考来验证答案。Buck说:“1.8 万亿参数的 GPT 模型有 16 个不同的神经网络,它们都试图回答各自层的部分问题,然后商讨、会面并决定正确答案是什么。”即将推出的 GB200 NVL72 机架式服务器配备 72 个 Blackwell GPU 和 36 个 Grace CPU,专为混合专家模型而设计。多个 GPU 和 CPU 相互连接,从而支持混合专家模型。“这些家伙都可以相互通信,而不会在 I/O 上受阻。这种演变在模型架构中不断发生,”Buck 说。锁定客户的技巧NVIDIA首席执行官黄仁勋本月在 HPE 的 Discover 大会上发表了一些激烈的言论,呼吁人们购买更多该公司的硬件和软件。NVIDIA和 HPE 宣布推出一系列新产品,其名称简单明了,为“Nvidia AI Computing by HPE”。“我们设计了小号、中号、大号和特大号,你可以选择,而且正如你所知,你买得越多,省得越多。”黄在 Discover 的舞台上说道。黄仁勋今年早些时候还发表了另一条备受争议的言论,当时他说未来的程序员不需要学习如何编写代码,但在 Nvidia GPU 上加载 AI 模型需要了解命令行和脚本,以创建和运行 AI 环境。NVIDIA的专有言论和在人工智能市场的完全主导地位使其成为反垄断调查的目标。当 Buck 试图淡化人们对 CUDA 的担忧时,他必须小心谨慎,他表示“护城河是一个复杂的词”。NVIDIA两位高管都表示,CUDA 是其 GPU 的必备软件要最大限度地发挥 GPU 的性能,就需要 CUDA。开源软件可以与 Nvidia GPU 配合使用,但无法提供 CUDA 库和运行时的强大功能。向下兼容性和连续性是NVIDIA的独特优势,NVIDIA对AI 模型和软件的支持可以延续到下一代 GPU。但对于英特尔的 Gaudi 等 ASIC 则不然,它们必须针对每个新模型重新进行调整。 ... PC版: 手机版:

封面图片

英伟达发布下一代AI计算芯片 HGX H200 GPU

英伟达发布下一代AI计算芯片 HGX H200 GPU NVIDIA 今天宣布推出 NVIDIA HGX™ H200,为全球领先的 AI 计算平台带来强大动力。该平台基于 NVIDIA Hopper™ 架构,配备 NVIDIA H200 Tensor Core GPU 和高级内存,可处理生成 AI 和高性能计算工作负载的海量数据。 NVIDIA H200 是首款提供 HBM3e 的 GPU,HBM3e 是更快、更大的内存,可加速生成式 AI 和大型语言模型,同时推进 HPC 工作负载的科学计算。借助 HBM3e,NVIDIA H200 以每秒 4.8 TB 的速度提供 141GB 内存,与前一代 NVIDIA A100 相比,容量几乎翻倍,带宽增加 2.4 倍。 全球领先的服务器制造商和云服务提供商采用 H200 的系统预计将于 2024 年第二季度开始发货。

封面图片

英伟达推出生成式 AI 专家认证:费用 135 美元

英伟达推出生成式 AI 专家认证:费用 135 美元 该认证由英伟达颁发,考试主题包括生成式 AI 和大语言模型两大块,考试时间 1 小时,包括 50 道题,考试费用 135 美元(IT之家备注:当前约 972 元人民币),采用在线远程考试方式。 会过期吗?

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人