你见过晶圆大小的芯片吗?这家AI独角兽推新品对标英伟达H100

你见过晶圆大小的芯片吗?这家AI独角兽推新品对标英伟达H100 据悉,该款芯片将4万亿个晶体管组织在90万个核心中。该芯片针对人工智能训练的工作负载进行了优化。Cerebras公司声称,配备了2048个WSE-3芯片的服务器集群可以在一天内训练出市场上最先进的开源语言模型之一Llama 2 70B。替代英伟达Cerebras是一家美国人工智能芯片的独角兽企业,它背后的投资团队也都实力够硬。最新一笔融资是在2021年由Alpha Wave Venture和阿布扎比增长基金领投,融资金额2.5亿美元,其他的投资人士包括:OpenAI创始人山姆·奥特曼、AMD前首席技术官Fred Weber等。2021年,Cerebras公司首次亮相了WSE-2芯片,集成了1.2万亿个晶体管、40万个核心。在同行都在将晶圆分割成数百颗独立芯片之时,Cerebras公司则是选择将整个晶圆做成一颗芯片。而最新发布的WSE-3则是从WSE-2改进而来的。它较WES-2又增加了1.4万亿个晶体管,并拥有90万个计算核心、44GB的板载SRAM内存。强化部分是通过从7纳米制造工艺更新到5纳米节点所实现的。据该公司称,WSE-3在人工智能工作负载方面的性能是其前身的两倍,它的峰值速度可以达到每秒125千万亿次计算。Cerebras还将WSE-3定位为比英伟达显卡更为高效的替代品。根据Cerebras官网的数据,该芯片4万亿个晶体管数完全碾压了英伟达H100 GPU的800亿个;核处理器数是单个英伟达H100 GPU的52倍;片上存储量是H100的880倍。WSE-3芯片为Cerebras公司的CS-3超级计算机提供动力,CS-3可用于训练具有多达24万亿个参数的人工智能模型,对比由WSE-2和其他常规人工智能处理器驱动的超级计算机,这一数据是个重大飞跃。加速数据传输虽说将晶圆大小的芯片和单个英伟达H100 GPU相比较并不公平,不过若从数据传输速度的角度来看,不将晶圆切割成单独的芯片确实有它的优势。根据Cerebras公司的说法,使用单一的大型处理器可以提高人工智能训练工作流程的效率。当WSE-3上的4万亿个晶体管在晶圆上互连时,将会大大加快生成式人工智能的处理时间。人工智能模型就是相对简单的代码片段的集合,这些代码片段被称为人工神经元。这些神经元被重新组织成集合(称为层)。当人工智能模型接收到一个新任务时,它的每一层都会执行任务的一部分,然后将其结果与其他层生成的数据结合起来。由于神经网络太大,无法在单个GPU上运行,因此,这些层需要分布在数百个以上的GPU上,通过频繁地交换数据来协调它们的工作。基于神经网络架构的具体特性,只有获得前一层的全部或部分激活数据,才能在开始分析数据,并提供给下一层。也就意味着,如果这两层的数据运行在不同的GPU上,信息在它们之间传输可能需要很长时间。芯片之间的物理距离越大,数据从一个GPU转移到另一个GPU所需的时间就越长,这会减慢处理速度。而Cerebras的WSE-3有望缩短这一处理时间。如果一个人工智能模型的所有层都在一个处理器上运行,那么数据只需要从芯片的一个角落传输到另一个角落,而不是在两个显卡之间传输。减少数据必须覆盖的距离可以减少传输时间,从而加快处理速度。该公司指出,在如今的服务器集群中,数以万计的GPU被用来处理一个问题,而若是将芯片数量减少50倍以上,就可以降低互连成本以及功效,同时或许也可以解决消耗大量电力的问题。Cerebras联合创始人兼CEO Andrew Feldman称,“当我们八年前开始这一旅程时,每个人都说晶圆级处理器是白日梦…WSE-3是世界上最快的人工智能芯片,专为最新的尖端人工智能工作而打造。”对于新推出地WSE-3芯片,分析公司Intersect360 Research首席执行官Addison Snell认为,Cerebras的WSE-3人工智能芯片和CS-3系统可以使部分高性能计算用户受益。他指出,“该芯片在相同的成本和功率下将性能提高了一倍。”不过,Tirias Research创始人Jim McGregor则较为现实地指出,尽管这家初创公司增长迅速,并且有能力提高其平台的可扩展性,但与占主导地位的人工智能供应商英伟达相比,它仍然是一家规模较小的公司。他还指出,Cerebras专注于人工智能的一个方面,那就是训练,不过训练只是大型语言模型市场的一个利基市场。而英伟达提供了许多其他方面产品。 ... PC版: 手机版:

相关推荐

封面图片

英伟达最新人工智能芯片H200开始供货

英伟达最新人工智能芯片H200开始供货 3月27日,英伟达宣布,开始供货尖端图像处理半导体 (GPU) “H200”。H200 是面向人工智能的半导体,性能超过现在的主打 GPU “H100”。英伟达相继推出最新的人工智能半导体,目的是保持较高的市场份额。英伟达3月27日公布了 H200 的性能评测结果。用 Meta 的大规模语言模型 (LLM) “Llama 2”进行了比较,结果显示,与 H100 相比,H200 使生成式人工智能导出答案的处理速度最高提高了45%。

封面图片

AI芯片独角兽已秘密申请IPO

AI芯片独角兽已秘密申请IPO 这家创企正在创建优先股,价格比上一轮私人融资大幅折扣。此举可能会使其股票在首次公开募股前对私人投资者和参与公开上市的人更具吸引力。据此前报道,Cerebras已聘请花旗集团担任其IPO的牵头银行。根据Prime Unicorn Index共享的文件,6月初,Cerebras批准以14.66美元发行约2700万股新股。这远低于其2021年F轮融资时的27.74美元股价,该轮估值超过40亿美元。新的股票授权表明,Cerebras对自己的估值约为25亿美元。尚不清楚Cerebras是否已正式出售这些股票,或者谁将持有这些股票。该公司已累计融资7.2亿美元,估值约为42亿到50亿美元。在AI领域声名赫赫的OpenAI联合创始人兼首席执行官Sam Altman曾参与Cerebras的8000万美元D轮融资。Cerebras在官网将Altman列在其投资人列表的第一位。GPU竞不是最佳引擎?当芯片设计企业都在将晶圆分割成数百颗独立芯片时,Cerebras另辟蹊径,选择将整块晶圆做成一颗芯片。2019年8月,其首颗晶圆级芯片WSE以“世界最大芯片”的名号引爆全球科技圈,它由一整片晶圆制成,采用台积电16nm制程,在46225mm²面积上集成了40万个AI核心和1.2万亿颗晶体管。其2021年推出的二代WSE-2更进一步,采用台积电7nm制程,创下集成85万个AI核心和2.6万亿颗晶体管的新纪录,搭载WSE-2芯片的AI超算系统CS-2也同期发布。今年3月,Cerebras推出了第三代晶圆级芯片WSE-3和AI超级计算机CS-3。WSE-3采用台积电5nm制程,有90万个AI核心和4万亿颗晶体管,AI峰值算力高达每秒125千万亿次。CS-3是15U的服务器,最高功耗为23kW,可在本地或云端使用。CS-3拥有高达1.2PB的巨大存储系统,旨在训练比OpenAI GPT-4和GoogleGemini大10倍的下一代前沿模型。在CS-3上训练1万亿参数模型就像在GPU上训练10亿参数模型一样简单。Cerebras团队认为,GPU不是训练大模型的最佳引擎,因为开发者必须将模型分割成许多部分,将它们分布在数百和数千个GPU上,这意味着他们必须重写模型以跨集群工作,他们的代码将从大约600行增加到20000行。而Cerebras想解决的就是这个问题。其首席执行官Andrew Feldman曾用做西装打比方,有一位裁缝可以在一周内作出一套西装,他雇佣了隔壁也能一周做一套西装的裁缝,现在他们一周可以做出两套西装,但他们无法在三天半内做出一套西装。GPU就像无法协同工作的裁缝,至少在分子动力学的一些问题上是这样,随着连接的GPU越来越多,它们可以同时模拟更多的原子,但却无法更快地模拟相同数量的原子。而WSE以完全不同的方式扩展,芯片不受互连带宽的限,可以快速通信,就像两个裁缝完美协作、在三天半内制作出一套西装一样。与GPU不同,Cerebras晶圆级集群将计算和内存组件分离,支持轻松扩展MemoryX单元的内存容量。Cerebras为超大规模客户提供120TB和1200TB选项,而1200TB的配置能够存储有24万亿个参数的模型。单个CS-3机架可存储比10000节点GPU集群更多的模型参数,使得一台机器上可以开发和调试万亿参数模型。同样训练700亿参数大语言模型Llama 2,GPU集群需要大约1个月,而CS-3集群只用1天。产品侧,CS-3可与英伟达同台竞技今年4月,Cerebras发文比较Cerebras CS-3与英伟达B200,称CS-3和英伟达DGX B200是2024年上市的两款最令人兴奋的AI硬件新品。无论AI训练性能还是能效,CS-3都做到倍杀DGX B200。Cerebras还提供AI模型服务。其平台已经训练了各种各样的模型,从多语言大模型到医疗健康聊天机器人,帮助客户训练基础模型或者微调开源模型,而且大部分工作都是开源的。Andrew Feldman和Gary Lauterbach分别是Cerebras Systems的首席执行官和首席技术官。两人已合作超过12年,曾在2007年联合创办高带宽微服务器先驱SeaMicro,这家公司在2012年被AMD以超过3亿美元的价格收购,两人也一起加入了AMD。Andrew Feldman在AMD做了两年半的副总裁。Andrew Feldman有斯坦福大学MBA学位,多次作为公司高管完成了收购和上市。Gary Lauterbach是计算机架构大牛,曾担任SPARC Ⅲ和UltraSPARC Ⅳ微处理器的首席架构师。最后:AI竞赛升温,算力股正躺赢?AI算力繁荣正带动相关股票的飙涨。本周英伟达以超过3.3万亿美元的市值登顶“全球股王”。此前向云计算公司出售数据中心组件的Astera Labs在今年3月上市时,首日股价暴涨76%。IPO计划显示,Cerebras希望驾驭投资者对AI硬件销售的热情浪潮。这家AI芯片公司需展示它计划如何获得AI计算市场。其财务业绩暂时无法得知,该公司在12月的一篇博客文章中表示,它最近达到了“现金流收支平衡”,但未详细说明。 ... PC版: 手机版:

封面图片

人工智能公司MosaicML称不要迷信英伟达芯片 AMD芯片提供类似性能

人工智能公司MosaicML称不要迷信英伟达芯片 AMD芯片提供类似性能 目前在人工智能热潮下英伟达股价水涨船高,之前业内基本都认同英伟达的 A100/H100 加速卡提供最佳的性能,所以英伟达的这些专用加速卡被各大公司哄抢。 人工智能初创公司MosaicML在后称大家不应该迷信英伟达芯片 , 因为AMD米兰芯片的性能并不差。该公司使用多种工具对英伟达A100加速卡和AMD MI250加速卡进行测试,测试显示MI250加速卡也足够用。 MosaicML称在基于实际工作负载测试中,AMD MI250加速卡的每GPU数据吞吐量相当于英伟达A100 40GB版的 80%,是A100 80GB版的73%。因此确实有差距但差距并不算大,对人工智能公司来说并不是非得高价抢购英伟达显卡,其他加速卡也能用。来源 , 来自:雷锋 频道:@kejiqu 群组:@kejiquchat 投稿:@kejiqubot

封面图片

英伟达正利用AI系统帮助公司提升制造芯片效率

英伟达正利用AI系统帮助公司提升制造芯片效率 据《华尔街日报》报道,英伟达自去年(2023年)10月推出ChipNeMo后,为图设计团队提供了不少帮助,对于英伟达而言建构人工智能产品的确也是个好兆头,在周一时这家芯片巨头的股价就上涨了4%,创下历史新高,而高盛的分析师预计,该涨幅或将可以持续到2025年上半年。当然英伟达也并不是唯一一家使用人工智能技术加速半导体设计的公司,在去年7月Google DeepMind也制造了一个人工智能系统,Google公司还表示可以运用该技术提高设计效率,几个月后软件巨头新思科技也推出了一款提高芯片工程师生产效率的人工智能工具。据悉,作为为人工智能领域“无可争议的领导者”,最新的数据显示,英伟达在全球人工智能芯片市场的份额预计最高可能已经达到了90%,创下新高纪录。今日黄仁勋还入选了美国工程院院士,美国国家工程院(National Academy of Engineering, NAE)给出的理由是:“用高性能图形处理单元,推动了人工智能革命。” ... PC版: 手机版:

封面图片

美国与英伟达就向中国销售人工智能芯片进行谈判

美国与英伟达就向中国销售人工智能芯片进行谈判 美国正在与英伟达公司就向中国出售人工智能芯片的事宜进行讨论,但强调不能向中国公司出售其最先进的半导体。 美国商务部长吉娜·雷蒙多在周一接受路透社采访时表示,英伟达“可以、将会、也应该向中国出售人工智能芯片,因为大多数人工智能芯片将用于商业应用。” 雷蒙多补充道:“我们不能允许他们出口的是最尖端、处理能力最强的人工智能芯片,这将使中国能够训练其前沿模型。”

封面图片

AI芯片独角兽Cerebras已秘密申请IPO

AI芯片独角兽Cerebras已秘密申请IPO 这家创企正在创建优先股,价格比上一轮私人融资大幅折扣。此举可能会使其股票在首次公开募股前对私人投资者和参与公开上市的人更具吸引力。据此前报道,Cerebras已聘请花旗集团担任其IPO的牵头银行。根据Prime Unicorn Index共享的文件,6月初,Cerebras批准以14.66美元发行约2700万股新股。这远低于其2021年F轮融资时的27.74美元股价,该轮估值超过40亿美元。新的股票授权表明,Cerebras对自己的估值约为25亿美元。尚不清楚Cerebras是否已正式出售这些股票,或者谁将持有这些股票。该公司已累计融资7.2亿美元,估值约为42亿到50亿美元。在AI领域声名赫赫的OpenAI联合创始人兼首席执行官Sam Altman曾参与Cerebras的8000万美元D轮融资。Cerebras在官网将Altman列在其投资人列表的第一位。当芯片设计企业都在将晶圆分割成数百颗独立芯片时,Cerebras另辟蹊径,选择将整块晶圆做成一颗芯片。2019年8月,其首颗晶圆级芯片WSE以“世界最大芯片”的名号引爆全球科技圈,它由一整片晶圆制成,采用台积电16nm制程,在46225mm²面积上集成了40万个AI核心和1.2万亿颗晶体管。其2021年推出的二代WSE-2更进一步,采用台积电7nm制程,创下集成85万个AI核心和2.6万亿颗晶体管的新纪录,搭载WSE-2芯片的AI超算系统CS-2也同期发布。今年3月,Cerebras推出了第三代晶圆级芯片WSE-3和AI超级计算机CS-3。WSE-3采用台积电5nm制程,有90万个AI核心和4万亿颗晶体管,AI峰值算力高达每秒125千万亿次。CS-3是15U的服务器,最高功耗为23kW,可在本地或云端使用。CS-3拥有高达1.2PB的巨大存储系统,旨在训练比OpenAI GPT-4和GoogleGemini大10倍的下一代前沿模型。在CS-3上训练1万亿参数模型就像在GPU上训练10亿参数模型一样简单。Cerebras团队认为,GPU不是训练大模型的最佳引擎,因为开发者必须将模型分割成许多部分,将它们分布在数百和数千个GPU上,这意味着他们必须重写模型以跨集群工作,他们的代码将从大约600行增加到20000行。而Cerebras想解决的就是这个问题。其首席执行官Andrew Feldman曾用做西装打比方,有一位裁缝可以在一周内作出一套西装,他雇佣了隔壁也能一周做一套西装的裁缝,现在他们一周可以做出两套西装,但他们无法在三天半内做出一套西装。GPU就像无法协同工作的裁缝,至少在分子动力学的一些问题上是这样,随着连接的GPU越来越多,它们可以同时模拟更多的原子,但却无法更快地模拟相同数量的原子。而WSE以完全不同的方式扩展,芯片不受互连带宽的限制,可以快速通信,就像两个裁缝完美协作、在三天半内制作出一套西装一样。与GPU不同,Cerebras晶圆级集群将计算和内存组件分离,支持轻松扩展MemoryX单元的内存容量。Cerebras为超大规模客户提供120TB和1200TB选项,而1200TB的配置能够存储有24万亿个参数的模型。单个CS-3机架可存储比10000节点GPU集群更多的模型参数,使得一台机器上可以开发和调试万亿参数模型。同样训练700亿参数大语言模型Llama 2,GPU集群需要大约1个月,而CS-3集群只用1天。今年4月,Cerebras发文比较Cerebras CS-3与英伟达B200,称CS-3和英伟达DGX B200是2024年上市的两款最令人兴奋的AI硬件新品。无论AI训练性能还是能效,CS-3都做到倍杀DGX B200。Cerebras还提供AI模型服务。其平台已经训练了各种各样的模型,从多语言大模型到医疗健康聊天机器人,帮助客户训练基础模型或者微调开源模型,而且大部分工作都是开源的。Andrew Feldman和Gary Lauterbach分别是Cerebras Systems的首席执行官和首席技术官。两人已合作超过12年,曾在2007年联合创办高带宽微服务器先驱SeaMicro,这家公司在2012年被AMD以超过3亿美元的价格收购,两人也一起加入了AMD。Andrew Feldman在AMD做了两年半的副总裁。▲Cerebras Systems首席执行官Andrew Feldman(左)和首席技术官Gary Lauterbach(右)Andrew Feldman有斯坦福大学MBA学位,多次作为公司高管完成了收购和上市。Gary Lauterbach是计算机架构大牛,曾担任SPARC Ⅲ和UltraSPARC Ⅳ微处理器的首席架构师。结语:AI竞赛升温,算力股躺赢AI算力繁荣正带动相关股票的飙涨。本周英伟达以超过3.3万亿美元的市值登顶“全球股王”。此前向云计算公司出售数据中心组件的Astera Labs在今年3月上市时,首日股价暴涨76%。IPO计划显示,Cerebras希望驾驭投资者对AI硬件销售的热情浪潮。这家AI芯片公司需展示它计划如何获得AI计算市场。其财务业绩暂时无法得知,该公司在12月的一篇博客文章中表示,它最近达到了“现金流收支平衡”,但未详细说明。 ... PC版: 手机版:

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人