世界第一AI芯片“WSE-3”升级4万亿晶体管、90万核心

世界第一AI芯片“WSE-3”升级4万亿晶体管、90万核心 2021年的第二代WSE-2升级台积电7nm工艺，面积不变还是46225平方毫米，晶体管增至2.6万亿个，核心数增至85万个，缓存扩至40GB，内存带宽20PB/s，互连带宽220Pb/s。如今的第三代WSE-3再次升级为台积电5nm工艺，面积没说但应该差不多，毕竟需要一块晶圆才能造出一颗芯片，不可能再大太多了。晶体管数量继续增加达到惊人的4万亿个，AI核心数量进一步增加到90万个，缓存容量达到44GB，外部搭配内存容量可选1.5TB、12TB、1200TB。乍一看，核心数量、缓存容量增加的不多，但性能实现了飞跃，峰值AI算力高达125PFlops，也就是每秒12.5亿亿次浮点计算，堪比顶级超算。它可以训练相当于GPT-4、Gemini十几倍的下一代AI大模型，能在单一逻辑内存空间内存储24万亿参数，无需分区或者重构。用它来训练1万亿参数大模型的速度，相当于用GPU训练10亿参数。四颗并联，它能在一天之内完成700亿参数的调教，而且支持最多2048路互连，一天就可以完成Llama 700亿参数的训练。WSE-3的具体功耗、价格没公布，根据上代的情况看应该在200多万美元。 ... PC版： 手机版：

GTC 2024硬件一览：史上最强AI芯片GB200发布 高达2080亿晶体管

GTC 2024硬件一览：史上最强AI芯片GB200发布 高达2080亿晶体管 今年的GTC峰会主题完全围绕AI展开，2个小时的时间，老黄又一次带来了AI的变革时刻。当然除了老黄的开幕演讲外，后面还有900多场鼓舞人心的会议在等着你。同时此次GTC大会还吸引了超过200家展商，汇聚了数千名不同行业领域的从业人员一同参与。丰富多彩的技术分享、越见非凡的创新技术，称它是AI的盛会都不为过。想必你也好奇老黄究竟在GTC上带来了什么惊喜吧，别着急，本篇带你一睹GTC峰会上的那些硬件产品。见证AI的变革时刻峰会伊始，我们熟悉的皮衣刀客准时出场。一上来就直奔今天的主题AI，并表示“加速式计算机的生产力已经到达了一个转折点，生成式AI正在加速发展，而我们需要以一种全新的方式进行计算，才能够进一步提高计算机生产力。”并且还贴心的展示了其自己亲手画出的关于计算机生产力的演变流程，最后一项正是今天的重点！改变形态的Blackwell GPU没错，老黄在GTC宣布推出新一代GPU Blackwell。这里先介绍一下Blackwell架构，此前NVIDIA推出的显卡一般是两种架构，其中游戏显卡例如我们熟悉的RTX 40系则是Ada Lovelace架构，而面向AI、大数据等应用的专业级显卡则采用Hopper 架构。而老黄在大会上则表示“Blackwell不是一个芯片，它是一个平台的名字。”意思是Blackwell架构将同时用于以上两种类型的产品。借助这一架构，NVIDIA将推出涵盖多个应用领域的显卡，即RTX 50系显卡也会是这个架构。并且从老黄手上的芯片可以看出，新的Blackwell GPU的体积明显比上代Hopper GPU要更大一些。至于这个架构名字的由来，则要追溯到美国科学院首位黑人院士、加州大学伯克利分校首位黑人终身教授戴维·布莱克维尔（David Blackwell），它是著名的数学家、统计学家，不过很可惜的是这位教授在2010年因病去世。恐怖的2080亿晶体管言归正传，让我们继续关注此次Blackwell GPU。“我们需要更大的GPU，如果不能更大，就把更多GPU组合在一起，变成更大的虚拟GPU。”老黄在GTC上也确实这么干了。Blackwell架构的首个GPU为B200，由于目前4nm制程工艺已经接近极限，所以NVIDIA也玩起了“拼图”，B200采用台积电的 4 纳米（4NP）工艺蚀刻而成，由两个芯片通过NVLink 5.0组合在一起，以10TB每秒的满血带宽互联，总的晶体管数量更是达到了恐怖的2080 亿。第二代Transformer引擎除了芯片形态的变化外，Blackwell还有5大创新，首先就是第二代Transformer引擎。它支持FP4和FP6精度计算。得益于此，Blackwell GPU的FP4与FP6分别是Hopper的5倍与2.5倍。第五代NVLink互连第五代NVLink互连则是将多个Blackwell GPU组合起来的重要工具。它与传统的PCIe交换机不同，NVLink带宽有限，可以在服务器内的GPU之间实现高速直接互连。目前第五代NVLink可每个GPU 提供了1.8TB/s双向吞吐量，确保多达576个GPU之间的无缝高速通信。RAS可靠性引擎这个RAS可靠性引擎则是基于AI实现，Blackwell 透过专用的可靠性、可用性和可维护性 (RAS) 引擎，可增加智慧复原能力，及早辨认出可能发生的潜在故障，尽可能缩短停机时间。Secure AI安全AI功能Secure AI负责提供机密运算功能，同时Blackwell也是业界第一款支持EE-I/O的GPU，它可以在不影响性能的前提下，维护你的数据安全，这对于金融、医疗以及AI方面有极大作用。专用解压缩引擎最后一项创新技术则是关于解压缩层面，资料分析和资料库工作流程此前更多是仰赖CPU 进行运算。如果放到GPU中进行则可大幅提升端对端分析的效能，加速创造价值，同时降低成本。Blackwell配备了专用的解压缩引擎，使用过程中可以配合内置的Grace CPU实现每秒900 GB的双向频宽，并且还能兼顾最新的压缩格式 (如 LZ4、Snappy和Deflate等)。超级核弹GB200而两个B200 GPU与Grace CPU结合就成为今天“火热”的GB200超级芯片。这款超级芯片的性能更加惊人，你以为H100已经很快了？不！GB200更快，过去，在90天内训练一个1.8万亿参数的MoE架构GPT模型，需要8000个Hopper架构GPU。现在，你只要2000个Blackwell GPU就可以完成。官方称，在标准的1750亿参数GPT-3基准测试中，GB200的性能是H100的7倍，提供的训练算力是H100的4倍。不止是性能更快更强，Blackwell GPU还相当节能。还是同样的操作，90天内训练一个1.8万亿参数的MoE架构GPT模型，8000个Hopper GPU要耗费15兆瓦功耗，如今的Blackwell GPU仅需1/4的能耗就能实现。如果你需要更强劲的GPU，NVIDIA也面向有大型需求的企业提供成品服务，提供完整的服务器。例如：GB200 NVL72，它将36个CPU和72个GPU插入一个液冷机架中，总共可实现720 petaflops的AI训练性能或1,440 petaflops（1.4 exaflops）的推理。与相同数量的72个H100相比，GB200 NVL72的性能绝对是逆天的存在，大模型推理性能可以提升30倍，并且成本和能耗只有前者的1/25。当然，最炸裂的要数适用于 DGX GB200 的 DGX Superpod，它将八个GB200 NVL72合二为一，总共有288个CPU、576个GPU、240TB内存和11.5 exaflops的FP4计算能力。老黄更是在GTC上直言“DGX Superpod就是AI的革命工厂！”结语以上就是本次GTC 2024的硬件相关报道，可能有玩家会说，怎么没有游戏显卡？其实按照过往惯例，NVIDIA并没有在GTC上推出消费级显卡的习惯。不过本次NVIDIA在GTC 2024上推出的B100显卡所使用的架构是Blackwell，上面我们也讲过了，这是一个跨越数据中心与消费级产品的架构，这也就意味着我们熟悉的GeForce显卡应该也是同一架构的产品，不出意外的话，下半年我们就有望看到心心念念的RTX 50系显卡了！ ... PC版： 手机版：

一万亿晶体管GPU将到来 台积电董事长撰文解读

一万亿晶体管GPU将到来 台积电董事长撰文解读 值得一提的是，本文署名作者MARK LIU（刘德音）和H.-S. PHILIP WONG，其中刘德音是台积电董事长。H.-S Philip Wong则是斯坦福大学工程学院教授、台积电首席科学家。在这里，我们将此文翻译出来，以飨读者。以下为文章正文：1997 年，IBM 深蓝超级计算机击败了国际象棋世界冠军Garry Kasparov。这是超级计算机技术的突破性演示，也是对高性能计算有一天可能超越人类智能水平的首次展示。在接下来的10年里，我们开始将人工智能用于许多实际任务，例如面部识别、语言翻译以及推荐电影和商品。再过十五年，人工智能已经发展到可以“合成知识”（synthesize knowledge）的地步。生成式人工智能，如ChatGPT和Stable Diffusion，可以创作诗歌、创作艺术品、诊断疾病、编写总结报告和计算机代码，甚至可以设计与人类制造的集成电路相媲美的集成电路。人工智能成为所有人类事业的数字助手，面临着巨大的机遇。ChatGPT是人工智能如何使高性能计算的使用民主化、为社会中的每个人带来好处的一个很好的例子。所有这些奇妙的人工智能应用都归功于三个因素：高效机器学习算法的创新、训练神经网络的大量数据的可用性，以及通过半导体技术的进步实现节能计算的进步。尽管它无处不在，但对生成式人工智能革命的最后贡献却没有得到应有的认可。在过去的三十年里，人工智能的重大里程碑都是由当时领先的半导体技术实现的，没有它就不可能实现。Deep Blue 采用 0.6 微米和 0.35 微米节点芯片制造技术的混合实现；赢得 ImageNet 竞赛的深度神经网络并开启了当前机器学习时代的设备使了用 40 纳米技术打造的芯片；AlphaGo 使用 28 纳米技术征服了围棋游戏；ChatGPT 的初始版本是在采用 5 纳米技术构建的计算机上进行训练的。；ChatGPT 的最新版本由使用更先进的4 纳米技术的服务器提供支持。所涉及的计算机系统的每一层，从软件和算法到架构、电路设计和设备技术，都充当人工智能性能的乘数。但可以公平地说，基础晶体管器件技术推动了上面各层的进步。如果人工智能革命要以目前的速度继续下去，它将需要半导体行业做出更多贡献。十年内，它将需要一个 1 万亿晶体管的 GPU，也就是说，GPU 的设备数量是当今典型设备数量的 10 倍。AI 模型大小的不断增长，让人工智能训练所需的计算和内存访问在过去五年中增加了几个数量级。例如，训练GPT-3需要相当于一整天每秒超过 50 亿次的计算操作（即 5,000 petaflops /天），以及 3 万亿字节 (3 TB) 的内存容量。新的生成式人工智能应用程序所需的计算能力和内存访问都在持续快速增长。我们现在需要回答一个紧迫的问题：半导体技术如何跟上步伐？从集成器件到集成小芯片自集成电路发明以来，半导体技术一直致力于缩小特征尺寸，以便我们可以将更多晶体管塞进缩略图大小的芯片中。如今，集成度已经上升了一个层次；我们正在超越 2D 缩放进入3D 系统集成。我们现在正在将许多芯片组合成一个紧密集成、大规模互连的系统。这是半导体技术集成的范式转变。在人工智能时代，系统的能力与系统中集成的晶体管数量成正比。主要限制之一是光刻芯片制造工具被设计用于制造不超过约 800 平方毫米的 IC，即所谓的光罩限制（reticle limit）。但我们现在可以将集成系统的尺寸扩展到光刻掩模版极限之外。通过将多个芯片连接到更大的中介层（一块内置互连的硅片）上，我们可以集成一个系统，该系统包含的设备数量比单个芯片上可能包含的设备数量要多得多。例如，台积电的CoWoS（chip-on-wafer-on-substrate ）技术就可以容纳多达六个掩模版区域的计算芯片，以及十几个高带宽内存（HBM）芯片。CoWoS是台积电的硅晶圆上芯片先进封装技术，目前已在产品中得到应用。示例包括 NVIDIA Ampere 和 Hopper GPU。当中每一个都由一个 GPU 芯片和六个高带宽内存立方体组成，全部位于硅中介层上。计算 GPU 芯片的尺寸大约是芯片制造工具当前允许的尺寸。Ampere有540亿个晶体管，Hopper有800亿个。从 7 纳米技术到更密集的 4 纳米技术的转变使得在基本相同的面积上封装的晶体管数量增加了 50%。Ampere 和 Hopper 是当今大型语言模型 ( LLM ) 训练的主力。训练 ChatGPT 需要数万个这样的处理器。HBM 是对 AI 日益重要的另一项关键半导体技术的一个例子：通过将芯片堆叠在一起来集成系统的能力，我们在台积电称之为SoIC (system-on-integrated-chips) 。HBM 由控制逻辑 IC顶部的一堆垂直互连的 DRAM 芯片组成。它使用称为硅通孔 (TSV) 的垂直互连来让信号通过每个芯片和焊料凸点以形成存储芯片之间的连接。如今，高性能 GPU广泛使用 HBM 。展望未来，3D SoIC 技术可以为当今的传统 HBM 技术提供“无凸块替代方案”（bumpless alternative），在堆叠芯片之间提供更密集的垂直互连。最近的进展表明，HBM 测试结构采用混合键合技术堆叠了 12 层芯片，这种铜对铜连接的密度高于焊料凸块所能提供的密度。该存储系统在低温下粘合在较大的基础逻辑芯片之上，总厚度仅为 600 µm。对于由大量运行大型人工智能模型的芯片组成的高性能计算系统，高速有线通信可能会很快限制计算速度。如今，光学互连已被用于连接数据中心的服务器机架。我们很快就会需要基于硅光子学的光学接口，并与 GPU 和 CPU 封装在一起。这将允许扩大能源效率和面积效率的带宽，以实现直接的光学 GPU 到 GPU 通信，这样数百台服务器就可以充当具有统一内存的单个巨型 GPU。由于人工智能应用的需求，硅光子将成为半导体行业最重要的使能技术之一。迈向万亿晶体管 GPU如前所述，用于 AI 训练的典型 GPU 芯片已经达到了标线区域极限（reticle field limit）。他们的晶体管数量约为1000亿个。晶体管数量增加趋势的持续将需要多个芯片通过 2.5D 或 3D 集成互连来执行计算。通过 CoWoS 或 SoIC 以及相关的先进封装技术集成多个芯片，可以使每个系统的晶体管总数比压缩到单个芯片中的晶体管总数大得多。如AMD MI 300A 就是采用这样的技术制造的。AMD MI300A 加速处理器单元不仅利用了CoWoS，还利用了台积电的 3D 技术SoIC。MI300A结合了 GPU 和 CPU内核，旨在处理最大的人工智能工作负载。GPU为AI执行密集的矩阵乘法运算，而CPU控制整个系统的运算，高带宽存储器（HBM）统一为两者服务。采用 5 纳米技术构建的 9 个计算芯片堆叠在 4 个 6 纳米技术基础芯片之上，这些芯片专用于缓存和 I/O 流量。基础芯片和 HBM 位于硅中介层之上。处理器的计算部分由 1500 亿个晶体管组成。我们预测，十年内，多芯片 GPU 将拥有超过 1 万亿个晶体管。我们需要在 3D 堆栈中将所有这些小芯片连接在一起，但幸运的是，业界已经能够快速缩小垂直互连的间距，从而增加连接密度。而且还有足够的空间容纳更多。我们认为互连密度没有理由不能增长一个数量级，甚至更高。GPU 的节能性能趋势那么，所有这些创新的硬件技术如何提高系统的性能呢？如果我们观察一个称为节能性能的指标的稳步改进，我们就可以看到服务器 GPU 中已经存在的趋势。EEP 是系统能源效率和速度（the energy efficiency and speed of a system）的综合衡量标准。过去 15 年来，半导体行业的能效性能每两年就提高了三倍左右。我们相信这一趋势将以历史速度持续下去。它将受到多方面创新的推动，包括新材料、器件和集成技术、极紫外（EUV）光刻、电路设计、系统架构设计以及所有这些技术元素的共同优化等。特别是，EEP 的增加将通过我们在此讨论的... PC版： 手机版：

你见过晶圆大小的芯片吗？这家AI独角兽推新品对标英伟达H100

你见过晶圆大小的芯片吗？这家AI独角兽推新品对标英伟达H100 据悉，该款芯片将4万亿个晶体管组织在90万个核心中。该芯片针对人工智能训练的工作负载进行了优化。Cerebras公司声称，配备了2048个WSE-3芯片的服务器集群可以在一天内训练出市场上最先进的开源语言模型之一Llama 2 70B。替代英伟达Cerebras是一家美国人工智能芯片的独角兽企业，它背后的投资团队也都实力够硬。最新一笔融资是在2021年由Alpha Wave Venture和阿布扎比增长基金领投，融资金额2.5亿美元，其他的投资人士包括：OpenAI创始人山姆·奥特曼、AMD前首席技术官Fred Weber等。2021年，Cerebras公司首次亮相了WSE-2芯片，集成了1.2万亿个晶体管、40万个核心。在同行都在将晶圆分割成数百颗独立芯片之时，Cerebras公司则是选择将整个晶圆做成一颗芯片。而最新发布的WSE-3则是从WSE-2改进而来的。它较WES-2又增加了1.4万亿个晶体管，并拥有90万个计算核心、44GB的板载SRAM内存。强化部分是通过从7纳米制造工艺更新到5纳米节点所实现的。据该公司称，WSE-3在人工智能工作负载方面的性能是其前身的两倍，它的峰值速度可以达到每秒125千万亿次计算。Cerebras还将WSE-3定位为比英伟达显卡更为高效的替代品。根据Cerebras官网的数据，该芯片4万亿个晶体管数完全碾压了英伟达H100 GPU的800亿个；核处理器数是单个英伟达H100 GPU的52倍；片上存储量是H100的880倍。WSE-3芯片为Cerebras公司的CS-3超级计算机提供动力，CS-3可用于训练具有多达24万亿个参数的人工智能模型，对比由WSE-2和其他常规人工智能处理器驱动的超级计算机，这一数据是个重大飞跃。加速数据传输虽说将晶圆大小的芯片和单个英伟达H100 GPU相比较并不公平，不过若从数据传输速度的角度来看，不将晶圆切割成单独的芯片确实有它的优势。根据Cerebras公司的说法，使用单一的大型处理器可以提高人工智能训练工作流程的效率。当WSE-3上的4万亿个晶体管在晶圆上互连时，将会大大加快生成式人工智能的处理时间。人工智能模型就是相对简单的代码片段的集合，这些代码片段被称为人工神经元。这些神经元被重新组织成集合（称为层）。当人工智能模型接收到一个新任务时，它的每一层都会执行任务的一部分，然后将其结果与其他层生成的数据结合起来。由于神经网络太大，无法在单个GPU上运行，因此，这些层需要分布在数百个以上的GPU上，通过频繁地交换数据来协调它们的工作。基于神经网络架构的具体特性，只有获得前一层的全部或部分激活数据，才能在开始分析数据，并提供给下一层。也就意味着，如果这两层的数据运行在不同的GPU上，信息在它们之间传输可能需要很长时间。芯片之间的物理距离越大，数据从一个GPU转移到另一个GPU所需的时间就越长，这会减慢处理速度。而Cerebras的WSE-3有望缩短这一处理时间。如果一个人工智能模型的所有层都在一个处理器上运行，那么数据只需要从芯片的一个角落传输到另一个角落，而不是在两个显卡之间传输。减少数据必须覆盖的距离可以减少传输时间，从而加快处理速度。该公司指出，在如今的服务器集群中，数以万计的GPU被用来处理一个问题，而若是将芯片数量减少50倍以上，就可以降低互连成本以及功效，同时或许也可以解决消耗大量电力的问题。Cerebras联合创始人兼CEO Andrew Feldman称，“当我们八年前开始这一旅程时，每个人都说晶圆级处理器是白日梦…WSE-3是世界上最快的人工智能芯片，专为最新的尖端人工智能工作而打造。”对于新推出地WSE-3芯片，分析公司Intersect360 Research首席执行官Addison Snell认为，Cerebras的WSE-3人工智能芯片和CS-3系统可以使部分高性能计算用户受益。他指出，“该芯片在相同的成本和功率下将性能提高了一倍。”不过，Tirias Research创始人Jim McGregor则较为现实地指出，尽管这家初创公司增长迅速，并且有能力提高其平台的可扩展性，但与占主导地位的人工智能供应商英伟达相比，它仍然是一家规模较小的公司。他还指出，Cerebras专注于人工智能的一个方面，那就是训练，不过训练只是大型语言模型市场的一个利基市场。而英伟达提供了许多其他方面产品。 ... PC版： 手机版：

【世界第一AI芯片WSE-3面世，一天就可以完成Llama 700亿参数的训练】

【世界第一AI芯片WSE-3面世，一天就可以完成Llama 700亿参数的训练】 #美国 加州半导体公司Cerebras Systems发布第三代晶圆级AI加速芯片“WSE-3”(Wafer Scale Engine 3)，规格参数更加疯狂，而且在功耗、价格不变的前提下性能翻了一番。WSE-3再次升级为台积电5nm工艺，面积没说但应该差不多，然而，晶体管数量继续增加达到惊人的4万亿个，AI核心数量进一步增加到90万个，缓存容量达到44GB，外部搭配内存容量可选1.5TB、12TB、1200TB。核心数量、缓存容量增加的不多，但性能实现了飞跃，峰值AI算力高达125PFlops，也就是每秒12.5亿亿次浮点计算，堪比顶级超算。它可以训练相当于GPT-4、Gemini十几倍的下一代AI大模型，能在单一逻辑内存空间内存储24万亿参数，无需分区或者重构。四颗并联，它能在一天之内完成700亿参数的调教，而且支持最多2048路互连，一天就可以完成Llama 700亿参数的训练。WSE-3的具体功耗、价格没公布，根据上代的情况看应该在200多万美元。

AI芯片独角兽已秘密申请IPO

AI芯片独角兽已秘密申请IPO 这家创企正在创建优先股，价格比上一轮私人融资大幅折扣。此举可能会使其股票在首次公开募股前对私人投资者和参与公开上市的人更具吸引力。据此前报道，Cerebras已聘请花旗集团担任其IPO的牵头银行。根据Prime Unicorn Index共享的文件，6月初，Cerebras批准以14.66美元发行约2700万股新股。这远低于其2021年F轮融资时的27.74美元股价，该轮估值超过40亿美元。新的股票授权表明，Cerebras对自己的估值约为25亿美元。尚不清楚Cerebras是否已正式出售这些股票，或者谁将持有这些股票。该公司已累计融资7.2亿美元，估值约为42亿到50亿美元。在AI领域声名赫赫的OpenAI联合创始人兼首席执行官Sam Altman曾参与Cerebras的8000万美元D轮融资。Cerebras在官网将Altman列在其投资人列表的第一位。GPU竞不是最佳引擎？当芯片设计企业都在将晶圆分割成数百颗独立芯片时，Cerebras另辟蹊径，选择将整块晶圆做成一颗芯片。2019年8月，其首颗晶圆级芯片WSE以“世界最大芯片”的名号引爆全球科技圈，它由一整片晶圆制成，采用台积电16nm制程，在46225mm²面积上集成了40万个AI核心和1.2万亿颗晶体管。其2021年推出的二代WSE-2更进一步，采用台积电7nm制程，创下集成85万个AI核心和2.6万亿颗晶体管的新纪录，搭载WSE-2芯片的AI超算系统CS-2也同期发布。今年3月，Cerebras推出了第三代晶圆级芯片WSE-3和AI超级计算机CS-3。WSE-3采用台积电5nm制程，有90万个AI核心和4万亿颗晶体管，AI峰值算力高达每秒125千万亿次。CS-3是15U的服务器，最高功耗为23kW，可在本地或云端使用。CS-3拥有高达1.2PB的巨大存储系统，旨在训练比OpenAI GPT-4和GoogleGemini大10倍的下一代前沿模型。在CS-3上训练1万亿参数模型就像在GPU上训练10亿参数模型一样简单。Cerebras团队认为，GPU不是训练大模型的最佳引擎，因为开发者必须将模型分割成许多部分，将它们分布在数百和数千个GPU上，这意味着他们必须重写模型以跨集群工作，他们的代码将从大约600行增加到20000行。而Cerebras想解决的就是这个问题。其首席执行官Andrew Feldman曾用做西装打比方，有一位裁缝可以在一周内作出一套西装，他雇佣了隔壁也能一周做一套西装的裁缝，现在他们一周可以做出两套西装，但他们无法在三天半内做出一套西装。GPU就像无法协同工作的裁缝，至少在分子动力学的一些问题上是这样，随着连接的GPU越来越多，它们可以同时模拟更多的原子，但却无法更快地模拟相同数量的原子。而WSE以完全不同的方式扩展，芯片不受互连带宽的限，可以快速通信，就像两个裁缝完美协作、在三天半内制作出一套西装一样。与GPU不同，Cerebras晶圆级集群将计算和内存组件分离，支持轻松扩展MemoryX单元的内存容量。Cerebras为超大规模客户提供120TB和1200TB选项，而1200TB的配置能够存储有24万亿个参数的模型。单个CS-3机架可存储比10000节点GPU集群更多的模型参数，使得一台机器上可以开发和调试万亿参数模型。同样训练700亿参数大语言模型Llama 2，GPU集群需要大约1个月，而CS-3集群只用1天。产品侧，CS-3可与英伟达同台竞技今年4月，Cerebras发文比较Cerebras CS-3与英伟达B200，称CS-3和英伟达DGX B200是2024年上市的两款最令人兴奋的AI硬件新品。无论AI训练性能还是能效，CS-3都做到倍杀DGX B200。Cerebras还提供AI模型服务。其平台已经训练了各种各样的模型，从多语言大模型到医疗健康聊天机器人，帮助客户训练基础模型或者微调开源模型，而且大部分工作都是开源的。Andrew Feldman和Gary Lauterbach分别是Cerebras Systems的首席执行官和首席技术官。两人已合作超过12年，曾在2007年联合创办高带宽微服务器先驱SeaMicro，这家公司在2012年被AMD以超过3亿美元的价格收购，两人也一起加入了AMD。Andrew Feldman在AMD做了两年半的副总裁。Andrew Feldman有斯坦福大学MBA学位，多次作为公司高管完成了收购和上市。Gary Lauterbach是计算机架构大牛，曾担任SPARC Ⅲ和UltraSPARC Ⅳ微处理器的首席架构师。最后：AI竞赛升温，算力股正躺赢？AI算力繁荣正带动相关股票的飙涨。本周英伟达以超过3.3万亿美元的市值登顶“全球股王”。此前向云计算公司出售数据中心组件的Astera Labs在今年3月上市时，首日股价暴涨76%。IPO计划显示，Cerebras希望驾驭投资者对AI硬件销售的热情浪潮。这家AI芯片公司需展示它计划如何获得AI计算市场。其财务业绩暂时无法得知，该公司在12月的一篇博客文章中表示，它最近达到了“现金流收支平衡”，但未详细说明。 ... PC版： 手机版：