黄氏定律是推动NVIDIA在不到十年的时间内将芯片性能提高1000倍的催化剂

黄氏定律是推动NVIDIA在不到十年的时间内将芯片性能提高1000倍的催化剂英伟达公司首席执行官黄仁勋(JensenHuang)曾多次表示,摩尔定律正在"放缓",它所支持的概念已经开始过时。尤其是在黄仁勋发表GTC2023主题演讲之后,争论变得更加激烈。如果我们看一下摩尔定律是什么,它与微芯片上的晶体管数量以及它"应该"如何每年翻一番有关。尽管英伟达在过去十年中将GPU从28纳米迁移到了5纳米半导体节点,但该技术仅占总收益的2.5倍。英伟达公司首席科学家比尔-达利(BillDally)在一篇博文中澄清说,NVIDIA对下一代技术的态度是围绕"黄氏定律"展开的。我们将深入探讨其含义,但英伟达自己声称,这一术语源自IEEESpectrum的一篇报道,后来被多家媒体所熟知。英伟达最近在其产品中实施的概念确实很有趣,它可能是打开行业未来之门的钥匙。比尔-达利(BillDally)在"热芯片2023"的演讲中表示,英伟达在过去十年中见证了计算芯片性能惊人的1000倍增长。按照书本上的说法,如果采用摩尔定律,这样的提升是不可能实现的,而制程工艺的缩减也不会对这一数字产生任何影响。现在,你可能会问我这是怎么实现的,我的回答是,优先考虑单个"堆栈"内的创新,而不是芯片开发。为了支持这种说法,NVIDIA公司在其博文中表示,引入"Hopper架构"是显示巨大性能数据的决定性因素,因为它们使用了"8位和16位浮点和整数数学"。更进一步,"安培架构"的推出提高了统计学习的性能,使计算工作负载的性能提升了2倍。为了将各项技术串联起来,NVIDIA的"NVLINK"技术派上了用场,最终实现了x1000的突破。英伟达在博文中提到,在整个10年期间,公司从28纳米工艺转换到5纳米工艺,性能仅提高了2.5倍。这违背了摩尔定律,即芯片每"缩小"一次,性能就会同比提高2倍。达利表示,英伟达的未来取决于"黄氏定律",而"黄氏定律"会带来一些行业进步的机会。"现在是做计算机工程师的一个有趣的时代。"达利表示,"行业形势确实验证了这一事实。可以说,计算机行业正处于一个决定性的时刻,而这一切都取决于公司如何对待"芯片和计算的发展"。...PC版:https://www.cnbeta.com.tw/articles/soft/1387487.htm手机版:https://m.cnbeta.com.tw/view/1387487.htm

相关推荐

封面图片

NVIDIA“最强AI芯片”Blackwell B200 GPU令业内惊呼新的摩尔定律诞生

NVIDIA“最强AI芯片”BlackwellB200GPU令业内惊呼新的摩尔定律诞生在GTC直播中,黄仁勋左手举着B200GPU,右手举着H100此外,将两个B200GPU与单个GraceCPU结合在一起的GB200,可以为LLM推理工作负载提供30倍的性能,并且显著提高效率。黄仁勋还强调称:“与H100相比,GB200的成本和能耗降低了25倍!关于市场近期颇为关注的能源消耗问题,B200GPU也交出了最新的答卷。黄仁勋表示,此前训练一个1.8万亿参数模型,需要8000个HopperGPU并消耗15MW电力。但如今,2000个BlackwellGPU就可以实现这一目标,耗电量仅为4MW。在拥有1750亿参数的GPT-3大模型基准测试中,GB200的性能是H100的7倍,训练速度是H100的4倍。值得一提的是,B200GPU的重要进步之一,是采用了第二代Transformer引擎。它通过对每个神经元使用4位(20petaflopsFP4)而不是8位,直接将计算能力、带宽和模型参数规模翻了一倍。而只有当这些大量的GPU连接在一起时,第二个重要区别才会显现,那就是新一代NVLink交换机可以让576个GPU相互通信,双向带宽高达1.8TB/秒。而这就需要英伟达构建一个全新的网络交换芯片,其中包括500亿个晶体管和一些自己的板载计算:拥有3.6teraflopsFP8处理能力。在此之前,仅16个GPU组成的集群,就会耗费60%的时间用于相互通信,只有40%的时间能用于实际计算。一石激起千层浪,“最强AI芯片”的推出让网友纷纷赞叹。其中英伟达高级科学家JimFan直呼:Blackwell新王诞生,新的摩尔定律已经应运而生。DGXGrace-BlackwellGB200:单个机架的计算能力超过1Exaflop。黄仁勋交付给OpenAI的第一台DGX是0.17Petaflops。GPT-4的1.8T参数可在2000个Blackwell上完成90天的训练。还有网友感叹:1000倍成就达成!Blackwell标志着在短短8年内,NVIDIAAI芯片的计算能力实现了提升1000倍的历史性成就。2016年,“Pascal”芯片的计算能力仅为19teraflops,而今天Blackwell的计算能力已经达到了20000teraflops。相关文章:全程回顾黄仁勋GTC演讲:Blackwell架构B200芯片登场英伟达扩大与中国车企合作为比亚迪提供下一代车载芯片英伟达进军机器人领域发布世界首款人形机器人通用基础模型台积电、新思科技首次采用NVIDIA计算光刻平台:最快加速60倍NVIDIA共享虚拟现实环境技术将应用于苹果VisionPro黄仁勋GTC演讲全文:最强AI芯片Blackwell问世推理能力提升30倍...PC版:https://www.cnbeta.com.tw/articles/soft/1424217.htm手机版:https://m.cnbeta.com.tw/view/1424217.htm

封面图片

AMD苏姿丰:摩尔定律未死 但推进已放慢

AMD苏姿丰:摩尔定律未死但推进已放慢苏姿丰在接受巴伦周刊(Barron's)采访时表示,她不认为摩尔定律已死,她认为摩尔定律已放慢,必须以不同行动延续,获得摩尔定律的能效和能源效益。至于“摩尔定律放慢”是否部分是因为晶圆价格的关系,苏姿丰表示,晶体管成本、以及从密度与整体耗能降低获得的改善程度,每一代都在降低,但AMD仍不断前进,正在从事许多3纳米制程的工作,也已放眼2纳米制程,AMD将持续运用小芯片(Chiplet)这类架构,试着绕过摩尔定律的一些挑战。摩尔定律是否已经失效,是近年来半导体产业最常被提及的议题。然而2004年90纳米推出之后,历经65纳米、45纳米等制程微缩,至2012年的22纳米为止,仍然符合摩尔定律。但22纳米到2015年进入14纳米,至今再进入10纳米或7纳米,摩尔定律的推进已经明显放慢。去年,英伟达发布了新一代AdaLovelace架构GPU,由于价格调涨引发用户质疑。对此英伟达CEO黄仁勋表示,“摩尔定律已死”,是公司不得不涨价的原因。...PC版:https://www.cnbeta.com.tw/articles/soft/1358151.htm手机版:https://m.cnbeta.com.tw/view/1358151.htm

封面图片

摩尔定律到底死没死?芯片巨头英特尔、英伟达为何各执一词?

摩尔定律到底死没死?芯片巨头英特尔、英伟达为何各执一词?北京时间9月28日消息,作为半导体行业的黄金定律,摩尔定律一直指导着芯片开发。但是,随着芯片工艺的升级速度放缓,这一定律正受到质疑。摩尔定律是由英特尔联合创始人戈登·摩尔(GordonMoore)在上世纪60年代提出,主要说的是芯片上的晶体管数量。PC版:https://www.cnbeta.com/articles/soft/1321493.htm手机版:https://m.cnbeta.com/view/1321493.htm

封面图片

戈登·摩尔逝世:是他规定了芯片性能“年年翻倍”

戈登·摩尔逝世:是他规定了芯片性能“年年翻倍”图片来源:Intel相信对大多数人来说,无论是“戈登·摩尔”还是“仙童半导体(FairchildSemiconductor、飞兆半导体)联合创始人”“英特尔联合创始人”这几个称呼都有些陌生。但只要你对计算机科学稍有了解,相信一定听过著名的“摩尔定律”。没错,被现代无数自媒体疯狂挪用的“摩尔定律”,就由戈登·摩尔在1965年提出。很显然,简单地用“提出摩尔定律”来形容戈登·摩尔是非常不准确的。抛开慈善与环保事业不提,戈登·摩尔在计算机科学领域也有着突出的贡献:他与罗伯特·诺伊斯(RobertNoyce)、朱利亚斯·布兰克(JuliusBlank)、尤金·克莱尔(EugeneKleiner)、金·赫尔尼(JeanHoerni)、杰·拉斯特(JayLast)、谢尔顿·罗伯特茨(SheldonRoberts)和维克多·格里尼克(VictorGrinich)共同创立的仙童半导体不仅是美国计算机领域的“黄埔军校”,同时还奠定了硅谷的基础。今天,我们不妨回顾一下戈登·摩尔究竟从什么角度引领着计算机科学的发展。他定义了硅谷1929年1月3日,戈登·摩尔出生于美国加利福利亚州旧金山,后在圣荷西州立大学就读并取得理学学士学位。1950在加州大学伯克利分校获得化学学士学位,1954年在加州理工学院获得化学博士学位。从取得博士学位后,戈登·摩尔加入了同样毕业于加州理工学院的威廉·肖克利(WilliamBradfordShockleyJr.)领导的肖克利半导体实验室。值得一提的是,威廉·肖克利被誉为晶体管之父,并因共同发明了晶体管获得了1956年的诺贝尔物理奖。但由于威廉·肖克利“怪异的行为与管理方式”,八位科学家决定共同离开肖克利实验室,并在纽约仙童摄影器材公司的资助下于1957年创办了仙童半导体公司。图片来源:Intel仙童半导体初期主要研究和生产晶体管,他们首次商用制造硅晶体管,同时也率先推出了商业化生产集成电路的方法。毫不夸张地说,这家由于“劳资不和”而诞生的半导体公司,以一己之力奠定了现代计算机科学的发展,同时也奠定了“硅谷”在半导体行业的领先地位。1965年,戈登·摩尔受邀为《电子学》杂志写了一篇行业观察报告,总结并评估了当时集成电路的发展速度,提出“每个新芯片大体上包含其前任两倍的容量,每个芯片的产生都是在前一个芯片产生后的18-24个月内”的现象,并将其归纳为“摩尔定律”,此时英特尔甚至还没有成立,开天辟地的Intel4004微处理器更是无从谈起。不过在1968年,戈登·摩尔就和罗伯特·诺伊斯、安迪·格罗夫一同创办了一家以集成电子(IntegratedElectronics)为命名灵感的半导体公司。没错,这个名字取了两个单词开头合并而来的新企业,就叫现在大家熟知的Intel英特尔。1971年11月,英特尔推出了第一款商用微处理器——Intel4004。这款至今仍出现在教科书中的微处理器最早是英特尔为一家生产电子计算器的日本公司设计的。1972年,英特尔推出了世界上第一款八位处理器Intel8008;1974年,英特尔推出了4004的升级版Intel4040。图片来源:Intel就在Intel4040推出后的第二年,根据英特尔产品的实际状况,对10年前的“摩尔定律1.0”做出了更新:接下来的10年里,集成电路上的晶体管每两年翻一番。到这里不知道大家有没有发现一个细节:摩尔定律并不是60年前一句话到现在还管用。实际上摩尔定律每次的“有效期”只有10年,只不过每次预测都以10年为单位而已。而现在大家所熟悉的“18个月性能翻倍”版本,其实由时任英特尔CEO大卫·豪斯(DavidHouse)提出。“后摩尔定律”时代尽管最新版本的摩尔定律跟戈登·摩尔已经没有太大关系了,但从某种程度上看,摩尔定律的说法确实也影响着芯片行业的发展。很多人可能误以为摩尔定律里还有什么物理定律或是研究思路,实际上都没有,这一切都只是对未来半导体芯片发展所做出的一个预测。虽然仅仅是一个预测,但是这个预测是戈登·摩尔说出来的,作为当时的半导体领军人物,从业者下意识地相信并跟随这一定律——在18个月内,一定要让性能翻倍。在当时,摩尔定律就像一个行业准则,规定了芯片提升的“下限”。但如果现在企业已经有让性能提升300%的技术呢?或者直白地说,万一有人把摩尔定律当作芯片提升的“上限”,即使有更强大的升级,也要等到一年半之后再放出呢?比如在去年的NVIDIA发布会上,英伟达的CEO黄仁勋直言“摩尔定律已死”,往后的芯片性能不会再遵循这个定律。当然了,现代技术日新月异,摩尔定律终归会有“死去”的一天,作为一个发展预测而存在的摩尔定律并不像万有引力方程式那样难以推翻,甚至物理定律也在随着人类对世界的认知而在不停改变,随着硅芯片的发展走到尽头,那么就是摩尔定律“死去”的时候。图片来源:Intel但硅芯片走到头了吗?至少现在还没有,比如英伟达所使用的芯片制程是台积电的5nm工艺,而下一代制程3nm即将进入商用阶段。那么英特尔呢?在坚持了多年的14nm后,英特尔成功转入10nm,距离硅芯片的尽头“1nm”也还有不少的距离,至少在可以预见的未来5年到10年里,硅芯片都还有一定的发展空间。而且,从业者也在试图用其它方法提升处理器的晶体管数量,传统的硅芯片是单层结构,所有晶体管都铺设在一层硅晶体上,那么是否可以通过增加层数来让芯片在面积不变的情况下增加晶体管数量呢?这只是其中一条思路,为了保持摩尔定律的有效性,行业一直在寻求新的发展方向。至少从目前的半导体行业发展看来,摩尔定律仍然有效,甚至黄仁勋实际上也认可这一点,但是为何黄仁勋要说摩尔定律已死?很简单,黄仁勋认为未来的芯片性能会继续增加,即使不再是两年翻倍,三年或者四年也必定可以实现翻倍的目标,但是随着芯片制造成本的增加,未来的芯片售价不会再跟随摩尔定律而下降。图片来源:Intel当然了,作为“摩尔定律”的发源地,英特尔在2022年就身体力行地用自己的产品反驳了NVIDIA的看法。在十三代酷睿处理器的发布会上,英特尔的CEO帕特·基辛格直球回击:我知道大家都在争论“摩尔定律”是否死了?我的答案是:没有。从英特尔的角度来看,摩尔定律还远没有到死亡的时候,它仍在坚定地指导着半导体行业的前进与发展。尽管以英特尔、英伟达为首的两大阵营就摩尔定律正闹得不可开交,但值得庆幸的是,从今年英特尔13代酷睿移动端处理器和英伟达RTX40系移动端的表现来看,双方都还是站到了用户体验这一侧。照这么看,尽管提出摩尔定律的戈登·摩尔博士已经离去,摩尔定律在未来依旧会作为芯片发展进步的“行业保证”一直陪伴着我们。...PC版:https://www.cnbeta.com.tw/articles/soft/1351145.htm手机版:https://m.cnbeta.com.tw/view/1351145.htm

封面图片

AMD称摩尔定律并没有消亡 但它已经被改变了

AMD称摩尔定律并没有消亡但它已经被改变了虽然NVIDIA显卡通常是好产品--GTX1630是一个典范的例子--但购买者有理由对产品价格的不断增长感到好奇。例如,2013年,NVIDIA推出的GTX780零售价为649美元。与此同时,上个月,RTX4080的起价达到了惊人的1199美元。这意味着价格上涨了近85%,虽然性能提升肯定不止于此,但在过去九年里,美元的价值并没有以同样的方式增长。在RTX4090和两款RTX4080的公布之后,黄仁勋在与媒体记者的问答中再次声称"摩尔定律已经死亡"。AMD最近的显卡市场发力明显,试图一举击败NVIDIA。首席技术官MarkPapermaster在最近的一次峰会上发言驳斥了黄仁勋的说法,强调摩尔定律仍然存在。"并不是说不会有令人兴奋的新晶体管技术......对我来说,非常非常清楚的是,我们要不断改进晶体管技术的进展,但它们更昂贵,所以你将不得不使用加速器,GPU加速,专门的功能......"他补充解释AMD如何管理制造成本,芯片确实在变得更加复杂和昂贵,只是每个芯片公司都正在学习和适应这种现状。根据Papermaster的说法,AMD已经预料到了价格上涨,并将其描述为该公司最近在其处理器和显卡中改变芯片设计结构的一个主导因素。这两家公司都从台积电获得处理器晶圆,来自AMD和NVIDIA的相互矛盾的叙述令人费解,AMD似乎正在推动规避所谓的摩尔定律的"死亡",而NVIDIA似乎已经决定完全接受"摩尔定律已死"的理念。...PC版:https://www.cnbeta.com.tw/articles/soft/1334267.htm手机版:https://m.cnbeta.com.tw/view/1334267.htm

封面图片

英特尔PK英伟达“摩尔定律已死”争议走向白热化

英特尔PK英伟达“摩尔定律已死”争议走向白热化“我知道大家都在争论‘摩尔定律’(Moore’sLaw)是否死了?答案是No!”北京时间9月28日凌晨,IntelInnovation2022开幕活动上,英特尔现任CEO帕特·基辛格(PatGelsinger)声嘶力竭地表示,“摩尔定律”没有死,它还活得好好的(AliveandWell)。PC版:https://www.cnbeta.com/articles/soft/1322933.htm手机版:https://m.cnbeta.com/view/1322933.htm

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人