Azure AI 入门 （三）摩尔定律，GPU与并行计算

Azure AI 入门 （三）摩尔定律，GPU与并行计算 摩尔定律(图一）是英特尔Intel创始人之一戈登·摩尔的经验之谈，其核心内容为：集成电路IC相同面积上可以容纳的晶体管Transistor数目在18个月到24个月便会增加一倍，因此处理器的性能大约每两年翻一倍，同时价格下降为之前的一半。 虽然名为“定律”，但其只是根据20世纪中后期的发展趋势归纳而成。进入21世纪以后，以英特尔为代表的中央处理器CPU的发展趋势渐渐慢于摩尔的预测的。仅依靠单颗处理器的速度提升已无法满足日渐复杂的计算任务，比如3维图形的渲染（3D rendering)。 因此，英伟达Nvidia在1999年提出了硬件图形处理器（Graphics Processing Unit)的概念，以大量的只能完成某些特殊任务的微处理器，代替少量的通用处理器。软件方面，并行计算也从专业科学领域逐渐向大众领域流行。用一个可能不是最恰当的比方，CPU像是由4位特级厨师组成的小组，可以完成任何烹饪任务，而GPU像是用同样工资请来的128位三明治店的员工。GPU不能做很多事，像完成一些特定的菜，但如果任务是制作2000人份的三明治，GPU一定可以依靠并行计算比CPU完成得快许多。 GPU与并行计算的普及，也使得云计算成为了可能。计算机科学家在设计计算任务时通常会首先考虑能否将大任务拆分成能同时进行的更小任务，从而可以同时运行在服务商提供的大量数目的CPU和GPU上。 图二 英伟达创始人黄仁勋 Jensen Huang

英特尔CEO：别听老黄瞎忽悠 摩尔定律依然有效

英特尔CEO：别听老黄瞎忽悠 摩尔定律依然有效 他说：“与黄仁勋让你们相信的不同，摩尔定律依然活着，而且还活得很好。”基辛格同时强调，作为PC芯片的领先供应商，英特尔将在AI的普及中发挥重要作用。他说：“我认为，它就像25年前的互联网，规模和潜力庞大。我们相信，这是推动半导体行业在2030年之前达到1万亿美元的动力。”在本届台北国际电脑展上，英特尔展示了其最新的至强6（Xeon 6）数据中心处理器。该处理器具有更高效的内核，将使运营商能够将给定任务所需的空间减少到前一代硬件的1/3。盖辛格还称，英特尔的Gaud系统将由戴尔和英业达（Inventec）等合作伙伴提供。Gaud系统将英特尔的芯片编译成多处理器套件，专门用于处理生成式AI的训练。一套配备八个英特尔Gaud 2加速器的套装售价为65，000美元，而由八个英特尔Gaud 3加速器组成的功能更强大的套件将标价12.5万美元。英特尔预计，这两款产品都比竞争对手的产品更实惠。这些Gaudi 3集群中的每一个都由8192个加速器组成，英特尔预计，与同等规模的英伟达H100 GPU集群相比，英特尔产品的AI模型训练时间最多快40%。另外，在执行AI推理任务方面，Gaudi 3的执行速度将比英伟达的H100快一倍，这是从Meta和Mistral等流行模型的测试结果中得出的结论。但是，这些优势可能还不足以推翻英伟达在数据中心AI处理方面的领先地位。Next Curve的分析师Leonard Lee称：“每个加速器的表现不再是最重要的事情。英伟达的最大优势在于拥有一个凝聚和集成的生态系统，以及像NVLink这样的专有技术，确保其计算集群作为一个整体工作。”几十年来，英特尔一直领导着计算机行业。但由于逐渐落后于竞争对手，其营收在过去两年里有所下滑。三年前，基辛格被任命为英特尔CEO，肩负着重新夺回芯片设计和制造领导地位的使命。虽然英特尔的销售额已经停止萎缩，但分析师预计还不会迅速反弹。据预计，英特尔今年的营收将比2021年减少200亿美元。与此同时，英伟达的销售额预计将翻一番，AMD的增长率也将超过10%，这两家公司均更好地利用了AI计算硬件的开支狂潮。基辛格称：“这是我们职业生涯中最重要的时刻。”他重申了英特尔与合作伙伴合作的重要性，并称“我们是为这一刻而生的。” ... PC版： 手机版：