Jim Keller 试图设计更高效芯片,降低 AI 应用成本挑战英伟达

JimKeller试图设计更高效芯片,降低AI应用成本挑战英伟达Tenstorrent的Galaxy系统比NVIDIADGX效率高三倍,价格便宜33%。Keller指出,能做到这点是因为Tenstorrent没使用HBM内存,「即使是使用HBM的人,也在为成本以及构建HBM所需的设计时间而挣扎,因此决定不使用该技术」。HBM是AI芯片能耗巨大、价格高昂的罪魁祸首之一。

相关推荐

封面图片

IBM力推云服务平台 考虑使用自家AI芯片降低成本

IBM力推云服务平台考虑使用自家AI芯片降低成本十多年前,IBM的首个主要AI系统“Watson”未能取得市场关注度。而十多年后,IBM希望利用生成式AI技术的蓬勃发展,大力宣传新的“Watsonx”云服务。“Watsonx”平台主要面向企业,企业可以利用该平台来建立自己的模型,从而为客户服务或编写代码等。降成本旧的“Watson”系统面临的障碍之一是高成本,IBM希望这次能够解决这个问题。Khare表示,使用自家的芯片可以降低云服务成本,因为它们非常节能。IBM在10月份宣布了这种AI芯片。这是一种专用集成电路(ASIC),旨在更快、更高效地训练和运行需要大规模并行计算的深度学习模型。Khare周二透露,这款AI芯片是由三星电子代工的,三星电子与IBM在半导体研究方面有合作关系,IBM正在考虑将其用于WatsonX。IBM尚未确定该芯片何时可供云客户使用,但Khare表示该公司已经有数千个原型芯片投入使用。AIU芯片的特色如今众多科技巨头,例如Alphabet旗下的Google和亚马逊等公司,都开始着手设计自己的AI芯片。不过,英伟达的芯片在训练具有大量数据的AI系统方面仍处于市场领先地位。Khare对此表示,IBM并没有试图设计一款能直接替代英伟达芯片的产品。IBM设计的AIU芯片是专为深度学习模型加速而设计的,并针对矩阵和矢量计算进行了优化。AIU能够以远超CPU的速度执行数据分析,并且也还能够解决高复杂的计算问题。这款芯片设计之时,IBM认为有些计算任务并不需要高精度,于是提出了一个新术语“近似计算”,降低了传统计算精度。就好比人类大脑,即便没有高分辨率,也能分辨出家人或者小猫小狗。在AIU芯片的设计中,近似计算发挥着重要作用,这种芯片虽计算精度低于CPU,但同时也让运算执行速度翻倍。所以,IBM指出AIU芯片旨在提高成本效益,即让一个已经训练有素的人工智能系统在现实世界中快速做出决策。...PC版:https://www.cnbeta.com.tw/articles/soft/1370451.htm手机版:https://m.cnbeta.com.tw/view/1370451.htm

封面图片

英伟达寻求从三星采购HBM芯片

英伟达寻求从三星采购HBM芯片黄仁勋表示,英伟达正在对三星的HBM芯片进行资格认证,并将在未来开始使用它们。HBM已成为人工智能热潮的重要组成部分,因为与传统存储芯片相比,它提供了更快的处理速度。黄仁勋表示:“HBM是一个技术奇迹。”他补充说,HBM还可以提高能效,并且随着耗电的人工智能芯片变得更加普遍,将帮助世界保持可持续发展。SK海力士实际上是AI芯片领导者英伟达的HBM3芯片的唯一供应商。虽然没有透露新HBM3E的客户名单,但SK海力士高管透露,新芯片将首先供货英伟达并用于其最新的BlackwellGPU。三星一直在HBM上投入巨资,以追赶竞争对手。三星于2月宣布开发出HBM3E12H,这是业界首款12层堆栈HBM3EDRAM,也是迄今为止容量最高的HBM产品。三星表示,将于今年上半年开始量产该芯片。...PC版:https://www.cnbeta.com.tw/articles/soft/1424347.htm手机版:https://m.cnbeta.com.tw/view/1424347.htm

封面图片

华为引领中国与英伟达 AI 芯片竞争

华为引领中国与英伟达AI芯片竞争华为技术有限公司正在领导一批中国半导体公司寻求存储芯片方面的突破,这可能有助于中国开发出替代英伟达尖端人工智能芯片的国产芯片,因为英伟达的芯片无法在中国销售。据两位接近华为的人士透露,由华为牵头的集团在中国政府的资助下,计划到2026年生产高带宽内存(HBM),这是先进图形处理单元的关键组件。该项目于去年开始,其中包括与华为一起受到美国制裁的内存芯片制造商福建晋华集成电路。该集团还依赖其他中国芯片生产商和封装技术开发商,并将努力根据华为设计的人工智能处理器芯片和支持主板组件定制其内存芯片。——、

封面图片

挑战英伟达,AMD 即将推出 AI 芯片 MI300X

挑战英伟达,AMD即将推出AI芯片MI300X当地时间周二,AMD宣布,该公司即将推出的最先进的人工智能GPUMI300X将于今年晚些时候开始向部分客户发货。GPU是OpenAI等公司用来搭建ChatGPT等尖端人工智能程序的芯片。虽然AMD未披露价格,但此举可能会给英伟达GPU带来价格压力,如后者的H100,其价格能够达到3万美元以上。()频道:@TestFlightCN

封面图片

挑战英伟达 英特尔发布新一代AI芯片Gaudi3

挑战英伟达英特尔发布新一代AI芯片Gaudi3英特尔首席执行官PatGelsinger希望借助AI热潮重振该公司的业务,英特尔曾因过去的失误和更广泛的个人电脑市场低迷而遭受重创。与此同时,其长期竞争对手AMD已经抢占了个人电脑和服务器市场部分份额,英特尔的一些最大客户现在也开始自主设计芯片。PatGelsinger认为,AI代表着新时代的到来,创造了巨大的机会,更充足、更强大、更具性价比的处理能力是未来经济增长的关键组成,“未来5年联网设备数量将增加4倍,未来10年将提升至15倍”。资料显示,英特尔Gaudi3将采用5nm工艺,带宽是前代Gaudi2(7nm工艺)的1.5倍,BF16功率是其4倍,网络算力是其2倍。Gaudi3预计将配备最高128GB的HBM3e内存,AI学习和训练性能大幅提升。英特尔表示,由于不断增长且经过验证的性能优势、以及极具竞争力的TCO(总体拥有成本)和定价优势,预计Gaudi3将凭借领先的AI芯片套件在2024年占领该市场的更大份额。英特尔还推出了面向企业的第五代至强(Xeon)处理器,以及面向个人电脑(PC)的酷睿(Core)Ultra芯片。英特尔介绍,第五代至强为数据中心、云、网络和边缘计算带来更强大的AI,它的性能和效率大幅提升,在多种客户工作负荷环境下,较前代的通用计算性能平均提高21%,每瓦特能耗平均提升36%。据悉,这是至强处理器在不到一年时间内的第二次大改动,在性能和容量提升的同时耗电量减少。英特尔称,至强是唯一具有内置AI加速功能的主流数据中心处理器,相比今年1月推出的第四代至强,第五代至强在多达200亿个参数的模型上的推理和微调能力提升高达42%。它也是唯一MLPerf训练和推理AI基准测试结果集一致且持续改进的CPU。在AIEverywhere活动期间,IBM(IBM.US)披露,在测试过程中,第五代英特尔至强处理器在微软watsonx.data平台上的查询吞吐量比前代提高2.7倍。明年将部署第五代至强的谷歌云则指出,PaloAltoNetworks通过谷歌云使用第四代至强中的内置加速,其进行威胁检测的深度学习模型性能提升了两倍。此外,英特尔此次正式推出的酷睿Ultra芯片适用于笔记本电脑和台式机,让这些PC都可以直接应用AI功能。英特尔介绍,酷睿Ultra采用了英特尔首款用于客户端的片上AI加速器、即简称NPU的神经网络处理单元,将高能效AI加速提升到了新的高度,能耗较上一代产品提高2.5倍。英特尔还表示,酷睿Ultra芯片包括更强大的游戏功能,增加的图形处理能力可以帮助AdobePremier等程序的运行速度提高40%以上。英特尔称,搭载酷睿UltraAI芯片的PC现在就可以在美国部分零售商处购买。明年,酷睿UltraAI芯片将支持全球笔记本电脑和PC制造商的230多种机型。英特尔还预计,到2028年,AI芯片驱动的电脑将占PC市场的80%。英特尔强调,正在与100多家软件厂商合作,为PC市场带来数百款得到AI技术强化的应用,这些极具创造力、生产力和趣味性的应用将改变PC的用户体验。...PC版:https://www.cnbeta.com.tw/articles/soft/1404585.htm手机版:https://m.cnbeta.com.tw/view/1404585.htm

封面图片

外媒评AMD新款AI芯片:优势不大 少了大客户支持挑战英伟达很难

外媒评AMD新款AI芯片:优势不大少了大客户支持挑战英伟达很难资本市场也给出了类似的反应,自今年年初以来,AMD股价已经翻了一番,并在周二早些时候触及16个月来的高点。但是在活动后,AMD的股价周二收盘下跌了3.6%。当日英伟达股价收盘上涨3.9%至410.22美元,成为首家市值超过1万亿美元的芯片制造商。彭博:投资者对AI期望已经很高AMD没能让他们趋之若鹜AMD展示了即将推出的人工智能处理器系列产品,旨在帮助数据中心处理大量人工智能数据,并挑战英伟达在这一新兴市场的主导地位。像芯片行业的其他公司一样,AMD正在努力满足人工智能领域日益增长的算力需求。依赖于大语言模型的主流服务正在将数据中心推向极限。然而,到目前为止,英伟达在处理这些工作负载方面具备技术优势。AMD首席执行官苏姿丰在发布会上表示:“我们仍处于人工智能生命周期的起步阶段。”她说,到2027年,数据中心人工智能加速器的潜在市场总额将增长五倍,达到1500亿美元以上,“会有很大体量。”尽管如此,这场演讲并没有让投资者趋之若鹜,他们已经对人工智能的增长早有极高期望。在周二的发布会期间,AMD股价下跌了3%以上。路透:少了大客户支持AMD想竞争英伟达很难AMD周二公布了新款人工智能系列芯片,意欲挑战市场领头羊英伟达。但公司没有透露投资者最关注的事情,那就是谁计划使用这款芯片。AMD首席执行官苏姿丰表示,新款人工智能芯片可能有助于科技公司控制ChatGPT等服务不断上升的成本。但会上AMD没有透露谁将使用MI300X或MI300A。公司没有详细说明芯片的成本是多少,也没有说明将如何提振销售业绩。TIRIASResearch首席分析师凯文·克雷韦尔(KevinKrewell)表示:“我认为,没有(大客户)表示将使用MI300X或MI300A,这可能会让华尔街感到失望。他们希望AMD宣布已经在某些设计方面取代了英伟达。”投资者更为关注有关人工智能的信息。英伟达在人工智能领域所建立的领先地位不仅来自芯片产品,还来自十多年来为人工智能研究人员提供的软件工具,从中预测他们关于芯片的具体需求。AMD用Rocm软件对标英伟达的Cuda软件平台,周二也发布了相关更新信息。Meta副总裁索米斯·钦塔拉(SoumithChintala)曾帮助开发人工智能开源软件。他表示,与AMD的密切合作能让人工智能开发人员更容易使用免费工具,从人工智能芯片领域的“单一主导供应商”转向AMD芯片等其他产品。钦塔拉说:“从一个平台切换到另一个平台,你实际上不需要做那么多工作,在很多情况下甚至不需要做任何工作。”但分析师表示,仅仅因为Meta等技术成熟公司可以通过AMD芯片受益,并不能保证AMD产品能在技术不那么成熟的买家当中获得更多青睐。MoorInsights&Strategy分析师AnshelSag表示:“尽管AMD在硬件性能方面具有竞争力,但人们仍然不相信AMD的软件解决方案能与英伟达竞争。”CNBC:AMD新品是对英伟达的最大挑战AMD周二表示,公司最好的人工智能芯片MI300X将于今年晚些时候开始向部分客户发货。这是对英伟达最大的挑战,因为目前英伟达拥有超过80%的市场份额,占据人工智能芯片市场的主导地位。如果AMD的人工智能芯片能够被开发人员和服务器制造商接受,成为英伟达芯片的替代品,那么AMD可能会开辟出一个巨大的市场。AMD首席执行官苏姿丰表示,人工智能是公司“最大、最具战略意义的长期增长机会”。尽管AMD没有透露新款芯片的价格,但这可能会给英伟达的H100等产品带来价格方面的压力。较低的芯片价格可能有助于降低生成式人工智能应用的高昂成本。福布斯:不要指望AMD的新款产品能抢走英伟达多少市场份额当前,每个人都在问英伟达A100和H100芯片是否是为数不多能够满足大语言模型算力和内存需求的平台。答案是肯定的,至少目前是这样。AMD打算在今年晚些时候通过发布新款产品MI300X来改变这种局面。但与英伟达H100相比,MI300X还有一些问题。首先,英伟达H100今天就开始全面出货。事实上,英伟达拥有人工智能行业最大的软件和研究人员生态系统,而且旗下所有芯片都不愁卖。其次,虽然这款新的高性能HBM芯片提供了人工智能应用非常需要的192GB内存,但英伟达芯片产品可能会在同样时间内提供相同的内存,甚至可能更早。所以这不是AMD的优势。Semianalysis分析师迪伦·帕特尔(DylanPatel)表示,与英伟达H100相比,AMD产品不会有明显的成本优势。第三,MI300X并没有像H100那样的变压器引擎,能让主流的大语言模型性能提升两倍。如果每年人工智能行业都需要几千个GPU来训练一个新模型,可能没有人会说再等2到3年时间将模型推向市场,或者投入3倍数量的GPU来解决问题。最后,AMD尚未披露任何基准测试的信息。但训练和运行大语言模型时的性能不仅取决于芯片本身,还取决于系统设计架构。像OpenAI和微软这样的公司需要有一个能替代英伟达产品的选择,AMD可能会给他们一个无法拒绝的提议,但不要指望能从英伟达那里抢走很多份额。(辰辰)...PC版:https://www.cnbeta.com.tw/articles/soft/1365179.htm手机版:https://m.cnbeta.com.tw/view/1365179.htm

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人