AMD MI300X在大模型推理上可以与Nvidia H100相媲美

AMDMI300X在大模型推理上可以与NvidiaH100相媲美RunPod在Mixtral7x8B上运行了一系列基准测试,并将AMD的性能与Nvidia的H100进行了比较总结:-MI300X在小批量和大批量(1、2、4和256、512、1024)下的表现均优于H100SXM。-MI300X具有较低的第一个令牌延迟,尽管差异很小(36.89ms对55.24ms)。-无论批量大小,MI300X通常都比H100更具成本效益。同时由于MI300X拥有更大的显存,因此可以运行Mixtral7x8B等单个H100无法容纳的大型模型ViaDeemo关注频道@ZaiHuaPd频道爆料@ZaiHuabot

相关推荐

封面图片

AMD 正式发布 MI300 加速器,性能较英伟达 H100 芯片提高 60%

AMD正式发布MI300加速器,性能较英伟达H100芯片提高60%在美国加州圣何塞举行的AI特别活动中,AMD宣布正式推出其旗舰AIGPU加速器MI300X,并称其性能比英伟达的H100芯片提高了60%。据AMD介绍,新芯片为性能最高的芯片,拥有超过1500亿个晶体管。与英伟达H100芯片相比,AMD新芯片的内存为其2.4倍,内存带宽为其1.6倍,训练性能与H100芯片相当,在运行AI模型方面则比英伟达快得多。——、

封面图片

AMD苏姿丰拜会台积电等 MI300X即将开始量产

AMD苏姿丰拜会台积电等MI300X即将开始量产如今AI显卡市场炙手可热,但NVIDIA一家独大,占了90%的份额,A100、H100两款显卡售价超过10万到25万元依然供不应求,国内特供的A800、H800更是被加价抢购,AMD自然也不会错过这个市场。6月底AMD正式发布了InstinctMI300A及InstinctMI300X两款AI加速显卡,其中前者是CPU+GPU首次合体的产品,后者则是纯GPU,主要用于AI、HPC高性能计算等领域。MI300X就是一款对标NVIDIA最强显卡H100的产品,拥有最多8个XCD核心,304组CU单元,8组HBM3核心,显存容量提升到了192GB,相当于NVIDIAH10080GB的足足2.4倍,同时HBM内存带宽高达5.2TB/s,InfinityFabric总线带宽也有896GB/s,同样远超NVIDIAH100。MI300X的192GB显存不论性能还是容量都是史无前例的,尤其适合AI运算,单卡即可支持400亿参数大模型。售价方面,MI300X没有公布官方建议价,但对标H100意味着售价接近,只会略便宜一些,猜测也在20万元以上。...PC版:https://www.cnbeta.com.tw/articles/soft/1371711.htm手机版:https://m.cnbeta.com.tw/view/1371711.htm

封面图片

“最强算力芯片”登场,MI300X比H100快,但快多少?微软会是胜负手吗?

“最强算力芯片”登场,MI300X比H100快,但快多少?微软会是胜负手吗?比英伟达的GPU快多少?AMD表示,MI300X基于全新架构,性能有着显著的提升。它的最大特点是拥有192GB的尖端高性能内存,即HBM3,这种内存传输数据的速度更快,可以容纳更大的人工智能模型。苏姿丰直接将MI300X及其构建的系统与英伟达的(上代)旗舰GPUH100进行了比较。就基础规格而言,MI300X的浮点运算速度比H100高30%,内存带宽比H100高60%,内存容量更是H100的两倍以上。当然,MI300X对标的更多是英伟达最新的GPUH200,虽然规格上同样领先,但MI300X对H200的优势就没那么大了,内存带宽仅比后者多出个位数,容量比后者大近40%。苏姿丰认为:“这种性能可以直接转化为更好的用户体验,当你向模型提问时,你希望它能更快地回答,尤其是当回答变得越来越复杂时。”苏姿丰:AMD不需要击败英伟达第二名也可以过得很好AMD面临的主要问题是,那些一直依赖英伟达的公司是否会投入时间和金钱来增加另一家GPU供应商。苏姿丰也承认,这些公司确实需要“付出努力”来转向AMD芯片。AMD周三告诉投资者和合作伙伴,公司已经改进了对标英伟达CUDA的软件套件ROCm。CUDA套件一直是AI开发者目前青睐英伟达的主要原因之一。价格也很重要。AMD周三没有透露MI300X的定价,但肯定会比英伟达的旗舰芯片更便宜,后者的单价在4万美元左右。苏姿丰表示,AMD的芯片必须比英伟达的购买和运营成本更低,才能说服客户购买。AMD还称,已经和一些最需要GPU的大公司签下了MI300X的订单。Meta计划把MI300XGPU用于人工智能推理任务,微软首席技术官KevinScott也表示,公司会把MI300X部署在其云计算服务Azure中,此外,甲骨文的云计算服务也会使用MI300X。OpenAI也会在一款叫做Triton的软件产品中使用AMDGPU.根据研究公司Omidia的最新报告,Meta、微软、甲骨文都是2023年英伟达H100GPU的重要买家。AMD没有给出MI300X的销量预测,仅预计2024年数据中心GPU总收入约为20亿美元。而英伟达仅最近一个季度的数据中心收入就超过了140亿美元,不过算上了GPU之外的其他芯片。展望未来,AMD认为,人工智能GPU的市场规模将攀升至4000亿美元,比之前的预测翻了一番。由此可见,人们对高端人工智能芯片的期望有多高、垂涎有多深。苏姿丰还对媒体坦然地说,AMD不需要击败英伟达,也能在市场上取得好成绩。言下之意就是,第二名也可以活得很好。她在谈到AI芯片市场时表示:“我认为可以明确地说,英伟达现在肯定是市场的领导者,我们相信,到2027年,这个市场的规模可能会达到4000多亿美元。我们可以从中分得一杯羹。”...PC版:https://www.cnbeta.com.tw/articles/soft/1402693.htm手机版:https://m.cnbeta.com.tw/view/1402693.htm

封面图片

AMD 推出 MI300X 加速器,将 2027 年 AI 加速器市场规模预期上调将近两倍

AMD推出MI300X加速器,将2027年AI加速器市场规模预期上调将近两倍AMD公司CEOLisaSu:公司发布MI300X加速器,这是性能最高的芯片。新款芯片拥有超过1500亿单位的晶体管。新款芯片内存是英伟达H100产品的2.4倍,内存贷款是H100的1.6倍。新款芯片在(大语言模型)训练方面的性能等同于英伟达H100。相比英伟达竞品,MI300运行AI模型的速度更快。预计人工智能(AI)加速器市场的规模到2027年将达到4000亿美元(该公司8月预计为1500亿美元)。预计AI芯片市场将迅猛扩张。

封面图片

AMD推出MI300X加速器 较英伟达H100最多提升60% 猛增市场规模预期

AMD推出MI300X加速器较英伟达H100最多提升60%猛增市场规模预期周三,AMD发布备受瞩目的全新MI300系列AI芯片,包括MI300A和MI300X芯片,瞄准这一英伟达主导的市场。此类芯片比传统计算机处理器更擅长处理人工智能训练所涉及的大型数据集。本次新品发布是AMD公司长达50年历史上最重要的一次之一,有望挑战英伟达在炙手可热的人工智能加速器市场上的地位。AMD发布的新款芯片拥有超过1500亿个晶体管。MI300X加速器支持高达192GB的HBM3存储器。MI300X内存是英伟达H100产品的2.4倍,内存带宽是H100的1.6倍,进一步提升了性能。MI300X新款芯片较英伟达的H100性能最多可以提升60%。在与H100(Llama270B版本)的一对一比较中,MI300X性能提高了高达20%。在与H100(FlashAttention2版本)的一对一比较中,性能提高了高达20%。在与H100(Llama270B版本)的8对8服务器比较中,性能提高了高达40%。在与H100(Bloom176B)的8对8服务器比较中,性能提高了高达60%。AMD公司CEOLisaSu表示,新款芯片在训练人工智能软件的能力方面与H100相当,在推理方面,也即软件投入实际使用后运行该软件的过程,要比竞品好得多。伴随着人工智能的火爆,市场对高端芯片需求量极大。这令芯片制造商们瞄准这一利润丰厚的市场,加快推出高品质的AI芯片。虽然整个AI芯片市场竞争相当激烈,AMD在周三对未来市场规模给出了大胆惊人的预测,认为AI芯片市场将迅猛扩张。具体来说,预计人工智能(AI)芯片市场的规模到2027年将达到超过4000亿美元,这较其8月时预计的1500亿美元上调将近两倍,凸显人们对人工智能硬件的期望正在快速变化。AMD越来越有信心其MI300系列能够赢得一些科技巨头的青睐,这可能会让这些公司花费数十亿美元的支出,投向AMD的产品。AMD表示,微软、甲骨文和Meta等都是其客户。同日消息显示,微软将评估对AMD的AI加速器产品的需求,评估采用该新品的可行性。Meta公司将在数据中心采用AMD新推的MI300X芯片产品。甲骨文表示,公司将在云服务中采用AMD的新款芯片。此前市场预计AMD的MI300系列在2024年的出货约为30~40万颗,最大客户为微软、Google,若非受限台积电CoWoS产能短缺及英伟达早已预订逾四成产能,AMD出货有望再上修。AMD推出MI300X加速器消息发布后,英伟达股价下跌1.5%。今年英伟达股价暴涨,使其市值超过1万亿美元,但最大的问题是,它还能独享加速器市场多久。AMD看到了属于自己的机会:大型语言模型需要大量计算机内存,而这正是AMD认为自己的优势所在。为了巩固市场主导地位,英伟达也正在开发自己的下一代芯片。H100将于明年上半年被H200取代,后者于上个月推出,能够提供新型高速内存,在Llama2上的推理速度比H100快一倍。此外,英伟达将在今年晚些时候推出全新的处理器架构。...PC版:https://www.cnbeta.com.tw/articles/soft/1402609.htm手机版:https://m.cnbeta.com.tw/view/1402609.htm

封面图片

AMD MI300X 正式出货交付客户

AMDMI300X正式出货交付客户https://technews.tw/2024/01/23/amd-mi300x-officially-shipped-to-customers/根据AMD官方性能测试,MI300X的表现优于市面上已有的NvidiaH10080GB,甚至有可能对即将上市的H200141GB构成威胁。目前,Meta、微软等巨头客户已采购了大量AMDInstinctMI300系列产品,LaminiAI则是首家公开使用MI300X的公司。

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人