AMD MI300X在大模型推理上可以与Nvidia H100相媲美

AMDMI300X在大模型推理上可以与NvidiaH100相媲美RunPod在Mixtral7x8B上运行了一系列基准测试，并将AMD的性能与Nvidia的H100进行了比较总结：-MI300X在小批量和大批量（1、2、4和256、512、1024）下的表现均优于H100SXM。-MI300X具有较低的第一个令牌延迟，尽管差异很小（36.89ms对55.24ms）。-无论批量大小，MI300X通常都比H100更具成本效益。同时由于MI300X拥有更大的显存，因此可以运行Mixtral7x8B等单个H100无法容纳的大型模型ViaDeemo关注频道@ZaiHuaPd频道爆料@ZaiHuabot

AMD苏姿丰拜会台积电等 MI300X即将开始量产

AMD苏姿丰拜会台积电等MI300X即将开始量产如今AI显卡市场炙手可热，但NVIDIA一家独大，占了90%的份额，A100、H100两款显卡售价超过10万到25万元依然供不应求，国内特供的A800、H800更是被加价抢购，AMD自然也不会错过这个市场。6月底AMD正式发布了InstinctMI300A及InstinctMI300X两款AI加速显卡，其中前者是CPU+GPU首次合体的产品，后者则是纯GPU，主要用于AI、HPC高性能计算等领域。MI300X就是一款对标NVIDIA最强显卡H100的产品，拥有最多8个XCD核心，304组CU单元，8组HBM3核心，显存容量提升到了192GB，相当于NVIDIAH10080GB的足足2.4倍，同时HBM内存带宽高达5.2TB/s，InfinityFabric总线带宽也有896GB/s，同样远超NVIDIAH100。MI300X的192GB显存不论性能还是容量都是史无前例的，尤其适合AI运算，单卡即可支持400亿参数大模型。售价方面，MI300X没有公布官方建议价，但对标H100意味着售价接近，只会略便宜一些，猜测也在20万元以上。...PC版：https://www.cnbeta.com.tw/articles/soft/1371711.htm手机版：https://m.cnbeta.com.tw/view/1371711.htm

三星获得大量HBM3内存订单 为AMD MI300X GPU提供支持

三星获得大量HBM3内存订单为AMDMI300XGPU提供支持MI300X拥有最多8个XCD核心，304组CU单元，8组HBM3核心，显存容量提升到了192GB，相当于NVIDIAH10080GB的足足2.4倍，同时HBM内存带宽高达5.2TB/s，InfinityFabric总线带宽也有896GB/s，同样远超NVIDIAH100。MI300X的192GB显存不论性能还是容量都是史无前例的，尤其适合AI运算，单卡即可支持400亿参数大模型。MI300X比H100最有优势的就192GBHBM3显存了，不过供货问题也是一大考验，好在AMD这次准备充分，跟三星深度合作，后者提供了一揽子交钥匙服务，HBM3显存已经通过了AMD的认证测试。三星还计划将先进封装的产能提升一倍，以便更好地满足MI300X等产品对HBM3的需求，AMD理论上是不会出现缺货了。...PC版：https://www.cnbeta.com.tw/articles/soft/1378955.htm手机版：https://m.cnbeta.com.tw/view/1378955.htm

调查：AMD AI 芯片 Instinct MI300X 吸引大量用户弃用英伟达

调查：AMDAI芯片InstinctMI300X吸引大量用户弃用英伟达https://www.ithome.com/0/754/808.htmTensorWave联合创始人JeffTatarchuk透露，他们进行了一项独立调查，涵盖82名工程师和人工智能专业人士。其中，约有50%的受访者表示他们对AMDInstinctMI300XGPU充满信心，因为相比于英伟达的H100系列产品，MI300X不仅拥有更出色的性价比，而且供应充足，避免了遇到货源紧张的问题。Jeff还提到，TensorWave公司也将采用MI300X人工智能加速器。这对于AMD来说无疑是个好消息，因为以往其Instinct系列产品相比英伟达的竞品，市场占有率一直处于劣势。

挑战英伟达，AMD 即将推出 AI 芯片 MI300X

挑战英伟达，AMD即将推出AI芯片MI300X当地时间周二，AMD宣布，该公司即将推出的最先进的人工智能GPUMI300X将于今年晚些时候开始向部分客户发货。GPU是OpenAI等公司用来搭建ChatGPT等尖端人工智能程序的芯片。虽然AMD未披露价格，但此举可能会给英伟达GPU带来价格压力，如后者的H100，其价格能够达到3万美元以上。()频道:@TestFlightCN

台积电 CoWoS 助力，AMD MI300 预计 2024 年营收超 20 亿美元

台积电CoWoS助力，AMDMI300预计2024年营收超20亿美元https://technews.tw/2023/12/04/amd-mi300-has-received-major-orders-from-major-cloud-manufacturers/据semianalysis报导，微软、Meta、甲骨文、Google、Supermicro/Qunta-direct、亚马逊等公司已经向AMD下了不同数量的MI300系列订单。———H100客户TOP10：Meta、微软、谷歌、亚马逊、甲骨文、腾讯、CoreWeave、百度、阿里、Lambda、字节、特斯拉https://www.163.com/dy/article/IL2J81060511D6RL.html