LLM Runner Llamafile更新为Ryzen AVX-512 CPU带来10倍性能提升

LLM Runner Llamafile更新为Ryzen AVX-512 CPU带来10倍性能提升据悉，AMD 的 Zen 4"Ryzen"CPU 在使用新更新后，提示评估速度将提高十倍，最终使该工具的 LLM 性能更加高效。对于不了解 Llamafile 的人来说，它只需部署一个可执行文件，将 LLM 模型与运行该模型所需的库结合在一起即可。Mozilla Ocho 开发了这一工具，旨在通过利用 CPU 和 GPU 的执行能力，让更多人了解 LLM。不过，Llamafile的开发仍处于早期阶段，因此还存在一些不准确的地方，我们相信一旦边缘计算的发展势头强劲，这些问题很快就会得到解决。你可以通过 GitHub 访问最新版本。请注意，AMD 的 Ryzen CPU 是唯一支持 AVX-512 指令的消费级芯片，而英特尔已经放弃了对它的支持，因为害怕这会影响其至强芯片的销售。这使得 AMD 的 Ryzen 平台对于希望运行 AVX-512 应用程序的用户来说更具优势。 ... PC版：手机版：

在Telegram中查看

相关推荐

AMD Ryzen AI CPU 和 Radeon RX 7000 GPU 现支持本地运行 LLM 和 AI 聊天机器人

AMD Ryzen AI CPU 和 Radeon RX 7000 GPU 现支持本地运行 LLM 和 AI 聊天机器人 AMD 表示用户可以在包括采用 AMD 新 XDNA NPU 的 Ryzen 7000 和 Ryzen 8000 系列 APU，以及内置 AI 加速核心的 Radeon RX 7000 系列 GPU 设备上，本地运行 LLM 和 AI 聊天机器人

Qubic加密货币挖矿热潮导致AMD Ryzen 9 7950X经销商库存快速下降

Qubic加密货币挖矿热潮导致AMD Ryzen 9 7950X经销商库存快速下降盈利能力计算器显示，在扣除以默认 170 W TDP 运行芯片所需的能耗成本后，在 AMD Ryzen 9 7950X 16 核处理器上进行 24 小时 Qubic 挖矿的成本约为 3 美元。像 7950X 这样的"Zen 4"处理器，将频率控制在较低水平也能保持大部分挖矿性能，并降低功耗限制，这可以保持或提高利润率，同时还能延长硬件的使用寿命。于是，不可避免的事情发生了AMD Ryzen 9 7950X 的库存一夜之间在网上零售店消失殆尽。由于 7950X3D 和英特尔酷睿 i9-14900K 的市场存在，7950X 的价格通常在 550-600 美元之间，考虑到其较低的投入成本，7950X 本应具有很高的附加值。基于 CPU 的加密货币矿机，包括 QBIC 矿机，似乎都在利用 AVX-512 指令集。AMD 的"Zen 4"微架构通过其双泵送 256 位 FPU 支持 AVX-512，而即将推出的"Zen 5"微架构据传会将 AVX-512 性能比"Zen 4"提高一倍。与此同时，英特尔自第 12 代"Alder Lake"处理器以来，已经淘汰了其酷睿处理器中为数不多的与客户相关的 AVX-512 指令，因为据说这影响了至强处理器的销售。那么，缓存大很多的7950X3D 怎么样？它的价格更高，但挖矿并不能从 3D V-cache 中获益，而且该芯片也不能像 7950X 那样在所有 16 个内核中都能维持 CPU 时钟。7950X3D 的消失也只是时间问题；随后是 12 核心型号，如 65 W 7900、170 W 7900X 和 7900X3D。 ... PC版：手机版：

AMD Ryzen 9 9950X"Zen 5"CPU据称FMAX频率高达5.85GHz

AMD Ryzen 9 9950X"Zen 5"CPU据称FMAX频率高达5.85GHz 这一最新信息来自 Anandtech 论坛成员 igor_kavinski，据称他是从一位运行 ES 样本的用户那里获得的。该用户不久前还透露了一些来自 9950X 样本的早期数据。AMD Ryzen 9 9950X 是一款 16 核芯片，拥有 32 个线程，64 MB 三级缓存，峰值主频为 5.70 GHz，与 Ryzen 9 7950X 相同。该 CPU 的 TDP 相同，均为 170 瓦，在激活 PBO 后，功耗将超过 200 瓦。图片来源：igor_kavinski（via Anandtech Forums）我们已经讨论过这款芯片的默认工作模式将比 7950X更冷、功耗更低，同时提供更高的性能，用户还可以使用 PBO 模式进一步提升性能。5.85 GHz 的频率仍然是一个非常高的数字，在适当的条件下，比如启用 PBO 时更好的散热和功耗，这些芯片将能够达到这个数字。图片来源：igor_kavinski（via Anandtech Forums）因此，虽然 Ryzen 9 9950X 的 FMAX 为 5.85 GHz，但其他芯片的 FMAX 频率会更低。以下是比较结果：Ryzen 9 9950X -5.85 GHz (5.7 GHz Boost)Ryzen 9 7950X -5.85 GHz (5.7 GHz Boost)Ryzen 9 7900X - 5.70 GHz (5.6 GHz Boost)Ryzen 7 7700X - 5.50 GHz（5.4 GHz Boost）Ryzen 5 7600X - 5.45 GHz (5.3 GHz Boost)Ryzen 9 5950X -5.05 GHz (4.9 GHz Boost)除了 FMAX 数据外，据称 AMD Ryzen 9 9950X 16 核 CPU 也在 Blender 基准测试中进行了测试，但 PPT 仅设置为 60 瓦，比默认的 170 瓦 TDP 少了 110 瓦。记事本上写着这是 Blender 3.3 基准测试，是日常 PBO/CO（Precision Boost Overdrive / Curve Optimizer）调整的一部分。芯片在水冷条件下运行，我们看到了很多指标。性能接近酷睿 i9-12900K，功耗仅为 60W。这些数据只是基于早期工程样品的初步数据，但 Zen 5 CPU 的前景非常好，它将开启 AMD 高性能台式机 CPU 的新篇章。Zen 5 CPU 预计将于 7 月 31 日发布，本月晚些时候我们将获得更多有关 Zen 5 CPU 的信息。 ... PC版：手机版：

AMD为AM4插座增添更多高端CPU：Ryzen 9 5900XT和Ryzen 7 5800XT

AMD为AM4插座增添更多高端CPU：Ryzen 9 5900XT和Ryzen 7 5800XT 从规格来看，AMD Ryzen 9 5900XT 配备了基于 Zen 3 核架构的 16 核 32 线程。与只有 12 个内核和 24 个线程的 Ryzen 9 5900X 相比，这是一次重大升级。除内核外，还增加了 72 MB 缓存和高达 4.8 GHz 的时钟频率，TDP 为 105W。除了新的高端 SKU 外，AMD 还发布了 Ryzen 7 5700XT，它拥有 8 个内核、16 个线程、36 MB 缓存，标称时钟频率提升了 100 MHz，达到 4.8 GHz。这款芯片的额定 TDP 也是 105W。这两款芯片预计将于七月上市，并将配备包括 RGB 灯光的盒装 Wraith Prism 散热器。AMD 还与英特尔第 13 代 CPU 进行了一些有趣的比较，Ryzen 9 5900XT 在游戏性能方面略微领先于酷睿 i7-13700K，而 Ryzen 7 5700XT 与酷睿 i5-13600KF 相比则提升了 12%。这两款芯片的 Zen 3 内核提供了极高的效率，在多线程性能方面表现出色。AMD兑现了对AM4平台的长寿承诺。目前，AM4 平台的支持周期已达 7 年，并依然在定期进行更新。最近，APU 方面也更新了新的"GT"部件，因此这些部件构成了一个非常多样化的产品组合，那些还不想转用 AM5 的用户可以考虑购买。 ... PC版：手机版：

AMD Zen 5 "Granite Ridge"Ryzen台式机CPU真身泄露

AMD Zen 5 "Granite Ridge"Ryzen台式机CPU真身泄露有趣的是，它的 OPN ID 是 100-000001290-11，因为我们之前已经看到过这一泄露信息。根据我们所了解的情况，这可能是我们第一次看到 AMD 基于 Zen 5 核心架构的下一代 Ryzen 桌面 CPU 系列，代号为"Granite Ridge"。我们可以发现 AMD Zen 5"Ryzen"Granite Ridge CPU 采用了与现有 Ryzen 7000 和 Ryzen 8000G 芯片相同的 IHS。这种 IHS 设计被称为章鱼式，所有电容都位于 IHS 外部。这是一个 ES 样品，因此我们不知道芯片的 IHS 和芯片之间是否使用了基于焊接或 TIM 的接口，但众所周知，较高性能的 Ryzen CPU 的 IHS 下方都有镀金处理，以获得更好的热传导效果。该芯片在马来西亚制造（2024 年）。据称 AMD Zen 5 CPU 之前在 Einstein@Home 和 LHC@home 数据库中被发现。这两个数据库中的条目都指出这是一款 8 核 16 线程的工程样品，该特定 SKU 的 OPN 字符串如下："AuthenticAMD AMD Eng Sample: 100-000001290-11_N [Family 26 Model 64 Stepping 0]"据说这款 CPU 可能是 AMD Zen 5 芯片的原因是，Family 24 曾用于 Zen 3 和 Zen 4 芯片。据说 Zen 5 属于"Family 25"。最近，我们看到几款 AMD Zen 5"Granite Ridge"Ryzen CPU 在出货清单中出现。我们已经在泄露的信息中看到了至少三个样品，一个 8 核和一个 6 核变体，其中 8 核的 TDP 为 170W，6 核的 TDP 为 105W。6 核版本的 OPN 代码也与图片中的样品非常相似，但泄露者确实提到它是 8 核 16 线程版本。与最终的零售版本相比，早期的工程样品预计会有不同的配置和规格，因此是 8 核还是 6 核芯片并不重要。 ... PC版：手机版：

LLaMA 在 CPU 上的运行速度显著改进

LLaMA 在 CPU 上的运行速度显著改进大模型如 LLaMA 通常需要高端 GPU 才能流畅运行。Mozilla 支持的项目旨在本地运行大模型。开发者刚刚为 llamafile 编写了 84 个新的矩阵乘法内核，显著改进了 CPU 运行性能，让普通 CPU 流畅运行大模型成为可能。ARMv8.2+（如 Raspberry Pi 5）、英特尔 CPU 以及支持 AVX512 指令集的 AMD Zen 4 CPU 上的运行速度增幅最为突出。来源，频道：@kejiqu 群组：@kejiquchat

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人