英特尔将其 Python NPU 加速库开源
英特尔将其 Python NPU 加速库开源 英特尔长期以来一直在开发 iVPU Linux 内核驱动程序,该驱动程序位于内核上游,用于从 Meteor Lake 开始支持英特尔 NPU(以前称为 VPU)。这个 NPU 加速库是一个方便的 Python 库,可以充分利用 NPU 的潜力。英特尔神经处理单元库支持 8 位量化、Float16 支持、torch.compile 支持、静态形状推理和其他功能。NPU 加速库可从 GitHub 下载,也可通过 PIP 方便地安装: NPU 加速库 GitHub 页面上的 Python 代码示例展示了在 NPU 上进行单矩阵乘法运算、为 NPU 编译模型,甚至在 NPU 上运行 Tiny-Llama 模型。随着人工智能时代的到来以及 NPU 在更多英特尔处理器上的应用,这个库将变得越来越重要。 ... PC版: 手机版:
在Telegram中查看相关推荐

🔍 发送关键词来寻找群组、频道或视频。
启动SOSO机器人