英特尔将其 Python NPU 加速库开源

英特尔将其PythonNPU加速库开源英特尔长期以来一直在开发iVPULinux内核驱动程序,该驱动程序位于内核上游,用于从MeteorLake开始支持英特尔NPU(以前称为VPU)。这个NPU加速库是一个方便的Python库,可以充分利用NPU的潜力。英特尔神经处理单元库支持8位量化、Float16支持、torch.compile支持、静态形状推理和其他功能。NPU加速库可从GitHub下载,也可通过PIP方便地安装:https://github.com/intel/intel-npu-acceleration-library英特尔NPU加速库GitHub页面上的Python代码示例展示了在NPU上进行单矩阵乘法运算、为NPU编译模型,甚至在NPU上运行Tiny-Llama模型。随着人工智能时代的到来以及NPU在更多英特尔处理器上的应用,这个库将变得越来越重要。...PC版:https://www.cnbeta.com.tw/articles/soft/1422025.htm手机版:https://m.cnbeta.com.tw/view/1422025.htm

相关推荐

封面图片

英特尔开源 NPU 加速库,方便使开发人员优化其 AI 应用

英特尔开源NPU加速库,方便使开发人员优化其AI应用X用户@TonyMongkolsmai发现,英特尔已经在GitHub上开源了其NPU加速库,支持Windows和Linux。开发人员可以按照相应文档对其软件进行优化,从而适配新一代AI模型,包括TinyLlama和Gemma-2b-it。根据官方描述:英特尔NPU加速库是一个Python库,旨在利用英特尔神经处理单元(NPU)的强大性能在兼容硬件上执行高速计算,从而提高应用的效率。英特尔还表示其NPU加速库目前不断开发中,后续将推出各种能显著提高性能的功能,截至目前已经实现了8bit量化、Float16支持、torch.compile支持等,后续还将支持NPU/GPU异构计算等功能。线索:@ZaiHuabot投稿:@TNSubmbot频道:@TestFlightCN

封面图片

英特尔宣布 “AI PC 加速计划” 新举措

英特尔宣布“AIPC加速计划”新举措英特尔宣布了“AIPC加速计划”的两项新举措,包括推出“AIPC开发者计划”,并吸收独立硬件供应商加入其“AIPC加速计划”。这两项计划旨在加快于2025年前为超过1亿台基于Intel平台的PC带来AI特性。同时,英特尔还计划在未来一年内面向全球市场推出12家OEM厂商的230多款搭载酷睿Ultra处理器的AI笔记本产品,并支持300多项专属AI加速功能。

封面图片

Linux 6.9 预计周日发布 针对英特尔和AMD处理器都有重大改进

Linux6.9预计周日发布针对英特尔和AMD处理器都有重大改进对于英特尔(Intel)和AMD(AMD)来说,最近和即将推出的平台的改动仍然相当大。Linux6.9中英特尔/AMD的一些重大变化包括:-针对现代Ryzen系统的AMDP-State首选内核处理。这是为了利用CPU内核之间的ACPICPPC数据,改善AMDRyzen系统上可实现更高频率的内核的任务分配,同时帮助在Zen4和Zen4C内核之间进行混合选择。这种AMD首选内核支持从去年开始开发。-针对英特尔酷睿"流星湖"调整,可以在Linux6.9上为那些使用新款英特尔笔记本电脑的用户带来不错的性能提升。-Linux6.9还显示了AMD第四代EPYC在Linux6.9上的一些性能提升,以及英特尔至强Max在新内核上的一些人工智能工作负载的性能提升。-英特尔FRED与未来的英特尔CPU合并,用于灵活返回和事件交付,以彻底改变CPU环路转换。-合并了AMDFRU内存毒药管理器和其他工作,以更好地支持AMDMI300系列。-重写了x86拓扑代码,以更好地处理英特尔酷睿混合CPU。-现在所有支持的显卡均已启用IntelFastboot支持。-支持在现代4K+显示器上支持更大的帧缓存控制台字体。-AMD继续向AMDGPU驱动程序上游提供更多RDNA3+刷新和RDNA4图形硬件支持。-继续开发实验性的英特尔XeDRM内核图形驱动程序,英特尔的目标是为Xe2/LunarLake做好准备。...PC版:https://www.cnbeta.com.tw/articles/soft/1430415.htm手机版:https://m.cnbeta.com.tw/view/1430415.htm

封面图片

英特尔和微软联合定义 AI PC

英特尔和微软联合定义AIPC英特尔公司在台北举办的开发者活动中介绍了其与微软公司联合定义的AIPC标准——设备须配备NPU、CPU和GPU,并支持微软的Copilot,且键盘上直接配有Copilot物理按键。CPU、GPU和NPU的每个部件都具有自己的AI专用加速功能,即上述各个部分之间可根据所需的计算类型分配AI工作负载。在此基础上,运行大语言模型时内存容量将成为一个关键制约因素,某些工作负载可能需要16GB内存,甚至可能需要32GB内存。不过,这份标准并未限定最低内存需求。此外,英特尔还推出了一个带有酷睿UltraMeteorLake处理器的华硕NUCPro14开发套件,套件将预装包括Cmake、Python和OpenVINO等工具。英特尔还支持ONNX、DirectML和WebNN,未来还会有提供更多工具支持。线索:@ZaiHuabot投稿:@TNSubmbot频道:@TestFlightCN

封面图片

英特尔详细介绍了FFmpeg中的oneVPL CPU和GPU加速特性

英特尔详细介绍了FFmpeg中的oneVPLCPU和GPU加速特性英特尔介绍了该公司包含在FFmpegoneAPI工具包中的视频处理和加速库的oneVPL支持。oneVPL视频处理库有助于在处理器和公司内部的GPU加速中调用最新的12代酷睿AlderLake和IntelXe硬件。加速的重点是英特尔ArcGraphics和DG2硬件,指导媒体SDK支持前几代显卡,能够适应其他潜在的CPU和GPU后端。PC版:https://www.cnbeta.com/articles/soft/1316605.htm手机版:https://m.cnbeta.com/view/1316605.htm

封面图片

Arm中国正在考虑将其"周易"NPU驱动程序上传到Linux内核中

Arm中国正在考虑将其"周易"NPU驱动程序上传到Linux内核中三年前,百度的一位工程师曾关注过用于Linux内核的周易AI加速器驱动程序,但这只是一个开源的内核驱动程序,当时还缺乏一个开源的用户空间软件栈。从那时起,ArmChina就开始着手开发这个完全开放的用户/内核驱动程序栈。全志R329等一些SoC中就采用了ArmChina的NPU。今天,ArmChina的一位工程师宣布,希望将他们的NPU驱动程序上游化到加速器子系统中。目前,至少开放的用户模式驱动程序和内核驱动程序是通过ArmChina在GitHub上的CompassNPU驱动程序开发的。这个开源AI加速器驱动程序栈依赖于通过ArmChina的NN图编译器将TensorFlowLite和ONNX模型转化为可执行程序库。然后,应用程序将该可执行文件加载到用户模式驱动程序中,二进制文件提交给内核驱动程序,内核驱动程序再调度到支持的SoC上的NPU硬件。通过阿里速卖通和类似渠道可以买到一些支持ArmChinaNPU的开发板。到目前为止,邮件列表只是阐述了大家的兴趣,并找出了将ArmChinaNPU驱动程序上传到主线Linux内核的要求。这仍然需要上游DRM/accel维护者审查代码,确保其符合适当的接口等,因此前方的路还很长,但至少很高兴看到ArmChina现在有了一个完全开源的LinuxNPU驱动程序栈。...PC版:https://www.cnbeta.com.tw/articles/soft/1425431.htm手机版:https://m.cnbeta.com.tw/view/1425431.htm

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人