英特尔开源 NPU 加速库,方便使开发人员优化其 AI 应用
英特尔开源NPU加速库,方便使开发人员优化其AI应用X用户@TonyMongkolsmai发现,英特尔已经在GitHub上开源了其NPU加速库,支持Windows和Linux。开发人员可以按照相应文档对其软件进行优化,从而适配新一代AI模型,包括TinyLlama和Gemma-2b-it。根据官方描述:英特尔NPU加速库是一个Python库,旨在利用英特尔神经处理单元(NPU)的强大性能在兼容硬件上执行高速计算,从而提高应用的效率。英特尔还表示其NPU加速库目前不断开发中,后续将推出各种能显著提高性能的功能,截至目前已经实现了8bit量化、Float16支持、torch.compile支持等,后续还将支持NPU/GPU异构计算等功能。线索:@ZaiHuabot投稿:@TNSubmbot频道:@TestFlightCN
在Telegram中查看相关推荐
🔍 发送关键词来寻找群组、频道或视频。
启动SOSO机器人