谷歌启动 Open Se Cura 开源框架计划,有望为 Pixel 设备带来低功耗本地 AI 功能

谷歌启动OpenSeCura开源框架计划,有望为Pixel设备带来低功耗本地AI功能谷歌日前推出了一项名为OpenSeCura的开源框架计划,目的是要加速开发适用于“小型设备”的低功耗 AI 系统。该框架包含了一套开源工具库,据称可以通过“协同设计和开发”,加速机器学习工作发展。谷歌指出,当代硬件发展的速度,落后于机器学习模型和软件开发速度,因此造成了大型AI模型发展障碍。而当下消费者对小型设备的需求快速增长,但在小型设备上,运行相关模型需要耗费大量电能,因此开发“小型设备”用低功耗 AI 系统相当有必要。谷歌目前启动的OpenSeCura 计划,便号称能够促进硬件设计师和软件开发人员协作,推动“硬件与软件共同设计”的理念,从软硬件底层角度最大限度提升AI系统设备端运行性能,而谷歌凭借这一项目,有望推出适用于Pixel设备的小型 AI模型,并借助自家Tensor芯片,实现设备侧低功耗运行AI助理。来源:https://www.aipeak.net/ainews/14648投稿:@ZaiHuaBot频道:@TestFlightCN

相关推荐

封面图片

Arm Cortex-M52芯片明年推出 为低功耗物联网设备带来AI加速功能

ArmCortex-M52芯片明年推出为低功耗物联网设备带来AI加速功能据该公司称,ArmCortex-M52是专为人工智能加速应用设计的体积最小、成本效益最高的处理器。正如Arm所言,这家英国无晶圆厂公司的最新设计有望为物联网(IoT)设备提供"增强型"人工智能功能,而无需单独的计算单元。Arm公司高级副总裁兼物联网业务总经理保罗-威廉姆森(PaulWilliamson)强调,要充分发挥人工智能在物联网领域的潜力,就必须将机器学习优化处理引入"最小、功耗最低"的终端设备。威廉姆森指出,尽管人工智能无处不在,但要从流经数字设备的海量数据中获取"智慧",就需要更智能、更强大的物联网设备。Cortex-M52芯片设计采用了Arm的Helium技术,为Armv8.1-MCortex-M系列(包括Cortex-M55、Cortex-M85)增加了150条新的标量和矢量指令。与上一代Cortex-M相比,Helium指令可将机器学习算法的性能提高5.6倍,将数字信号处理(DSP)工作负载的性能提高2.7倍。正如Arm所解释的那样,安全性仍然是一个至关重要的方面。Cortex-M52实现了Armv8.1-M的最新安全扩展(PACBTI、ArmTrustZone)。新的芯片设计还促进了"现代化的开发流程",据Arm公司称,开发人员可以访问Cortex-M平台的统一工具链,并完全支持人工智能工作流。在Cortex-M52之前,开发人员必须将CPU、DSP和NPU单元与三种不同的软件工具包结合使用,才能实现新设计原生提供的ML和DSP性能。Arm表示,现在只需一个工具链就足够了。Cortex-M52与为Cortex-M55和Cortex-M85编写的软件完全兼容,新芯片还将通过Arm虚拟硬件云平台进行硅前软件开发。威廉姆森表示,Cortex-M52技术可以通过授权集成到成本非常低的物联网产品中,成本为1-2美元的芯片可能占生产量的大部分。他补充说,该芯片还可以集成到"功能稍丰富"的物联网设备中。...PC版:https://www.cnbeta.com.tw/articles/soft/1399423.htm手机版:https://m.cnbeta.com.tw/view/1399423.htm

封面图片

中国长城:已发布 Gbook14 笔记本电脑 AI 能效达 8 倍的 NPU 加持下可低功耗流畅运行本地大模型

中国长城:已发布Gbook14笔记本电脑AI能效达8倍的NPU加持下可低功耗流畅运行本地大模型有投资者问,公司是否已经推出了AIPC产品?中国长城在互动平台表示,公司下属企业开展AIPC相关产品的研发工作,目前已发布Gbook14笔记本电脑,该款产品在AI能效达8倍的NPU加持下,可低功耗、流畅地运行本地大模型以及剪映、Adobe等AI软件,大幅提升生产力。

封面图片

谷歌发文解释为什么要在Chrome中内置本地AI模型:为开发者提供设备端应用

谷歌发文解释为什么要在Chrome中内置本地AI模型:为开发者提供设备端应用谷歌目前已经尝试在Chrome浏览器中内置AI模型,该模型需要下载到本地后使用,模型版本为GoogleGeminiNano版。这个模型并不是面向普通用户提供的,主要是给开发者使用,让开发者可以在网站或PWA应用里调用本地AI模型执行运算,而不需要调用某些云端模型。最重要的是经过谷歌的优化,GeminiNano版可以在本地使用硬件加速功能,无论是GPU、NPU甚至是CPU都可以用来运算。使用本地模型的好处有很多:本地处理敏感数据:设备端AI可以改进隐私保护,例如处理敏感数据时可以通过端到端加密为用户提供AI功能。流畅的用户体验:在某些情况下无需来回往返服务器即可获得近似实时的回答。对AI的访问权限更高:设备端可以承担一些处理负载,以换取对功能的更多访问权限,即如果使用云端AI用户可能需要额外付费分摊开发者的token费用,如果仅在本地处理那么这些费用就可以省了。离线使用AI:显然设备端的本地AI是可以在离线状态下使用的,这意味着某些PWA类应用在离线情况下也可以处理内容。亦或者采用混合架构:对于简单的任务使用本地AI处理是可以的,但如果需要进行复杂的任务开发者应当考虑使用服务端实现,也就是继续调用云端AI。第二种是保持AI功能的弹性,当网络连接顺畅的情况下开发者可以调用云端AI,如果网络不畅或者离线则可以回退到本地AI处理。第三种是安全回退:采用内置AI的浏览器需要一定的时间,而且某些型号或某些太旧的设备可能无法使用本地AI,这种情况下开发者可以继续调用云端AI。Chrome内置AI为所有开发者提供通用模型:现阶段开发者通过浏览器运行AI要么直接调用云端AI要么需要下载本地模型,而不同的开发者和不同的网站采用的AI模型不同,用户可能需要下载一大堆模型。Chrome内置AI模型为所有开发者提供通用模型,这些模型一次下载即可使用,在用户已经下载过模型的情况下,调用模型的PWA应用可以做到开箱即用。这种方式应该可以大幅度提高PWA应用对AI功能的采用率,提高用户体验的同时也可以减少开发者很多繁杂的工作。...PC版:https://www.cnbeta.com.tw/articles/soft/1434218.htm手机版:https://m.cnbeta.com.tw/view/1434218.htm

封面图片

Intel官宣下代超低功耗酷睿Ultra Lunar Lake

Intel官宣下代超低功耗酷睿UltraLunarLakeArrowLake则会在第四季度登场,稍后的台北电脑展2024上会公布更多具体细节。这一次,Intel只是公布了LunarLake的部分整体架构特性,以及在CPU、GPU、AI三大方面的性能提升,尤其是AI。至于更具体的型号命名、规格参数,第三季度再说。在讲述新品之前,首先简单回顾一下MeteorLake,也就是第一代酷睿Ultra。它既是Intel微处理器历史上最大规模的变革,也是未来LunarLake、ArrowLake等一众新处理器的发展基石,起着承前启后的关键作用。MeteorLake最大的意义就是开启了AIPC的新时代,这将是PC行业未来多年的主旋律,而眼下尽管刚刚处于起步阶段,但已经展现出了势不可挡的架势。目前,MeteorLakeAIPC已经赢得了100多家ISV独立软件供应商的支持,AI加速功能已经超过300项,AI大模型加速优化已经超过500项,遍布各行各业。Intel预计,到2025年底,Intel平台的AIPC全球出货量将超过1亿台,涵盖超过230款产品设计、250多家零售商、48个国家和地区。目前,Intel仍在大力推荐AIPC的应用场景落地,包括安全防护、端侧大语言模型优化、本地个人助手等方面,都取得了飞快的进展。LunarLake定位于低功耗领域,主打超轻薄笔记本,继续带来全方位的变革,完美继承MeteorLake的地位。制造工艺将继续升级,并结合分立式模块化架构、Intel3D封装技术,整合两颗内存芯片(容量预计16/32GB)。CPU部分继续异构混合架构,P核、E核架构都会再次升级,代号分别为LionCove、Skymont,带来显著提升的IPC与能效提升。同时继续集成基于超低功耗E核构建的集成低功耗岛(LowPowerIsland),可在观看视频、文字办公等场景中关闭不必要的计算模块,大大节省功耗、延长续航。GPU部分升级到第二代的Xe2锐炫架构,这可是独立显卡都还没有用上的,重点升级XMXAI引擎,算力超过60TOPS。NPU部分算力将超过45TOPS,是当前的三倍有余,并支持混合精度、更多数据类型。加上CPU、GPU,新平台的总算力将首次超过100TOPS,也就是每秒可执行100多万亿次计算。这样一来,它就可以更轻松地执行更多参数的模型、更高负载的应用,尤其是NPU也不再局限于一些低功耗持续负载,玩法可以更多。按照官方给出的数字,LunarLakeCPU性能可超过AMD锐龙78840U、骁龙XElite,GPU性能比上代提升约1.5倍,AI性能相比于骁龙XElite可以领先大约1.4倍。当然,AMD会几乎同步发布代号StrixPoint的下一代低功耗移动处理器,升级到Zen5CPU、RDNA3+GPU、XDNA2NPU,可谓针锋相对。至于骁龙XElite,各品牌的笔记本正在陆续公开,虽有生态制约但来势汹汹,一场“三国演义”即将开战。还有超低功耗,这也将是LunarLake的拿手好戏,官方宣称在视频会议场景中,相比锐龙77840U可节省最多30%的功耗,而相比骁龙8cxGen3可以低最多20%。奇怪的是,这里并未和性能角度一样对比竞品新一代的锐龙78840U、骁龙XElite,不知为何。总之,LunarLake将会在现有MeteorLake的基础上,从制造封装工艺到CPU/GPU/NPU架构,从性能到功耗,都带来一次新的飞跃,AIPC也将借此迈上新的台阶。Intel自信满满地表示,得益于MeteorLake的成功,再加上LunarLake的到来,今年将交付超过4000万颗AIPC处理器。再加上AMDStrixPoint即将同步到来、高通骁龙XElite正式入局,好戏正在徐徐拉开大幕。...PC版:https://www.cnbeta.com.tw/articles/soft/1431737.htm手机版:https://m.cnbeta.com.tw/view/1431737.htm

封面图片

谷歌为开源开发者发布人工智能模型GEMMA

谷歌为开源开发者发布人工智能模型GEMMA2024年2月21日,谷歌发布了GEMMA,一个面向开源开发者的AI模型。该系列采用轻量化设计并对外公开,旨在为广大开发者和研究人员提供更加便捷的AI构建工具。其中包括Gema2B和7B模型,可在普通笔记本电脑或计算机上运行。https://blog.google/technology/developers/gemma-open-models/线索:@ZaiHuabot投稿:@TNSubmbot频道:@TestFlightCN

封面图片

AI 大事记:Apple 带来开源模型的运行软件框架MLX

AI大事记:Apple带来开源模型的运行软件框架MLX今天由Apple研究团队发布了MLX,一个高效的机器学习框架,专为苹果芯片(即M系列)设计。视频为MLX实现的Llamav17B模型,在M2Ultra上运行。参考要点-AppleAI研究科学家AwniHannum提供了演示视频,MLX有各种示例,包括支持训练Transformer大模型或使用LoRA进行微调;使用Mistral生成文本;利用StableDiffusion生成图像;使用Whisper进行语音识别。-MLX是Apple芯片上用于机器学习的阵列框架,由Apple机器学习研究团队提供。-JimFan评价为,这可能是苹果公司迄今为止在开源人工智能方面的最大举措。该版本在设计深度学习受众熟悉的API方面做得非常出色,并在大多数人关心的开放源码软件模型上展示了极简的示例:Llama、LoRA、StableDiffusion和Whisper。MLXGithub地址:https://github.com/ml-explore/mlx文档齐全、独立的示例库:https://github.com/ml-explore/mlx-examplesInvalidmedia:

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人