谷歌发文解释为什么要在Chrome中内置本地AI模型：为开发者提供设备端应用

谷歌发文解释为什么要在Chrome中内置本地AI模型：为开发者提供设备端应用谷歌目前已经尝试在 Chrome 浏览器中内置 AI 模型，该模型需要下载到本地后使用，模型版本为 Google Gemini Nano 版。这个模型并不是面向普通用户提供的，主要是给开发者使用，让开发者可以在网站或 PWA 应用里调用本地 AI 模型执行运算，而不需要调用某些云端模型。最重要的是经过谷歌的优化，Gemini Nano 版可以在本地使用硬件加速功能，无论是 GPU、NPU 甚至是 CPU 都可以用来运算。使用本地模型的好处有很多：本地处理敏感数据：设备端 AI 可以改进隐私保护，例如处理敏感数据时可以通过端到端加密为用户提供 AI 功能。流畅的用户体验：在某些情况下无需来回往返服务器即可获得近似实时的回答。对 AI 的访问权限更高：设备端可以承担一些处理负载，以换取对功能的更多访问权限，即如果使用云端 AI 用户可能需要额外付费分摊开发者的 token 费用，如果仅在本地处理那么这些费用就可以省了。离线使用 AI：显然设备端的本地 AI 是可以在离线状态下使用的，这意味着某些 PWA 类应用在离线情况下也可以处理内容。亦或者采用混合架构：对于简单的任务使用本地 AI 处理是可以的，但如果需要进行复杂的任务开发者应当考虑使用服务端实现，也就是继续调用云端 AI。第二种是保持 AI 功能的弹性，当网络连接顺畅的情况下开发者可以调用云端 AI，如果网络不畅或者离线则可以回退到本地 AI 处理。第三种是安全回退：采用内置 AI 的浏览器需要一定的时间，而且某些型号或某些太旧的设备可能无法使用本地 AI，这种情况下开发者可以继续调用云端 AI。Chrome 内置 AI 为所有开发者提供通用模型：现阶段开发者通过浏览器运行 AI 要么直接调用云端 AI 要么需要下载本地模型，而不同的开发者和不同的网站采用的 AI 模型不同，用户可能需要下载一大堆模型。Chrome 内置 AI 模型为所有开发者提供通用模型，这些模型一次下载即可使用，在用户已经下载过模型的情况下，调用模型的 PWA 应用可以做到开箱即用。这种方式应该可以大幅度提高 PWA 应用对 AI 功能的采用率，提高用户体验的同时也可以减少开发者很多繁杂的工作。 ... PC版：手机版：

在Telegram中查看

相关推荐

苹果新发布20个Core ML模型和4个数据集全部开源供开发者们使用

苹果新发布20个Core ML模型和4个数据集全部开源供开发者们使用苹果日前在知名 AI 模型托管平台 HuggingFace 上新发布了 20 个 Core ML 模型和 4 个数据集，这些模型全部采用 Apache 2.0 许可证进行开源，所有开发者均可使用。这些采用 Core ML 框架的新模型在功能上都有所不同，不过侧重点都是在设备端本地运行 AI 模型执行任务，这样数据不需要上云解决潜在的隐私问题。例如开发者可以构建一款用于图像分类的应用程序，在获得用户授权图库访问权限后，可以调用设备端模型进行处理；或者构建一个可以快速去除图像背景的应用程序，使用设备端模型也可以不上传图片，解决用户的隐私担忧。当然采用设备端模型还有个好处就是响应速度会非常快，借助云端处理开发者需要提供性能更强的服务器才能支撑并发使用，而服务器响应和处理都需要使用，本地处理则不需要使用网络，因此也免去了响应时间问题。目前设备端运行 AI 模型最大的问题在于芯片性能，例如苹果推出的苹果智能仅支持 A17 Pro 和 Apple M 系列芯片，对于更旧的芯片还是得第三方开发者们提供支持，虽然这也会存在性能问题。HuggingFace 创始人称这是一次重大更新，苹果将许多基于 Core ML 的新模型上传到了 HuggingFace 存储库，而 Core ML 模型严格在设备端运行无需网络连接，这可以让开发者的应用保持 “闪电般” 的速度，还可以确保用户数据的私密性。有兴趣的开发者们可以访问 HuggingFace 上的苹果主页获取这些模型，苹果也为部分模型提供了论文描述，开发者可以根据论文说明快速了解这些模型的性能： ... PC版：手机版：

Google在Chrome开发者版里集成了Gemini Nano，支持离线使用内置AI模型进行简单的任务，即使在断网情况下依然可

Google在Chrome开发者版里集成了Gemini Nano，支持离线使用内置AI模型进行简单的任务，即使在断网情况下依然可以正常使用。on-device AI不仅保证了数据安全，响应速度也非常快。体验流程 1.安装Chrome开发者版本：https:// 并登录账号 2.在Chrome开发者版访问"chrome://flags/#prompt-api-for-gemini-nano"并设置为"Enabled" 3.访问"chrome://flags/#optimization-guide-on-device-model"并设置为"Enabled BypassPerfRequirement" 4.访问"chrome://components"，搜索"Optimization Guide On Device Model"组件，检查更新并确保是最新版本 5.完成以上步骤后即可在console里调用window.ai，或访问我做的网页https:// 进行体验对Chrome built-in AI做了些优化： 1.用对话的形式和Chrome内置AI交互 2.支持本地缓存历史生成纪录 3.支持实时对话模式，AI响应时间在200-300毫秒 4.支持离线使用，不会存储任何数据（项目已开源）

Opera 成为首个内置本地 AI 模型的浏览器

Opera 成为首个内置本地 AI 模型的浏览器当地时间4月3日，Opera 宣布将在开发者流中为其 Opera One 浏览器中添加对来自大约50个模型系列的150个本地 LLM (大型语言模型) 变体的实验性支持。此举标志着首次可以通过内置功能从浏览器轻松访问和管理本地 LLM。本地 AI 模型是 Opera 在线 Aria AI 服务的免费补充。支持的本地 LLM 包括：Meta 的 Llama、Vicuna、谷歌的 Gemma、Mistral AI 的 Mixtral 等。使用本地大型语言模型意味着用户的数据保存在本地设备上，使他们能够使用生成式人工智能，而无需将信息发送到服务器。

Google 似乎正在将 Gemini Nano 的 API 及其本地模型集成进 Android 14

Google 似乎正在将 Gemini Nano 的 API 及其本地模型集成进 Android 14 Android AICore 是一项全新的系统服务，它允许用户在设备上直接使用 AI 基础模型。通过 AICore，用户的 Android 应用能够接入 Gemini Nano，这是 Google 推出的一种小型但高效的基础模型，专为支持的设备而设计。值得注意的是，这种处理完全是本地进行的。这种本地化的处理方式有助于开发者在不将用户数据上传至云端的情况下处理敏感数据，例如，实现消息传递应用的端到端加密功能。

Google Chrome浏览器将内置本地运行的AI助手Gemini Nano

Google Chrome浏览器将内置本地运行的AI助手Gemini Nano Gemini Nano是Google去年引入Pixel 8 Pro和Pixel 8手机的轻量级大型语言模型。为了将其带入Chrome浏览器，Google对模型进行了优化调整，并确保浏览器能够快速加载该AI模型。得益于这项新功能，用户将能在Chrome浏览器中直接生成产品评论、社交媒体帖子等内容。这与微软在Edge浏览器中集成Copilot AI助手的做法类似，不过不同的是Copilot需要连接云端服务器，而Gemini Nano则是在本地运行。此外，Google还透露，Gemini AI将会集成到Chrome DevTools开发工具中，为开发者提供错误信息解释和编码问题修复建议等功能。我们期待在Chrome 126版本中亲自体验这项新功能，感受Gemini AI助手的魅力。 ... PC版：手机版：

:最新的Chrome 已经内置大模型(Gemini Nano)了，官方推荐的用户是本地和远端大模型混合使用的方案。

: 最新的Chrome 已经内置大模型(Gemini Nano)了，官方推荐的用户是本地和远端大模型混合使用的方案。使用 chrome 本地模型的好处： 1、本地处理敏感数据； 2、流畅的用户体验； 3、对 AI 的访问权限更高； 4、离线使用 AI。可以用起来了：

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人