基于WebGPU的免安装本地AI聊天机器人
基于WebGPU的免安装本地AI聊天机器人 早前谷歌在 Google Chrome Canary 版里发布了 WebGPU 项目,该项目可以让开发者基于浏览器调用本机显卡算力。所以在 GitHub 上有开源团队构建了项目,即基于 Web 的大型语言模型,一切都在浏览器内运行,不需要服务器支持、不需要安装、直接利用 WebGPU 特性运行。 这个项目可以大幅度简化搭建 AI 聊天机器人的步骤,而且可以保护隐私,因为这个 AI 模型是 “你” 控制的,你提交的数据不会被共享给开发者进行模型训练。 当然由于是相当于在本地运行的,所以显卡性能至关重要,根据开源团队说明, 显存至少需要 6.4GB,所以如果你的显卡显存比较小的话可能无法运行。 必要条件:Google Chrome 113.0+、显存至少为 6.4GB,使用不同的模型显存要求可能还会增加。 项目地址: 演示地址: 注:演示聊天使用的模型是 vicuna-7b-v0。 来自:雷锋 频道:@kejiqu 群组:@kejiquchat 投稿:@kejiqubot
在Telegram中查看相关推荐

🔍 发送关键词来寻找群组、频道或视频。
启动SOSO机器人