基于WebGPU的免安装本地AI聊天机器人
基于WebGPU的免安装本地AI聊天机器人早前谷歌在GoogleChromeCanary版里发布了WebGPU项目,该项目可以让开发者基于浏览器调用本机显卡算力。所以在GitHub上有开源团队构建了项目,即基于Web的大型语言模型,一切都在浏览器内运行,不需要服务器支持、不需要安装、直接利用WebGPU特性运行。这个项目可以大幅度简化搭建AI聊天机器人的步骤,而且可以保护隐私,因为这个AI模型是“你”控制的,你提交的数据不会被共享给开发者进行模型训练。当然由于是相当于在本地运行的,所以显卡性能至关重要,根据开源团队说明,显存至少需要6.4GB,所以如果你的显卡显存比较小的话可能无法运行。必要条件:GoogleChrome113.0+、显存至少为6.4GB,使用不同的模型显存要求可能还会增加。项目地址:https://github.com/mlc-ai/web-llm演示地址:https://mlc.ai/web-llm/#chat-demo注:演示聊天使用的模型是vicuna-7b-v0。来自:雷锋频道:@kejiqu群组:@kejiquchat投稿:@kejiqubot