基于WebGPU的免安装本地AI聊天机器人

基于WebGPU的免安装本地AI聊天机器人 早前谷歌在 Google Chrome Canary 版里发布了 WebGPU 项目,该项目可以让开发者基于浏览器调用本机显卡算力。所以在 GitHub 上有开源团队构建了项目,即基于 Web 的大型语言模型,一切都在浏览器内运行,不需要服务器支持、不需要安装、直接利用 WebGPU 特性运行。 这个项目可以大幅度简化搭建 AI 聊天机器人的步骤,而且可以保护隐私,因为这个 AI 模型是 “你” 控制的,你提交的数据不会被共享给开发者进行模型训练。 当然由于是相当于在本地运行的,所以显卡性能至关重要,根据开源团队说明, 显存至少需要 6.4GB,所以如果你的显卡显存比较小的话可能无法运行。 必要条件:Google Chrome 113.0+、显存至少为 6.4GB,使用不同的模型显存要求可能还会增加。 项目地址: 演示地址: 注:演示聊天使用的模型是 vicuna-7b-v0。 来自:雷锋 频道:@kejiqu 群组:@kejiquchat 投稿:@kejiqubot

相关推荐

封面图片

基于 LLaMA 的 AI 聊天机器人开源实现

基于 LLaMA 的 AI 聊天机器人开源实现 Meta 的大语言模型 LLaMA 最近引起了广泛关注,它的一大优势是参数规模更小但性能强于 OpenAI 的 GPT-3 模型,而且能运行在单张显卡上,让普通消费者的硬件也有可能提供类似 ChatGPT 性能的 AI 聊天机器人。LLaMA 是一组大语言模型的集合,其参数规模从 70 亿到 650 亿,它最新的 LLaMA-13B 模型有 130 亿个参数,不到 GPT-3 模型 1750 亿个参数的十分之一。现在AI 推出了首个基于人类反馈强化学习的 LLaMA AI 聊天机器人开源实现 。 来源 ,前文: 来自:雷锋 频道:@kejiqu 群组:@kejiquchat 投稿:@kejiqubot

封面图片

AMD Ryzen AI CPU 和 Radeon RX 7000 GPU 现支持本地运行 LLM 和 AI 聊天机器人

AMD Ryzen AI CPU 和 Radeon RX 7000 GPU 现支持本地运行 LLM 和 AI 聊天机器人 AMD 表示用户可以在包括采用 AMD 新 XDNA NPU 的 Ryzen 7000 和 Ryzen 8000 系列 APU,以及内置 AI 加速核心的 Radeon RX 7000 系列 GPU 设备上,本地运行 LLM 和 AI 聊天机器人

封面图片

:NVIDIA的本地聊天机器人项目

:NVIDIA的本地聊天机器人项目 Chat With RTX让用户可以个性化训练一个连接自定义内容(文档、视频等)的大型语言模型,并与其聊天获取相关回复。 Chat With RTX利用了检索增强型生成(RAG)、TensorRT-LLM和RTX加速,可以快速从自定义聊天机器人中获取与上下文相关的回复。它支持各种文件格式,包括文本、pdf、doc/docx、xml等。用户可以指向含有这些文件的文件夹,应用可以在几秒内加载它们。 Chat With RTX技术演示基于GitHub上的TensorRT-LLM RAG开发者参考项目构建。开发者可以基于该项目开发部署自己的RAG应用。 Chat With RTX需要Windows 11系统,NVIDIA GeForce RTX 30/40系列或支持TensorRT-LLM的GPU,16GB以上RAM。 RTX GPU通过TensorRT-LLM可以实现下一级别的AI性能,提供增强的创造力、生产力,以及极快的游戏体验。 NVIDIA提供了各种面向开发者的生成AI工具和面向企业的解决方案。

封面图片

ℹNVIDIA 推出能在本地运行的 Chat with RTX 聊天机器人,这篇教你怎么使用#

ℹNVIDIA 推出能在本地运行的 Chat with RTX 聊天机器人,这篇教你怎么使用# NVIDIA 也推出自己的 Chat with RTX 聊天机器人了!采用 LLM 大型语言模型,可直接在本地运行,无须透过网路,完全免费...

封面图片

ℹ不用羡慕 NVIDIA 了!AMD 也推出自家 CPU 和 GPU 本地运行的 AI 聊天机器人#

ℹ不用羡慕 NVIDIA 了!AMD 也推出自家 CPU 和 GPU 本地运行的 AI 聊天机器人# 上个月 NVIDIA 为用户推出专属能在本地运行的 Chat with RTX 聊天机器人时,相信不少 AMD 用户都眼红玩不到,而好消息...

封面图片

AI聊天机器人 GPT 智能助手 纯净版

AI聊天机器人 GPT 智能助手 纯净版 强大的 AI 聊天机器人,流式传输 AI 解答,反应迅速拥有丰富的知识库,能够回答您提出的各种问题。 【应用名称】:AI聊天机器人 【应用包名】:com.ai.chatx 【应用版本】:1.1.0 【应用大小】:6.8MB 【适用平台】:Android 【应用介绍】:使用AI模型构建的聊天写作机器人,流式传输消息,反应迅速。以全新 AI 技术构建的超多快捷实用工具,编写代码、写文案、翻译、语法解释、写作文、写论文、做作业、写报告、写歌、写诗、解决算法问题统统不在话下。 【下载地址】:https://lizhireader.lanzoub.com/aichatx Tips:下载不了的请复制到浏览器打开,或者更换其他浏览器下载。 拿走吱一声,莫做伸手党。 【亲测截图】:

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人