:在本地启动并运行大语言模型 | #工具

:在本地启动并运行大语言模型 | #工具 Ollama 是一款命令行工具,可在 macOS 和 Linux 上本地运行 Llama 2、Code Llama 和其他模型。适用于 macOS 和 Linux,并计划支持 Windows。 Ollama 目前支持近二十多个语言模型系列,每个模型系列都有许多可用的 "tags"。 Tags 是模型的变体,这些模型使用不同的微调方法以不同的规模进行训练,并以不同的级别进行量化,以便在本地良好运行。量化级别越高,模型越精确,但运行速度越慢,所需的内存也越大。

相关推荐

封面图片

#小众软件Jan – 免费的 ChatGPT 开源替代:使用开源 AI 模型,在自己电脑上运行大语言模型,100% 离线

#小众软件 Jan – 免费的 ChatGPT 开源替代:使用开源 AI 模型,在自己电脑上运行大语言模型,100% 离线 Tags: #AI, #linux, #macOS, #Windows, #ChatGPT, #大语言模型, #开源

封面图片

Ava PLS Ava PLS 是一个桌面应用程序,用于在计算机上本地运行语言模型。它允许您执行各种语言任务,例如文本生成、语法

Ava PLS Ava PLS 是一个桌面应用程序,用于在计算机上本地运行语言模型。它允许您执行各种语言任务,例如文本生成、语法纠正、改写、摘要、数据提取等。完全免费,可以在本地运行类似ChatGPT 等语言大模型的容器中应用,目前支持在苹果macOS电脑运行 #AI #chatGPT #macOS #免费 链接:点击获取

封面图片

Opera已允许用户在本地下载和使用大语言模型

Opera已允许用户在本地下载和使用大语言模型 这些模型包括 Meta 的 Llama、Google 的 Gemma 和 Vicuna。该功能将作为 Opera 人工智能功能发布计划的一部分提供给用户,让用户提前使用部分人工智能功能。该公司表示,它在浏览器中使用 Ollama 开放源码框架在计算机上运行这些模型。目前,所有可用的模型都是 Ollama 库的子集,但该公司希望将来能加入不同来源的模型。该公司提到,每个变体都会占用本地系统超过 2GB 的空间。因此应该谨慎使用可用空间,以免存储空间耗尽。值得注意的是,Opera 在下载模型时不会做任何节省存储空间的工作。"Opera现在首次在浏览器中直接提供了大量第三方本地LLM。"Opera 副总裁 Jan Standal 在一份声明中表示:"随着第三方本地 LLM 越来越专业,预计它们的规模可能会缩小。"如果用户计划在本地测试各种模型,这项功能会很有用,但如果想节省空间,也可以使用Quora's Poe和HuggingChat等大量在线工具来探索不同的模型。自去年以来,Opera 一直在尝试人工智能功能。去年 5 月,该公司在侧边栏推出了一款名为 Aria 的助手,并于8 月将其引入 iOS 版本。今年 1 月,Opera 表示,由于欧盟数字市场法案(DMA)要求苹果放弃对移动浏览器 WebKit 引擎的强制要求,该公司正在为 iOS 构建一款自带引擎的人工智能浏览器。 ... PC版: 手机版:

封面图片

Reor 是一款用于创建笔记的应用程序,它集成了人工智能,可在本地运行模型。

Reor 是一款用于创建笔记的应用程序,它集成了人工智能,可在本地运行模型。 它能自动链接观点、提供语义搜索并回答笔记中的问题。 支持 Mac、Linux 和 Windows。 可直接与Llama.cpp库交互,也允许用户插入自己的本地模型或使用与OpenAI兼容的 API。 可从其他应用程序导入笔记。 网站: #tools #AI

封面图片

可以在个人电脑上运行的语言模型。

可以在个人电脑上运行的语言模型。 演示、数据和代码,使用基于LLaMa的~800k GPT-3.5-Turbo Generations训练助理风格的大型语言模型。 视频是在 M1 电脑上的演示,未加速

封面图片

【大佬在苹果MacBook上跑LLaMA,130亿参数大模型仅占8GB】语言模型的成本已经下降到个人电子设备也可用的地步。经过4

【大佬在苹果MacBook上跑LLaMA,130亿参数大模型仅占8GB】语言模型的成本已经下降到个人电子设备也可用的地步。经过4-bit量化之后,模型被缩小,LLaMA甚至可以在配备M1芯片的MacBook上运行。 #抽屉IT

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人