#小众软件Jan – 免费的 ChatGPT 开源替代：使用开源 AI 模型，在自己电脑上运行大语言模型，100% 离线

#小众软件 Jan – 免费的 ChatGPT 开源替代：使用开源 AI 模型，在自己电脑上运行大语言模型，100% 离线 Tags: #AI, #linux, #macOS, #Windows, #ChatGPT, #大语言模型, #开源

可以在个人电脑上运行的语言模型。

可以在个人电脑上运行的语言模型。 演示、数据和代码，使用基于LLaMa的~800k GPT-3.5-Turbo Generations训练助理风格的大型语言模型。 视频是在 M1 电脑上的演示，未加速

Meta 新语言模型能运行在单张显卡上

Meta 新语言模型能运行在单张显卡上 Meta 上周宣布了一个新的大语言模型 LLaMA-13B，称其参数规模更小但性能强于 OpenAI 的 GPT-3 模型，且它能运行在单张显卡上。 语言模型的规模在从 70 亿到 650 亿参数，而 OpenAI GPT-3 模型有 1750 亿个参数。Meta 使用 Common Crawl、维基百科和 C4 等公开数据集训练其模型，它有可能公开其源代码和权重。今天绝大部分最先进的语言模型都没有公开源代码。Meta 称 LLaMA 为其基础模型，它将是未来该公司更先进模型的基础。它的 LLaMA-13B 模型在 BoolQ、PIQA、SIQA、HellaSwag、WinoGrande、ARC 和 OpenBookQA 等标准测试中的表现超过了 GPT-3。GPT-3 等衍生模型需要数据中心规模的计算能力进行处理，而 LLaMA-13B 能运行在单张显卡上，为在消费者硬件上实现类似 ChatGPT 的性能打开了大门。来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

【大佬在苹果MacBook上跑LLaMA，130亿参数大模型仅占8GB】语言模型的成本已经下降到个人电子设备也可用的地步。经过4

【大佬在苹果MacBook上跑LLaMA，130亿参数大模型仅占8GB】语言模型的成本已经下降到个人电子设备也可用的地步。经过4-bit量化之后，模型被缩小，LLaMA甚至可以在配备M1芯片的MacBook上运行。 #抽屉IT

Opera已允许用户在本地下载和使用大语言模型

Opera已允许用户在本地下载和使用大语言模型 这些模型包括 Meta 的 Llama、Google 的 Gemma 和 Vicuna。该功能将作为 Opera 人工智能功能发布计划的一部分提供给用户，让用户提前使用部分人工智能功能。该公司表示，它在浏览器中使用 Ollama 开放源码框架在计算机上运行这些模型。目前，所有可用的模型都是 Ollama 库的子集，但该公司希望将来能加入不同来源的模型。该公司提到，每个变体都会占用本地系统超过 2GB 的空间。因此应该谨慎使用可用空间，以免存储空间耗尽。值得注意的是，Opera 在下载模型时不会做任何节省存储空间的工作。"Opera现在首次在浏览器中直接提供了大量第三方本地LLM。"Opera 副总裁 Jan Standal 在一份声明中表示："随着第三方本地 LLM 越来越专业，预计它们的规模可能会缩小。"如果用户计划在本地测试各种模型，这项功能会很有用，但如果想节省空间，也可以使用Quora's Poe和HuggingChat等大量在线工具来探索不同的模型。自去年以来，Opera 一直在尝试人工智能功能。去年 5 月，该公司在侧边栏推出了一款名为 Aria 的助手，并于8 月将其引入 iOS 版本。今年 1 月，Opera 表示，由于欧盟数字市场法案（DMA）要求苹果放弃对移动浏览器 WebKit 引擎的强制要求，该公司正在为 iOS 构建一款自带引擎的人工智能浏览器。 ... PC版： 手机版：

Reor 是一款用于创建笔记的应用程序，它集成了人工智能，可在本地运行模型。

Reor 是一款用于创建笔记的应用程序，它集成了人工智能，可在本地运行模型。 它能自动链接观点、提供语义搜索并回答笔记中的问题。 支持 Mac、Linux 和 Windows。 可直接与Llama.cpp库交互，也允许用户插入自己的本地模型或使用与OpenAI兼容的 API。 可从其他应用程序导入笔记。 网站： #tools #AI