#小众软件Jan – 免费的 ChatGPT 开源替代：使用开源 AI 模型，在自己电脑上运行大语言模型，100% 离线

#小众软件 Jan – 免费的 ChatGPT 开源替代：使用开源 AI 模型，在自己电脑上运行大语言模型，100% 离线 Tags: #AI, #linux, #macOS, #Windows, #ChatGPT, #大语言模型, #开源

Reor 是一款用于创建笔记的应用程序，它集成了人工智能，可在本地运行模型。

Reor 是一款用于创建笔记的应用程序，它集成了人工智能，可在本地运行模型。 它能自动链接观点、提供语义搜索并回答笔记中的问题。 支持 Mac、Linux 和 Windows。 可直接与Llama.cpp库交互，也允许用户插入自己的本地模型或使用与OpenAI兼容的 API。 可从其他应用程序导入笔记。 网站： #tools #AI

Opera已允许用户在本地下载和使用大语言模型

Opera已允许用户在本地下载和使用大语言模型 这些模型包括 Meta 的 Llama、Google 的 Gemma 和 Vicuna。该功能将作为 Opera 人工智能功能发布计划的一部分提供给用户，让用户提前使用部分人工智能功能。该公司表示，它在浏览器中使用 Ollama 开放源码框架在计算机上运行这些模型。目前，所有可用的模型都是 Ollama 库的子集，但该公司希望将来能加入不同来源的模型。该公司提到，每个变体都会占用本地系统超过 2GB 的空间。因此应该谨慎使用可用空间，以免存储空间耗尽。值得注意的是，Opera 在下载模型时不会做任何节省存储空间的工作。"Opera现在首次在浏览器中直接提供了大量第三方本地LLM。"Opera 副总裁 Jan Standal 在一份声明中表示："随着第三方本地 LLM 越来越专业，预计它们的规模可能会缩小。"如果用户计划在本地测试各种模型，这项功能会很有用，但如果想节省空间，也可以使用Quora's Poe和HuggingChat等大量在线工具来探索不同的模型。自去年以来，Opera 一直在尝试人工智能功能。去年 5 月，该公司在侧边栏推出了一款名为 Aria 的助手，并于8 月将其引入 iOS 版本。今年 1 月，Opera 表示，由于欧盟数字市场法案（DMA）要求苹果放弃对移动浏览器 WebKit 引擎的强制要求，该公司正在为 iOS 构建一款自带引擎的人工智能浏览器。 ... PC版： 手机版：

现在可以在笔记本电脑、手机和 Raspberry Pi 上运行 GPT-3 级别的 AI 模型

现在可以在笔记本电脑、手机和 Raspberry Pi 上运行 GPT-3 级别的 AI 模型 通常，运行 GPT-3 需要多个数据中心级A100 GPU（此外，GPT-3 的权重不公开），但 LLaMA 引起了轰动，因为它可以在单个强大的消费类 GPU 上运行。现在，通过使用一种称为量化的技术来减小模型大小的优化，LLaMA 可以在 M1 Mac 或较小的 Nvidia 消费者 GPU 上运行。 周五，一位名叫 Georgi Gerganov 的软件开发人员创建了一个名为“”的工具，可以在 Mac 笔记本电脑本地运行 Meta 的新 GPT-3 类 AI 大型语言模型LLaMA 。此后不久，人们也想出了如何在 。然后有人展示了它在 Pixel 6 手机上运行，接下来是（尽管运行速度非常慢）。 如果这种情况持续下去，我们可能会在不知不觉中看到一个口袋大小的ChatGPT 竞争对手。 在撰写本文时，在 Mac 上运行 LLaMA 仍然是一项相当技术性的练习。您必须安装 Python 和 Xcode 并熟悉在命令行上工作。威利森为任何想尝试的人提供了很好的。但随着开发人员继续编写代码，这种情况可能很快就会改变。 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

可以在个人电脑上运行的语言模型。

可以在个人电脑上运行的语言模型。 演示、数据和代码，使用基于LLaMa的~800k GPT-3.5-Turbo Generations训练助理风格的大型语言模型。 视频是在 M1 电脑上的演示，未加速

英伟达的新工具可让用户在电脑上离线运行生成式人工智能模型

英伟达的新工具可让用户在电脑上离线运行生成式人工智能模型 英伟达发布了一款新工具“Chat with RTX”，要求 8GB 显存的 GeForce™ RTX 30 或 40 系列 GPU，该工具可以让用户在 Windows PC 上离线运行人工智能驱动的聊天机器人。Chat with RTX 默认使用人工智能初创公司 Mistral 的开源模型，但支持其他基于文本的模型，包括 Meta 的 Llama 2。 （<下载）