：在本地启动并运行大语言模型 | #工具

：在本地启动并运行大语言模型 | #工具 Ollama 是一款命令行工具，可在 macOS 和 Linux 上本地运行 Llama 2、Code Llama 和其他模型。适用于 macOS 和 Linux，并计划支持 Windows。 Ollama 目前支持近二十多个语言模型系列，每个模型系列都有许多可用的 "tags"。 Tags 是模型的变体，这些模型使用不同的微调方法以不同的规模进行训练，并以不同的级别进行量化，以便在本地良好运行。量化级别越高，模型越精确，但运行速度越慢，所需的内存也越大。

#小众软件Jan – 免费的 ChatGPT 开源替代：使用开源 AI 模型，在自己电脑上运行大语言模型，100% 离线

#小众软件 Jan – 免费的 ChatGPT 开源替代：使用开源 AI 模型，在自己电脑上运行大语言模型，100% 离线 Tags: #AI, #linux, #macOS, #Windows, #ChatGPT, #大语言模型, #开源

以 BitTorrent 的方式在家用电脑上运行大语言模型

以 BitTorrent 的方式在家用电脑上运行大语言模型 OpenAI 的 AI 聊天机器人 ChatGPT 运行在微软的 Azure 云计算平台，普通用户即使能获得 ChatGPT 使用的大语言模型 GPT-3 或 GPT-4，也不可能在家用电脑上运行它们。如果人人都能运行一个分布式计算系统，联合起来打造一个在算力上能与最强大云计算平台匹敌的平台，那么我们有可能在自己的家用电脑上运行和使用类似 ChatGPT 的 AI 聊天机器人。BigScience 社区正在开发名为的系统，以 BitTorrent 的方式在家用电脑上运行大语言模型。 可以集成最新的大语言模型，当前支持性能与 GPT-3 相近的 BLOOM-176B 大语言模型。来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

ChatGPT 将推出 Mac 桌面应用程序

ChatGPT 将推出 Mac 桌面应用程序 在 OpenAI 展示的演示中，用户可以在一个小窗口中打开 ChatGPT 桌面应用程序，同时打开另一个程序。他们就屏幕上的内容向 ChatGPT 提问无论是输入还是说出。然后，ChatGPT 会根据它"看到"的内容做出回应。OpenAI 表示，用户可以使用 Option + Space 键盘快捷键向 ChatGPT 提问，还可以在应用中截图并进行讨论。免费用户和付费用户都可以访问这款新应用，但从今天开始只有 ChatGPT Plus 用户可以使用，"未来几周"将在更大范围内推广。OpenAI 计划在"今年晚些时候"推出该应用的 Windows 版本。ChatGPT 已经在 iOS 和 Android 上推出了应用程序。OpenAI 还在网络上分享了 ChatGPT 的新用户界面图片，看起来主屏幕和信息布局的改动很小。"我们知道这些模型会变得越来越复杂，"穆拉提解释说。"但我们希望交互体验实际上变得更加自然、轻松，让你完全不用关注 UI，而是专注于与 ChatGPT 的合作。"除了新的应用程序和新的用户界面，该公司还展示了新的 GTP-4o 模型，该机型对所有用户免费。 ... PC版： 手机版：

Meta 新语言模型能运行在单张显卡上

Meta 新语言模型能运行在单张显卡上 Meta 上周宣布了一个新的大语言模型 LLaMA-13B，称其参数规模更小但性能强于 OpenAI 的 GPT-3 模型，且它能运行在单张显卡上。 语言模型的规模在从 70 亿到 650 亿参数，而 OpenAI GPT-3 模型有 1750 亿个参数。Meta 使用 Common Crawl、维基百科和 C4 等公开数据集训练其模型，它有可能公开其源代码和权重。今天绝大部分最先进的语言模型都没有公开源代码。Meta 称 LLaMA 为其基础模型，它将是未来该公司更先进模型的基础。它的 LLaMA-13B 模型在 BoolQ、PIQA、SIQA、HellaSwag、WinoGrande、ARC 和 OpenBookQA 等标准测试中的表现超过了 GPT-3。GPT-3 等衍生模型需要数据中心规模的计算能力进行处理，而 LLaMA-13B 能运行在单张显卡上，为在消费者硬件上实现类似 ChatGPT 的性能打开了大门。来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

- 跨平台、轻量级、可移植的桌面应用程序开发 #框架 ,可以在 Linux、macOS、Windows、Web 和 Chrome

- 跨平台、轻量级、可移植的桌面应用程序开发 #框架 ,可以在 Linux、macOS、Windows、Web 和 Chrome 上运行，可使用任何编程语言（通过扩展 IPC）扩展 Neutralinojs，并将 Neutralinojs 用作任何源文件的一部分（通过子进程 IPC）