可以在个人电脑上运行的语言模型。

可以在个人电脑上运行的语言模型。 演示、数据和代码，使用基于LLaMa的~800k GPT-3.5-Turbo Generations训练助理风格的大型语言模型。 视频是在 M1 电脑上的演示，未加速

#小众软件Jan – 免费的 ChatGPT 开源替代：使用开源 AI 模型，在自己电脑上运行大语言模型，100% 离线

#小众软件 Jan – 免费的 ChatGPT 开源替代：使用开源 AI 模型，在自己电脑上运行大语言模型，100% 离线 Tags: #AI, #linux, #macOS, #Windows, #ChatGPT, #大语言模型, #开源

Meta 新语言模型能运行在单张显卡上

Meta 新语言模型能运行在单张显卡上 Meta 上周宣布了一个新的大语言模型 LLaMA-13B，称其参数规模更小但性能强于 OpenAI 的 GPT-3 模型，且它能运行在单张显卡上。 语言模型的规模在从 70 亿到 650 亿参数，而 OpenAI GPT-3 模型有 1750 亿个参数。Meta 使用 Common Crawl、维基百科和 C4 等公开数据集训练其模型，它有可能公开其源代码和权重。今天绝大部分最先进的语言模型都没有公开源代码。Meta 称 LLaMA 为其基础模型，它将是未来该公司更先进模型的基础。它的 LLaMA-13B 模型在 BoolQ、PIQA、SIQA、HellaSwag、WinoGrande、ARC 和 OpenBookQA 等标准测试中的表现超过了 GPT-3。GPT-3 等衍生模型需要数据中心规模的计算能力进行处理，而 LLaMA-13B 能运行在单张显卡上，为在消费者硬件上实现类似 ChatGPT 的性能打开了大门。来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

现在可以在笔记本电脑、手机和 Raspberry Pi 上运行 GPT-3 级别的 AI 模型

现在可以在笔记本电脑、手机和 Raspberry Pi 上运行 GPT-3 级别的 AI 模型 通常，运行 GPT-3 需要多个数据中心级A100 GPU（此外，GPT-3 的权重不公开），但 LLaMA 引起了轰动，因为它可以在单个强大的消费类 GPU 上运行。现在，通过使用一种称为量化的技术来减小模型大小的优化，LLaMA 可以在 M1 Mac 或较小的 Nvidia 消费者 GPU 上运行。 周五，一位名叫 Georgi Gerganov 的软件开发人员创建了一个名为“”的工具，可以在 Mac 笔记本电脑本地运行 Meta 的新 GPT-3 类 AI 大型语言模型LLaMA 。此后不久，人们也想出了如何在 。然后有人展示了它在 Pixel 6 手机上运行，接下来是（尽管运行速度非常慢）。 如果这种情况持续下去，我们可能会在不知不觉中看到一个口袋大小的ChatGPT 竞争对手。 在撰写本文时，在 Mac 上运行 LLaMA 仍然是一项相当技术性的练习。您必须安装 Python 和 Xcode 并熟悉在命令行上工作。威利森为任何想尝试的人提供了很好的。但随着开发人员继续编写代码，这种情况可能很快就会改变。 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

LastPass 称员工家用电脑被黑企业密码库令牌被盗

LastPass 称员工家用电脑被黑企业密码库令牌被盗 提供密码管理服务的 LastPass 更新了去年发生的严重安全事故的最新调查结果：它的一名高级工程师的家用电脑遭到黑客入侵，而这名员工拥有企业密码库的访问权限。LastPass 称，8 月 12 日到 26 日之间，未知黑客窃取到了一名高级 DevOps 工程师的有效凭证。黑客利用了第三方媒体软件包的漏洞入侵了该工程师的家用电脑，植入了按键记录器，窃取到主密码。该工程师是 LastPass 四名能访问企业密码库的工程师之一。在进入企业密码库之后，黑客导出了所有条目，其中包括 AWS S3 LastPass 产品备份的密钥。匿名消息来源透露，黑客利用的媒体软件是 Plex，而 Plex 在去年 8 月 24 日披露遭到了入侵，但暂时还不知道两起安全事故是否存在关联。 来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

：在本地启动并运行大语言模型 | #工具

：在本地启动并运行大语言模型 | #工具 Ollama 是一款命令行工具，可在 macOS 和 Linux 上本地运行 Llama 2、Code Llama 和其他模型。适用于 macOS 和 Linux，并计划支持 Windows。 Ollama 目前支持近二十多个语言模型系列，每个模型系列都有许多可用的 "tags"。 Tags 是模型的变体，这些模型使用不同的微调方法以不同的规模进行训练，并以不同的级别进行量化，以便在本地良好运行。量化级别越高，模型越精确，但运行速度越慢，所需的内存也越大。