现在可以在笔记本电脑、手机和 Raspberry Pi 上运行 GPT-3 级别的 AI 模型

现在可以在笔记本电脑、手机和 Raspberry Pi 上运行 GPT-3 级别的 AI 模型 通常，运行 GPT-3 需要多个数据中心级A100 GPU（此外，GPT-3 的权重不公开），但 LLaMA 引起了轰动，因为它可以在单个强大的消费类 GPU 上运行。现在，通过使用一种称为量化的技术来减小模型大小的优化，LLaMA 可以在 M1 Mac 或较小的 Nvidia 消费者 GPU 上运行。 周五，一位名叫 Georgi Gerganov 的软件开发人员创建了一个名为“”的工具，可以在 Mac 笔记本电脑本地运行 Meta 的新 GPT-3 类 AI 大型语言模型LLaMA 。此后不久，人们也想出了如何在 。然后有人展示了它在 Pixel 6 手机上运行，接下来是（尽管运行速度非常慢）。 如果这种情况持续下去，我们可能会在不知不觉中看到一个口袋大小的ChatGPT 竞争对手。 在撰写本文时，在 Mac 上运行 LLaMA 仍然是一项相当技术性的练习。您必须安装 Python 和 Xcode 并熟悉在命令行上工作。威利森为任何想尝试的人提供了很好的。但随着开发人员继续编写代码，这种情况可能很快就会改变。 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

相关推荐

封面图片

Meta 新语言模型能运行在单张显卡上

Meta 新语言模型能运行在单张显卡上 Meta 上周宣布了一个新的大语言模型 LLaMA-13B，称其参数规模更小但性能强于 OpenAI 的 GPT-3 模型，且它能运行在单张显卡上。 语言模型的规模在从 70 亿到 650 亿参数，而 OpenAI GPT-3 模型有 1750 亿个参数。Meta 使用 Common Crawl、维基百科和 C4 等公开数据集训练其模型，它有可能公开其源代码和权重。今天绝大部分最先进的语言模型都没有公开源代码。Meta 称 LLaMA 为其基础模型，它将是未来该公司更先进模型的基础。它的 LLaMA-13B 模型在 BoolQ、PIQA、SIQA、HellaSwag、WinoGrande、ARC 和 OpenBookQA 等标准测试中的表现超过了 GPT-3。GPT-3 等衍生模型需要数据中心规模的计算能力进行处理，而 LLaMA-13B 能运行在单张显卡上，为在消费者硬件上实现类似 ChatGPT 的性能打开了大门。来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot
封面图片

NVIDIA与AMD将为游戏笔记本电脑带来微软Copilot Plus人工智能功能

NVIDIA与AMD将为游戏笔记本电脑带来微软Copilot Plus人工智能功能 "华硕和微星新发布的RTX AI PC笔记本电脑最高配备GeForce RTX 4070 GPU和高能效片上系统，具备Windows 11 AI PC功能，"NVIDIA在一篇博文中表示。NVIDIA 在一份简报中证实，这些笔记本电脑将配备 AMD 最新的 Strix CPU。AMD 还没有正式详细介绍其 AMD Strix 笔记本电脑 CPU，但毫无疑问，它将在今天晚些时候的主题演讲中公布。NVIDIA 还暗示，首批搭载 AMD 处理器的 Copilot Plus PC 可能不会在发布时获得微软的人工智能功能。配备 Copilot Plus 功能的 NVIDIA RTX AI 笔记本电脑即将上市。NVIDIA 在一篇博文中表示："这些 Windows 11 AI PC 在可用时将获得 Copilot+ PC 体验的免费更新。这表明微软可能还没准备好在 AMD 芯片上推出 Recall 和其他 AI 驱动的 Windows 功能，或者说 6 月 18 日推出的搭载 Arm 高通处理器的 Windows 硬件可能会有一段时间的独占期。"NVIDIA也在为在笔记本电脑上执行人工智能驱动的任务而进行着某种程度的努力，微软正在推动将人工智能模型的计算安排到 NPU 上，而 NVIDIA 则打算在 PC 上的人工智能战场上大显身手。NVIDIA 正在大力宣传其"RTX AI 笔记本电脑"品牌，指出其 GPU 比 NPU 更有能力运行更繁重的 AI 工作负载。RTX 人工智能工具包将于 6 月份推出NVIDIA会在 6 月份推出RTX AI 工具包，其中包括用于模型定制、优化和部署的工具和 SDK。这些工具将采用类似 Meta 的 Llama 2 模型，并对其进行优化，使其运行时对 VRAM 的要求大大降低，性能更高。NVIDIA 还与微软就 Windows 11 中内置的底层人工智能模型展开合作。NVIDIA表示："此次合作将为应用开发人员提供便捷的应用编程接口（API）访问GPU加速的小语言模型（SLM），从而实现由Windows Copilot Runtime驱动的在设备上运行的检索增强生成（RAG）功能。"微软在上个月的Build大会上发布了Windows Copilot Runtime，而NVIDIA表示，其使用RTX GPU加速AI模型的工作将于今年晚些时候发布开发者预览版。微软的Windows Copilot Runtime旨在让开发者能够轻松地将人工智能功能添加到他们的应用中，同时依靠NPU硬件或NVIDIA的GPU来加速这些功能。由于 NPU 目前的性能约为 40 TOPS，而 NVIDIA 的 PC GPU 可处理超过 1000 TOPS 的 AI 加速，因此开发人员需要考虑的性能差异显然很大。NPU 专为笔记本电脑中运行的较小的模型和针对重要的高能效而设计，但 GPU 可以很好地处理较大的模型，在电池寿命无关紧要的 PC 台式机中具有更高的性能。观察 PC 上的这场人工智能大战将会非常有趣，尤其是微软掌握着在 Windows 中为 NVIDIA、AMD、英特尔、高通及其众多 OEM 合作伙伴原生将带来这些AI体验的钥匙。 ... PC版： 手机版：
封面图片

：在单个GPU上（如16GB T4 GPU或24GB RTX3090游戏卡）运行像OPT-175B/GPT-3这样的大型语言模型

：在单个GPU上（如16GB T4 GPU或24GB RTX3090游戏卡）运行像OPT-175B/GPT-3这样的大型语言模型，比其他基于offloading的系统快100倍。 FlexGen 允许通过IO高效卸载、压缩和大有效批处理大小生成高吞吐量。
封面图片

可以在个人电脑上运行的语言模型。

可以在个人电脑上运行的语言模型。 演示、数据和代码，使用基于LLaMa的~800k GPT-3.5-Turbo Generations训练助理风格的大型语言模型。 视频是在 M1 电脑上的演示，未加速
封面图片

以 BitTorrent 的方式在家用电脑上运行大语言模型

以 BitTorrent 的方式在家用电脑上运行大语言模型 OpenAI 的 AI 聊天机器人 ChatGPT 运行在微软的 Azure 云计算平台，普通用户即使能获得 ChatGPT 使用的大语言模型 GPT-3 或 GPT-4，也不可能在家用电脑上运行它们。如果人人都能运行一个分布式计算系统，联合起来打造一个在算力上能与最强大云计算平台匹敌的平台，那么我们有可能在自己的家用电脑上运行和使用类似 ChatGPT 的 AI 聊天机器人。BigScience 社区正在开发名为的系统，以 BitTorrent 的方式在家用电脑上运行大语言模型。 可以集成最新的大语言模型，当前支持性能与 GPT-3 相近的 BLOOM-176B 大语言模型。来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot
封面图片

能够在自己的电脑运行的 ChatGPT gpt4all

能够在自己的电脑运行的 ChatGPT gpt4all GPT4All 是基于大量干净的助手数据（包括代码、故事和对话）训练而成的聊天机器人，数据包括 ～800k 条 GPT-3.5-Turbo 生成数据，基于 LLaMa 完成，M1 Mac、Windows 等环境都能运行。或许就像它的名字所暗示的那样，人人都能用上个人 GPT 的时代已经来了。 实测在本人的 m1 MacBook 上能够运行，大家快来试试吧。 具体请看：

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人