现在可以在笔记本电脑、手机和 Raspberry Pi 上运行 GPT-3 级别的 AI 模型
现在可以在笔记本电脑、手机和 Raspberry Pi 上运行 GPT-3 级别的 AI 模型
通常,运行 GPT-3 需要多个数据中心级A100 GPU(此外,GPT-3 的权重不公开),但 LLaMA 引起了轰动,因为它可以在单个强大的消费类 GPU 上运行。现在,通过使用一种称为量化的技术来减小模型大小的优化,LLaMA 可以在 M1 Mac 或较小的 Nvidia 消费者 GPU 上运行。
周五,一位名叫 Georgi Gerganov 的软件开发人员创建了一个名为“”的工具,可以在 Mac 笔记本电脑本地运行 Meta 的新 GPT-3 类 AI 大型语言模型LLaMA 。此后不久,人们也想出了如何在 。然后有人展示了它在 Pixel 6 手机上运行,接下来是(尽管运行速度非常慢)。
如果这种情况持续下去,我们可能会在不知不觉中看到一个口袋大小的ChatGPT 竞争对手。
在撰写本文时,在 Mac 上运行 LLaMA 仍然是一项相当技术性的练习。您必须安装 Python 和 Xcode 并熟悉在命令行上工作。威利森为任何想尝试的人提供了很好的。但随着开发人员继续编写代码,这种情况可能很快就会改变。
来自:雷锋
频道:@kejiqu
群组:@kejiquchat
投稿:@kejiqubot