可以在个人电脑上运行的语言模型。

可以在个人电脑上运行的语言模型。 演示、数据和代码，使用基于LLaMa的~800k GPT-3.5-Turbo Generations训练助理风格的大型语言模型。 视频是在 M1 电脑上的演示，未加速

【大佬在苹果MacBook上跑LLaMA，130亿参数大模型仅占8GB】语言模型的成本已经下降到个人电子设备也可用的地步。经过4

【大佬在苹果MacBook上跑LLaMA，130亿参数大模型仅占8GB】语言模型的成本已经下降到个人电子设备也可用的地步。经过4-bit量化之后，模型被缩小，LLaMA甚至可以在配备M1芯片的MacBook上运行。 #抽屉IT

：在本地启动并运行大语言模型 | #工具

：在本地启动并运行大语言模型 | #工具 Ollama 是一款命令行工具，可在 macOS 和 Linux 上本地运行 Llama 2、Code Llama 和其他模型。适用于 macOS 和 Linux，并计划支持 Windows。 Ollama 目前支持近二十多个语言模型系列，每个模型系列都有许多可用的 "tags"。 Tags 是模型的变体，这些模型使用不同的微调方法以不同的规模进行训练，并以不同的级别进行量化，以便在本地良好运行。量化级别越高，模型越精确，但运行速度越慢，所需的内存也越大。

苹果取得技术突破：有望在 iPhone 上运行大型语言模型

苹果取得技术突破：有望在 iPhone 上运行大型语言模型 IT之家消息：苹果的人工智能研究人员表示，他们已取得一项重大突破，通过一种创新的闪存利用技术，成功地在内存有限的苹果设备上部署了大型语言模型（LLM）。这一成果有望让更强大的 Siri、实时语言翻译以及融入摄影和增强现实的尖端 AI 功能登陆未来 iPhone。|