Meta 新语言模型能运行在单张显卡上

Meta 新语言模型能运行在单张显卡上 Meta 上周宣布了一个新的大语言模型 LLaMA-13B，称其参数规模更小但性能强于 OpenAI 的 GPT-3 模型，且它能运行在单张显卡上。 语言模型的规模在从 70 亿到 650 亿参数，而 OpenAI GPT-3 模型有 1750 亿个参数。Meta 使用 Common Crawl、维基百科和 C4 等公开数据集训练其模型，它有可能公开其源代码和权重。今天绝大部分最先进的语言模型都没有公开源代码。Meta 称 LLaMA 为其基础模型，它将是未来该公司更先进模型的基础。它的 LLaMA-13B 模型在 BoolQ、PIQA、SIQA、HellaSwag、WinoGrande、ARC 和 OpenBookQA 等标准测试中的表现超过了 GPT-3。GPT-3 等衍生模型需要数据中心规模的计算能力进行处理，而 LLaMA-13B 能运行在单张显卡上，为在消费者硬件上实现类似 ChatGPT 的性能打开了大门。来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

相关推荐

封面图片

基于 LLaMA 的 AI 聊天机器人开源实现

基于 LLaMA 的 AI 聊天机器人开源实现 Meta 的大语言模型 LLaMA 最近引起了广泛关注，它的一大优势是参数规模更小但性能强于 OpenAI 的 GPT-3 模型，而且能运行在单张显卡上，让普通消费者的硬件也有可能提供类似 ChatGPT 性能的 AI 聊天机器人。LLaMA 是一组大语言模型的集合，其参数规模从 70 亿到 650 亿，它最新的 LLaMA-13B 模型有 130 亿个参数，不到 GPT-3 模型 1750 亿个参数的十分之一。现在AI 推出了首个基于人类反馈强化学习的 LLaMA AI 聊天机器人开源实现 。 来源 ，前文： 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot
封面图片

Meta发布全新大型语言模型LLaMA，加入硅谷AI竞赛

Meta发布全新大型语言模型LLaMA，加入硅谷AI竞赛 当地时间2月24日，Meta公司发布一款新的人工智能大型语言模型LLaMA，加入微软、谷歌等硅谷公司的竞赛。Meta首席执行官扎克伯格在Instagram表示，LLaMA模型旨在帮助研究人员推进工作，在生成文本、对话、总结书面材料、证明数学定理或预测蛋白质结构等更复杂的任务方面“有很大的前景”。Meta表示，在大多数基准测试中，参数仅为十分之一的LLaMA-13B的性能优于OpenAI推出的GPT3(175B)，也即支持ChatGPT的GPT3.5的前身。 来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot
封面图片

Meta 正开发更强大的新大型语言模型，对标OpenAI 的 GPT-4

Meta 正开发更强大的新大型语言模型，对标OpenAI 的 GPT-4 据知情人士透露，Meta 正在开发一款新的大型语言模型，并预计其功能将与 GPT-4 一样强大。根据 Meta 的目标，其新 AI 模型将比两个月前刚刚发布的名为 Llama 2 的模型强大数倍。这个新 AI 模型计划明年上线。 Meta 目前正在搭建这项工作所需的数据中心，并购置更多的 H100 芯片，这是英伟达用于此类 AI 训练的最先进制程芯片。其中一些知情人士说，虽然与微软合作在后者的云计算平台 Azure 上提供 Llama 2 服务，但 Meta 计划在自己的基础设施上训练这个新模型。
封面图片

Meta 开源最新的 Llama 3.1 大模型

Meta 开源最新的 Llama 3.1 大模型 其它科技公司都想把 AI 产品买给你们，但扎克伯格（Mark Zuckerberg）选择免费送给你们。Meta 周一宣布了其最新的 Llama 3.1 大模型，其最大规模版本的参数有 4050 亿个，较小规模的版本有 700 亿和 80 亿个参数。Meta 称，Llama 3.1 在基准测试中的表现超过了 OpenAI 的 GPT-4o 和 Anthropic 的 Claude 3.5 Sonnet。Meta 表示，Llama 3.1 使用了逾 16,000 个英伟达 H100 GPU 进行训练，它认为相比私有大模型，部署成本会更低。扎克伯格称他与世界各地的开发者、企业和政府官员交流时，他们都表达了不希望被私有封闭供应商锁定的愿望，希望自己能控制模型，而 Llama 3.1 将能满足他们的要求。 via Solidot
封面图片

以 BitTorrent 的方式在家用电脑上运行大语言模型

以 BitTorrent 的方式在家用电脑上运行大语言模型 OpenAI 的 AI 聊天机器人 ChatGPT 运行在微软的 Azure 云计算平台，普通用户即使能获得 ChatGPT 使用的大语言模型 GPT-3 或 GPT-4，也不可能在家用电脑上运行它们。如果人人都能运行一个分布式计算系统，联合起来打造一个在算力上能与最强大云计算平台匹敌的平台，那么我们有可能在自己的家用电脑上运行和使用类似 ChatGPT 的 AI 聊天机器人。BigScience 社区正在开发名为的系统，以 BitTorrent 的方式在家用电脑上运行大语言模型。 可以集成最新的大语言模型，当前支持性能与 GPT-3 相近的 BLOOM-176B 大语言模型。来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot
封面图片

Meta AI 研发能在智能手机上运行的紧凑大模型

Meta AI 研发能在智能手机上运行的紧凑大模型 Meta A 的研究人员正在开发智能手机上运行的紧凑型大模型 MobileLLM。研究人员致力于优化参数规模低于 10 亿的大模型，相比下 OpenAI GPT-4 的参数规模据称超过 1 万亿。研究人员报告利用一系列新技术，MobileLLM 在基准测试任务上的表现比类似规模的模型改进了 2.7%-4.3%，3.5 亿参数规模的 MobileLLM 在某些任务的准确率与 70 亿参数规模的 LLaMA-2 模型相当。这意味着在特定任务上，紧凑型大模型能提供比更大规模大模型相似的能力，同时计算开销更低。 via Solidot

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人