谷歌与 Hugging Face 合作，帮助开发人员训练 AI 模型

谷歌与 Hugging Face 合作，帮助开发人员训练 AI 模型 谷歌云与 AI 模型托管平台 Hugging Face 建立了新的合作伙伴关系，让开发人员无需支付谷歌云订阅费用即可构建、训练和部署 AI 模型。现在，使用 Hugging Face 平台的外部开发人员将能够 “经济高效” 地访问谷歌的张量处理单元 (TPU) 和 GPU 超级计算机，其中包括数千台 Nvidia 的热门且出口受限的 H100。谷歌表示，Hugging Face 用户可以在 “2024 年上半年” 开始使用人工智能应用构建平台 Vertex AI 和 Kubernetes 引擎，帮助训练和微调模型。 一一

Hugging Face 和 ServiceNow 发布免费代码生成模型 StarCoder

Hugging Face 和 ServiceNow 发布免费代码生成模型 StarCoder AI 创业公司 Hugging Face 和 ServiceNow 发布了免费的代码生成模型 。类似 DeepMind 的AlphaCode、亚马逊的 CodeWhisperer 和 GitHub 的 Copilot(基于 OpenAI 的 Codex)，StarCoder 使用 Apache License 2.0 许可证，允许任何人免费使用，但严格意义上不是开源模型，它禁止用户使用该模型生成或传播恶意代码。StarCoder 使用了开源代码数据集 The Stack 训练，有 150 亿参数。其数据集包括了逾 80 种不同编程语言和来自 github issues 和 commits 的文本。#AI 来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

Stability AI推出了更小、更高效的Stable LM 2 1.6B语言模型

Stability AI推出了更小、更高效的Stable LM 2 1.6B语言模型 Stable LM是一种文本内容生成 LLM，稳定人工智能公司于 2023 年 4 月首次推出了 30 亿和 70 亿参数模型。新的 StableLM 模型实际上是 Stability AI 在 2024 年发布的第二个模型，此前该公司在本周早些时候发布了 Stable Code 3B。新的 Stable LM 模型结构紧凑、功能强大，旨在降低门槛，让更多开发人员能够参与到生成式人工智能生态系统中，并将英语、西班牙语、德语、意大利语、法语、葡萄牙语和荷兰语等七种语言的多语言数据纳入其中。该模型利用语言建模方面的最新算法进步，实现了 Stability AI 所希望的速度与性能之间的最佳平衡。Stability AI 公司语言团队负责人卡洛斯-里克尔梅（Carlos Riquelme）告诉 VentureBeat："一般来说，在类似数据上用类似的训练配方训练出来的大型模型往往比小型模型表现更好。不过，随着时间的推移，随着新模型能够实现更好的算法，并在更多和更高质量的数据上进行训练，我们有时会看到最近的较小模型表现优于旧的较大模型。"据 Stability AI 称，该模型在大多数基准测试中的表现都优于其他参数低于 20 亿的小型语言模型，包括微软的 Phi-2（27 亿）、 TinyLlama 1.1B 和 Falcon 1B。较小的新型 Stable LM 甚至能够超越一些较大的型号，包括 Stability AI 早先推出的 Stable LM 3B 型号。Riquelme 说："Stable LM 2 1.6B。比几个月前训练的一些更大的型号性能更好。考虑到电脑、电视机或微型芯片类似的趋势，它们随着时间的推移变得更小、更薄、更好。"需要明确的是，较小的 Stable LM 2 1.6B 由于体积小，因而确实存在一些缺点。由于小型、低容量语言模型的特性，Stable LM 2 1.6B 可能同样会表现出一些常见问题，如高幻觉率或潜在的有毒语言。在过去几个月里，Stability AI 一直在研究更小更强大的 LLM 选项。2023 年 12 月， StableLM Zephyr 3B型号发布，与 4 月份发布的初始型号相比，它的尺寸更小，但性能更强。新的 Stable LM 2 模型在更多数据上进行了训练，包括除英语外的 6 种语言（西班牙语、德语、意大利语、法语、葡萄牙语和荷兰语）的多语言文档。Riquelme 强调的另一个有趣的方面是在训练过程中向模型展示数据的顺序。他指出，在不同的训练阶段关注不同类型的数据可能会有所收获。更进一步的是，Stability AI 正在提供预训练和微调选项的新模型，以及一种研究人员称之为"......预训练冷却前的最后一个模型检查点"的格式。里克尔梅说："我们的目标是为个人开发者提供更多的工具和工件，以便他们在现有模型的基础上进行创新、改造和构建。在这里，我们提供了一个具体的半成品模型供人们使用。"在训练过程中，模型会依次更新，其性能也会随之提高。在这种情况下，第一个模型什么都不知道，而最后一个模型已经消耗了数据的大部分内容，并有望学到这些内容。同时，模型在训练快结束时可能会变得不那么灵活，因为它们是被迫结束学习的。他说："我们决定在开始最后一个阶段的训练之前，以目前的形式提供模型，这样希望可以更容易地将它专门用于人们可能想要使用的其他任务或数据集。我们不确定这样做的效果是否会很好，但我们真的相信人们有能力以令人惊叹的方式利用新工具和模型。" ... PC版： 手机版：

基于Hugging Face Transformers的项目精选集

基于Hugging Face Transformers的项目精选集 此页面列出了构建在 Transformers 之上的很棒的项目。Transformers 不仅仅是一个使用预训练模型的工具包：它是一个围绕它和 Hugging Face Hub 构建的项目社区。 Transformers 希望能帮开发人员、研究人员、学生、教授、工程师和其他任何人构建他们梦想的项目。 此列表展示了推动该领域向前发展的极具影响力和新颖的项目。

苹果发布可在本地运行的开放模型 OpenELM

苹果发布可在本地运行的开放模型 OpenELM 苹果发布了它的开放模型 ，可以在本地设备而不是云端运行。OpenELM 的权重、训练的不同检查点（checkpoints）、预训练评估微调等的指南都公布在 Hugging Face 平台上。示例代码许可并不禁止商业使用或修改，只是要求在重新发布时包含苹果完整且没有修改过的声明。OpenELM 由一组旨在高效执行文本生成任务的小模型组成，共八个模型，四个预训练四个指令微调，参数规模从 2.7 亿到 30 亿。来源 ， 频道：@kejiqu 群组：@kejiquchat

：关于大型语言模型的实用课程，课程以实践为导向，通过使用OpenAI和Hugging Face库的模型进行实际操作来提供实践经验

：关于大型语言模型的实用课程，课程以实践为导向，通过使用OpenAI和Hugging Face库的模型进行实际操作来提供实践经验。 课程分为三个主要部分：技术与库、项目和企业解决方案。提供了丰富的笔记本和文章，供学习者参考。