音频、音乐和语音生成的工具包，旨在支持可复现的研究，帮助初级研究人员和工程师入门音频、音乐和语音生成领域的研究和开发，提供经典模

音频、音乐和语音生成的工具包，旨在支持可复现的研究，帮助初级研究人员和工程师入门音频、音乐和语音生成领域的研究和开发，提供经典模型或架构的可视化特性，有助于初级研究人员和工程师更好地理解模型。 | #工具

：最新的高性能全开源文本嵌入模型

：最新的高性能全开源文本嵌入模型 Nomic发布了第一个完全开源的文本嵌入模型Nomic Embed，其文本长度可达8192，性能超过OpenAI的Ada和其他开源模型。 Nomic Embed的模型权重、训练代码和用于训练的数据集都是完全开源的，可以进行全面审计。 Nomic Embed可以通过Nomic Atlas嵌入API进行商业部署，提供100万免费调用量，也可以通过Nomic Atlas企业版进行可靠、合规的企业级部署。 文本嵌入是现代NLP中一个关键组件，Nomic Embed通过多阶段的对比训练获得。首先预训练BERT，然后在大规模非监督数据上进行对比训练，最后在小规模标注数据上微调。 Nomic Embed在多个基准测试中表现强劲，尤其是在长文本任务上优于Ada。它提供了一个高性能且可审计的开源文本嵌入方案。 Nomic还发布了所有用于训练的数据，以实现完全的模型可审计性。希望社区可以基于Nomic Embed继续推进开源AI。

TencentPretrain：腾讯预训练模型框架

TencentPretrain：腾讯预训练模型框架 预训练已经成为人工智能技术的重要组成部分，为大量人工智能相关任务带来了显著提升。TencentPretrain是一个用于对文本、图像、语音等模态数据进行预训练和微调的工具包。TencentPretrain遵循模块化的设计原则。通过模块的组合，用户能迅速精准的复现已有的预训练模型，并利用已有的接口进一步开发更多的预训练模型。通过TencentPretrain，我们建立了一个模型仓库，其中包含不同性质的预训练模型（例如基于不同模态、编码器、目标任务）。用户可以根据具体任务的要求，从中选择合适的预训练模型使用。TencentPretrain继承了的部分工作，并在其基础上进一步开发，形成支持多模态的预训练模型框架。 TencentPretrain有如下几方面优势: 可复现 TencentPretrain已在许多数据集上进行了测试，与原始预训练模型实现（例如BERT、GPT-2、ELMo、T5、CLIP）的表现相匹配 模块化 TencentPretrain使用解耦的模块化设计框架。框架分成Embedding、Encoder、Target等多个部分。各个部分之间有着清晰的接口并且每个部分包括了丰富的模块。可以对不同模块进行组合，构建出性质不同的预训练模型 多模态 TencentPretrain支持文本、图像、语音模态的预训练模型，并支持模态之间的翻译、融合等操作 模型训练 TencentPretrain支持CPU、单机单GPU、单机多GPU、多机多GPU训练模式，并支持使用DeepSpeed优化库进行超大模型训练 模型仓库 我们维护并持续发布预训练模型。用户可以根据具体任务的要求，从中选择合适的预训练模型使用 SOTA结果 TencentPretrain支持全面的下游任务，包括文本/图像分类、序列标注、阅读理解、语音识别等，并提供了多个竞赛获胜解决方案 预训练相关功能 TencentPretrain提供了丰富的预训练相关的功能和优化，包括特征抽取、近义词检索、预训练模型转换、模型集成、文本生成等 ||#框架

a16z近期公布了他们的开源 AI 资助计划第二期，主要关注两个领域：包括用于训练、托管和评估语言模型的工具以及围绕视觉人工智能

a16z近期公布了他们的开源 AI 资助计划第二期，主要关注两个领域：包括用于训练、托管和评估语言模型的工具以及围绕视觉人工智能构建的模型和社区。第二期有7 个项目： ：一个在任何云上运行LLMs、AI和批处理作业的框架，提供最大的成本节省、最高的GPU可用性和托管执行。 主要能力有：在任何云上启动作业和集群、排队并运行多个作业，自动管理、轻松访问对象存储、自动选择最便宜的云服务。 ：用于微调LLMs的工具，支持多种配置和架构。 工具支持：训练各种Huggingface模型，如llama、pythia等、支持全面微调、lora、qlora、relora和gptq多种训练方式、使用简单的yaml文件或CLI覆盖自定义配置等。还有很多其他特性。 ：开源模型、系统和评估平台。 开源了 LLM 用的数据集，还有一个 LLM 模型。最著名的还是通过 ELO 算法和机制评估 LLM 质量的项目，这种人工评分的机制比一些数据集的评价方法更加可以反应人类对于 LLM 质量的判断。 ：用于训练许多LLMs的开放网络爬取数据存储库。 这是一个从 2007 年就开始收集的互联网语聊数据库，他们会定期抓取，你可以免费下载所有数据用来训练模型。GPT-3 82%的训练语料来自这个项目。 ：开源多模态模型（语言和视觉）。 端到端训练的大型多模态模型，连接了一个视觉编码器和LLM，用于通用的视觉和语言理解。 现在最新的是LLaVA1.5 版本，只是对原始LLaVA进行简单修改，利用了所有公开数据，在单个8-A100节点上约1天内完成训练。 ：AI动画的平台和开源社区，是一种 AI 生成动画的方式。Deforum的 WebUI 插件和 Discord 社区都是他们在维护。 ：高影响力AI模型的开放实现。 Phil Wang，也以其在线昵称“lucidrains”而闻名，在AI和机器学习领域是一位杰出人物。以在PyTorch框架中实现各种有趣的AI模型和论文而闻名。他的工作包括Vision Transformer、DALL-E 2、Imagen和MusicLM等的实现。

苹果新发布20个Core ML模型和4个数据集 全部开源供开发者们使用

苹果新发布20个Core ML模型和4个数据集 全部开源供开发者们使用 苹果日前在知名 AI 模型托管平台 HuggingFace 上新发布了 20 个 Core ML 模型和 4 个数据集，这些模型全部采用 Apache 2.0 许可证进行开源，所有开发者均可使用。这些采用 Core ML 框架的新模型在功能上都有所不同，不过侧重点都是在设备端本地运行 AI 模型执行任务，这样数据不需要上云解决潜在的隐私问题。例如开发者可以构建一款用于图像分类的应用程序，在获得用户授权图库访问权限后，可以调用设备端模型进行处理；或者构建一个可以快速去除图像背景的应用程序，使用设备端模型也可以不上传图片，解决用户的隐私担忧。当然采用设备端模型还有个好处就是响应速度会非常快，借助云端处理开发者需要提供性能更强的服务器才能支撑并发使用，而服务器响应和处理都需要使用，本地处理则不需要使用网络，因此也免去了响应时间问题。目前设备端运行 AI 模型最大的问题在于芯片性能，例如苹果推出的苹果智能仅支持 A17 Pro 和 Apple M 系列芯片，对于更旧的芯片还是得第三方开发者们提供支持，虽然这也会存在性能问题。HuggingFace 创始人称这是一次重大更新，苹果将许多基于 Core ML 的新模型上传到了 HuggingFace 存储库，而 Core ML 模型严格在设备端运行无需网络连接，这可以让开发者的应用保持 “闪电般” 的速度，还可以确保用户数据的私密性。有兴趣的开发者们可以访问 HuggingFace 上的苹果主页获取这些模型，苹果也为部分模型提供了论文描述，开发者可以根据论文说明快速了解这些模型的性能： ... PC版： 手机版：

这是一款轻量级、先进的开源模型，供开发者和研究人员用于 AI 构建。Gemma 模型家族包括 Gemma 2B 和 Gemma

这是一款轻量级、先进的开源模型，供开发者和研究人员用于 AI 构建。Gemma 模型家族包括 Gemma 2B 和 Gemma 7B 两种尺寸， 能够在不同的设备类型上运行，包括笔记本电脑、桌面电脑、IoT 设备、移动设备和云端。性能和设计 Gemma 模型在技术和基础设施组件上与 Gemini 共享，这使得 Gemma 2B 和 7B 在其大小范围内相比其他开放模型具有最佳性能。 Gemma 模型不仅可以直接在开发者的笔记本电脑或桌面电脑上运行，而且在关键基准测试中的表现超过了更大的模型，同时遵循严格的安全和负责任输出标准。 主要特点： 1、轻量级、高性能模型：Gemma 模型家族包括 Gemma 2B 和 Gemma 7B.两种尺寸，提供预训练和指令调优的变体，针对其大小范围内相比其他开放模型具有最佳性能。 2、跨框架工具链支持：支持 JAX、PyTorch 和 TensorFlow 通过原生 Keras 3.0.进行推理和监督式微调（SFT），适应多种开发需求和环境。 3、易于入门和集成：提供准备就绪的 Colab 和 Kaggle 笔记本，以及与 Hugging Face、MaxText、NVIDIA NeMo.和 TensorRT-LLM 等流行工具的集成，方便开发者快速上手。 4.高效的运算能力：针对多个 AI 硬件平台上进行优化，确保在 NVIDIA GPU 和 Google Cloud TPU 上的行业领先性能。通过与 NVIDIA 的合作，无论是在数据中心、云端还是本地 RTX AI PC 上，都确保了行业领先的性能和与尖端技术的集成。 Gemma 模型能够在不同的设备类型上运行，这种广泛的兼容性使得模型能够适应各种应用场景和需求。 Hugging Face 测试链接： via 匿名 标签: #Google #Gemma 频道: @GodlyNews1 投稿: @GodlyNewsBot