Google 发布开源大语言模型 Gemma

Google 发布开源大语言模型 Gemma 谷歌今天宣布推出 Gemma，这是一个新的轻量级开源大语言模型系列。 现在 Gemma 2B 和 Gemma 7B 两个模型已经可用，每个尺寸都发布了经过预训练和指令调整的变体。谷歌同时提供了多项工具以便快速部署该模型，包括开箱即用的 Colab 实例，可快速部署的容器镜像，以及和其它流行开发工具的集成。 Gemma 模型也能够直接在开发人员笔记本电脑或台式计算机上运行。根据谷歌的，该模型在多个测试中超越的 Llama 2 等开源模型。这些新模型“受到 Gemini 的启发”，使用与其相似的技术，并被许可用于商业和研究用途。 此外，谷歌还发布了一个新的负责任的生成式AI工具包，以提供“使用 Gemma 创建更安全的人工智能应用程序的指导和基本工具”以及调试工具。 , ,

Google发布了一对开源人工智能模型Gemma 2B和7B 适用于较小的任务

Google发布了一对开源人工智能模型Gemma 2B和7B 适用于较小的任务 不过，这些模型在复杂性上的不足，可能会在速度和使用成本上得到弥补。尽管规模较小，但Google声称，Gemma 模型"在关键基准测试中明显超越了更大的模型"，并且"能够直接在开发人员的笔记本电脑或台式电脑上运行"。这些模型将通过 Kaggle、Hugging Face、NVIDIA 的 NeMo 和Google的 Vertex AI 提供。Gemma 进入开源生态系统的方式与 Gemini 的发布方式截然不同。虽然开发者可以在 Gemini 的基础上进行开发，但他们要么通过 API，要么在Google的 Vertex AI 平台上进行开发。Gemini 被认为是一种封闭的人工智能模式。通过将 Gemma 开源，更多的人可以尝试使用Google的人工智能，而不是转向提供更好访问权的竞争对手。无论组织规模、用户数量和项目类型如何，这两种尺寸的模型都将获得商业许可。不过，与其他公司一样，Google通常禁止将其模型用于武器开发项目等特定任务。Gemma 还将提供"负责任的人工智能工具包"，因为开放模型比 Gemini 等封闭系统更难设置防护措施。Google DeepMind 产品管理总监特里斯-瓦肯汀说，"由于开放模型的固有风险，公司对 Gemma 进行了更广泛的重新设计"。负责任的人工智能工具包允许开发人员在项目中部署 Gemma 时创建自己的准则或禁用词列表。该工具包还包括一个模型调试工具，可让用户调查 Gemma 的行为并纠正问题。Warkentin 表示，这些模型目前最适用于英语语言相关任务，希望能与社区合作，满足英语任务以外的市场需求。开发人员可以在 Kaggle 中免费使用 Gemma，首次使用Google云的用户可以获得 300 美元的免费额度来使用模型。该公司表示，研究人员最多可申请 500000 美元的额度。虽然目前还不清楚人们对 Gemma 这样的小模型有多大需求，但其他人工智能公司也推出了重量更轻的旗舰基础模型。Meta 去年推出了 Llama 2 7B，这是 Llama 2 的最小迭代版本。 Gemini 本身也有几种重量，包括 Gemini Nano、Gemini Pro 和 Gemini Ultra，Google最近宣布推出速度更快的 Gemini 1.5，目前也是针对企业用户和开发人员。顺便说一下，Gemma 的意思是宝石。 ... PC版： 手机版：

重磅：Google 刚刚发布了一个超强的开源模型 Gemma

重磅：Google 刚刚发布了一个超强的开源模型 Gemma 这是 AI 开源模型生态的一大步。 Google DeepMind CEO Demis 表示：「我们长期以来一直支持负责任的开放源代码和科学，这可以推动快速的研究进展，因此我们很自豪地发布了 Gemma：一套轻量级的开放模型，其大小在同类产品中名列前茅，其灵感来源于双子座所使用的相同技术。 」 Gemma 开放模型的特点 - Gemma 是一个轻量级、最先进的开放式模型系列，采用了与Gemini相同的研究和技术。 - Gemma 由 Google DeepMind 和 Google 的其他团队共同开发，其灵感来源于双子座，名字反映了拉丁语 gemma，意为「宝石」。 - 两种尺寸：Gemma 2B 和 Gemma 7B。每种规模都发布了预训练和指令调整变体。（Hans 注，在图2中，你能看到 7B 在多项核心指标， 大幅领先Llama-2。） - 经过预训练和指令调整的 Gemma 模型可在你的笔记本电脑、工作站或Google Cloud上运行，并可在 Vertex AI 和谷歌 Kubernetes Engine 上轻松部署。 使用、研究和AI 伦理方面的补充： - 允许所有组织（无论规模大小）以负责任的方式进行商业使用和分发。 - Gemma 专为推动人工智能创新的开发人员和研究人员组成的开放社区而打造。 - 现在就可以开始使用 Gemma，免费访问 Kaggle，免费使用 Colab 笔记本，首次使用 Google Cloud 的用户还可获得 300 美元的积分。 - 研究人员还可以申请高达 500,000 美元的 Google Cloud 信用额度来加速他们的项目。 详情部署和使用，现在就可以访问：

这是一款轻量级、先进的开源模型，供开发者和研究人员用于 AI 构建。Gemma 模型家族包括 Gemma 2B 和 Gemma

这是一款轻量级、先进的开源模型，供开发者和研究人员用于 AI 构建。Gemma 模型家族包括 Gemma 2B 和 Gemma 7B 两种尺寸， 能够在不同的设备类型上运行，包括笔记本电脑、桌面电脑、IoT 设备、移动设备和云端。性能和设计 Gemma 模型在技术和基础设施组件上与 Gemini 共享，这使得 Gemma 2B 和 7B 在其大小范围内相比其他开放模型具有最佳性能。 Gemma 模型不仅可以直接在开发者的笔记本电脑或桌面电脑上运行，而且在关键基准测试中的表现超过了更大的模型，同时遵循严格的安全和负责任输出标准。 主要特点： 1、轻量级、高性能模型：Gemma 模型家族包括 Gemma 2B 和 Gemma 7B.两种尺寸，提供预训练和指令调优的变体，针对其大小范围内相比其他开放模型具有最佳性能。 2、跨框架工具链支持：支持 JAX、PyTorch 和 TensorFlow 通过原生 Keras 3.0.进行推理和监督式微调（SFT），适应多种开发需求和环境。 3、易于入门和集成：提供准备就绪的 Colab 和 Kaggle 笔记本，以及与 Hugging Face、MaxText、NVIDIA NeMo.和 TensorRT-LLM 等流行工具的集成，方便开发者快速上手。 4.高效的运算能力：针对多个 AI 硬件平台上进行优化，确保在 NVIDIA GPU 和 Google Cloud TPU 上的行业领先性能。通过与 NVIDIA 的合作，无论是在数据中心、云端还是本地 RTX AI PC 上，都确保了行业领先的性能和与尖端技术的集成。 Gemma 模型能够在不同的设备类型上运行，这种广泛的兼容性使得模型能够适应各种应用场景和需求。 Hugging Face 测试链接： via 匿名 标签: #Google #Gemma 频道: @GodlyNews1 投稿: @GodlyNewsBot

Google加入开源战局 低配版Gemma相当于OpenAI把GPT-3开源了

Google加入开源战局 低配版Gemma相当于OpenAI把GPT-3开源了 怎么理解这个动作的重要性呢？你可以粗暴的理解为：这有点像现在正在训练更强大的GPT-5的OpenAI，把GPT3的低参数版给开源了。（前几天Sam Altman被问过这个问题，你们是否会在未来把GPT3开源，他没有直接回答。现在看来Google针对性很强啊。）（X上一张有意思的图）根据Google官方对Gemma的介绍，它的基本信息如下：Gemma是Google开源的一个大型语言模型，而非像Gemini那样是多模态的，它基于与Gemini相同的技术构建，但完全公开并允许商用授权。Gemma模型有两个主要版本，分别是Gemma 7B（70亿参数）和Gemma 2B（20亿参数）。这些模型在大规模的数据集上进行了训练，数据集包含了以英语为主的网络文档、数学数据以及代码数据，总量达到了6万亿tokens。Gemma模型的特点包括：架构细节：Gemma模型具有不同的参数规模，Gemma-2B有18层，d_model为2048，而Gemma-7B有28层，d_model为3072。这些模型还具有不同的前馈隐藏维度、头数和KV头数，以及词汇量。新技术：Gemma采用了一些新技术，如Multi-Query Attention、RoPE Embeddings、GeGLU激活函数以及Normalizer Location，这些技术有助于提高模型的性能。评测结果：Google官方宣称Gemma模型在70亿参数规模的语言模型中表现最佳，甚至超过了一些参数量更大的模型。开源情况：Gemma模型遵循一个自定义的开源协议，允许商业使用。发布完，Jeff Dean就对这个系列模型划了重点：Gemma-7B模型在涵盖通用语言理解、推理、数学和编程的8项基准测试中，性能超过了广泛使用的Llama-2 7B和13B模型。它在数学/科学和编程相关任务上，通常也超过了Mistral 7B模型的性能。Gemma-2B IT和Gemma-7B IT这两个经过指令调整的模型版本，在基于人类偏好的安全评估中，都优于Mistral-7B v0.2指令模型。特别是Gemma-7B IT模型在遵循指令方面也表现更佳。（有意思的是，在Google晒出的成绩对比中，阿里的千问背后的模型Qwen系列表现也很亮眼）我们也发布了一个负责任的生成性人工智能工具包（Responsible Generative AI Toolkit），它为负责任地使用像Gemma模型这样的开放模型提供了资源，包括：关于设定安全政策、安全调整、安全分类器和模型评估的指导。学习可解释性工具（Learning Interpretability Tool，简称LIT），用于调查Gemma的行为并解决潜在问题。一种构建具有最小样本量的强大安全分类器的方法论。我们发布了两个版本的模型权重：Gemma 2B和Gemma 7B。每个版本都提供了预训练和指令调整的变体。我们为所有主要框架提供了推理和监督式微调（SFT）的工具链：通过原生Keras 3.0支持的JAX、PyTorch和TensorFlow。提供了即用型的Colab和Kaggle笔记本，以及与流行的工具如Hugging Face、MaxText、NVIDIA NeMo和TensorRT-LLM的集成，使得开始使用Gemma变得简单。预训练和指令调整的Gemma模型可以在您的笔记本电脑、工作站或Google Cloud上运行，并且可以轻松部署在Vertex AI和Google Kubernetes Engine（GKE）上。在多个AI硬件平台上的优化确保了行业领先的性能，包括NVIDIA GPU和Google Cloud TPUs。使用条款允许所有规模的组织负责任地进行商业使用和分发。可以看到Jeff Dean和Google这次都十分强调开源模型的安全性和具体的实打实的配套设施和举措。这似乎也直至被诟病Close AI且被外界质疑安全性保障的OpenAI。现在，憋坏了的Google正式四面开战了。未来它将用Gemma对抗Llama，用Gemini对抗GPT。无论是开源还是闭源，竞争越来越焦灼了。相关文章:Google发布了一对开源人工智能模型Gemma 2B和7B 适用于较小的任务 ... PC版： 手机版：

Google发布Gemma 2轻量级开放模型 以极小的成本提供强大的性能

Google发布Gemma 2轻量级开放模型 以极小的成本提供强大的性能 Gemma 2 有两种规格：90 亿 (9B) 和 270 亿 (27B) 个参数。新一代模型的推理效率更高，性能也优于第一个 Gemma 模型。Google称，27B 模型的性能可与两倍于其规模的模型相媲美，而 9B 模型的性能则优于 Llama 3 8B 和其他类似规模的开源模型。未来几个月，Google计划发布参数为 2.6B 的 Gemma 2 型号，它将更适合智能手机的人工智能应用场景。新的 Gemma 2 模型可以托管在单个英伟达 A100 80GB Tensor Core GPU、英伟达 H100 Tensor Core GPU 或单个 TPU 主机上，从而降低人工智能基础架构成本。甚至可以通过Hugging Face Transformers在英伟达 RTX 或 GeForce RTX 桌面 GPU 上运行 Gemma 2。从下个月开始，Google云客户可以在Vertex AI上部署和管理 Gemma 2。开发人员现在可以在 Google AI Studio 上试用新的 Gemma 2 模型。在 Gemma 2 的训练过程中，Google对训练前的数据进行了过滤，并根据一套全面的安全指标进行了测试和评估，以识别和减少潜在的偏差和风险。Google通过 Kaggle 或 Colab 免费层免费提供 Gemma 2。学术研究人员可申请Gemma 2 学术研究计划，以获得 Google 云积分。Gemma 2 集高性能、高效率和可访问性于一身，改变了开源人工智能领域的游戏规则，致力于开放访问和负责任的人工智能开发，为人工智能的未来树立了一个积极的榜样。 ... PC版： 手机版：