Google加入开源战局 低配版Gemma相当于OpenAI把GPT-3开源了

Google加入开源战局低配版Gemma相当于OpenAI把GPT-3开源了怎么理解这个动作的重要性呢？你可以粗暴的理解为：这有点像现在正在训练更强大的GPT-5的OpenAI，把GPT3的低参数版给开源了。（前几天SamAltman被问过这个问题，你们是否会在未来把GPT3开源，他没有直接回答。现在看来Google针对性很强啊。）（X上一张有意思的图）根据Google官方对Gemma的介绍，它的基本信息如下：Gemma是Google开源的一个大型语言模型，而非像Gemini那样是多模态的，它基于与Gemini相同的技术构建，但完全公开并允许商用授权。Gemma模型有两个主要版本，分别是Gemma7B（70亿参数）和Gemma2B（20亿参数）。这些模型在大规模的数据集上进行了训练，数据集包含了以英语为主的网络文档、数学数据以及代码数据，总量达到了6万亿tokens。Gemma模型的特点包括：架构细节：Gemma模型具有不同的参数规模，Gemma-2B有18层，d_model为2048，而Gemma-7B有28层，d_model为3072。这些模型还具有不同的前馈隐藏维度、头数和KV头数，以及词汇量。新技术：Gemma采用了一些新技术，如Multi-QueryAttention、RoPEEmbeddings、GeGLU激活函数以及NormalizerLocation，这些技术有助于提高模型的性能。评测结果：Google官方宣称Gemma模型在70亿参数规模的语言模型中表现最佳，甚至超过了一些参数量更大的模型。开源情况：Gemma模型遵循一个自定义的开源协议，允许商业使用。发布完，JeffDean就对这个系列模型划了重点：Gemma-7B模型在涵盖通用语言理解、推理、数学和编程的8项基准测试中，性能超过了广泛使用的Llama-27B和13B模型。它在数学/科学和编程相关任务上，通常也超过了Mistral7B模型的性能。Gemma-2BIT和Gemma-7BIT这两个经过指令调整的模型版本，在基于人类偏好的安全评估中，都优于Mistral-7Bv0.2指令模型。特别是Gemma-7BIT模型在遵循指令方面也表现更佳。（有意思的是，在Google晒出的成绩对比中，阿里的千问背后的模型Qwen系列表现也很亮眼）我们也发布了一个负责任的生成性人工智能工具包（ResponsibleGenerativeAIToolkit），它为负责任地使用像Gemma模型这样的开放模型提供了资源，包括：关于设定安全政策、安全调整、安全分类器和模型评估的指导。学习可解释性工具（LearningInterpretabilityTool，简称LIT），用于调查Gemma的行为并解决潜在问题。一种构建具有最小样本量的强大安全分类器的方法论。我们发布了两个版本的模型权重：Gemma2B和Gemma7B。每个版本都提供了预训练和指令调整的变体。我们为所有主要框架提供了推理和监督式微调（SFT）的工具链：通过原生Keras3.0支持的JAX、PyTorch和TensorFlow。提供了即用型的Colab和Kaggle笔记本，以及与流行的工具如HuggingFace、MaxText、NVIDIANeMo和TensorRT-LLM的集成，使得开始使用Gemma变得简单。预训练和指令调整的Gemma模型可以在您的笔记本电脑、工作站或GoogleCloud上运行，并且可以轻松部署在VertexAI和GoogleKubernetesEngine（GKE）上。在多个AI硬件平台上的优化确保了行业领先的性能，包括NVIDIAGPU和GoogleCloudTPUs。使用条款允许所有规模的组织负责任地进行商业使用和分发。可以看到JeffDean和Google这次都十分强调开源模型的安全性和具体的实打实的配套设施和举措。这似乎也直至被诟病CloseAI且被外界质疑安全性保障的OpenAI。现在，憋坏了的Google正式四面开战了。未来它将用Gemma对抗Llama，用Gemini对抗GPT。无论是开源还是闭源，竞争越来越焦灼了。相关文章:Google发布了一对开源人工智能模型Gemma2B和7B适用于较小的任务...PC版：https://www.cnbeta.com.tw/articles/soft/1419839.htm手机版：https://m.cnbeta.com.tw/view/1419839.htm

ChatGPT投资行不行？桥水CIO：相当于“数百万个助理”同时工作

ChatGPT投资行不行？桥水CIO：相当于“数百万个助理”同时工作事实上，早在ChatGPT走红之前，Jensen就将人工智能视为桥水的主要兴趣所在。他此前还表示，该对冲基金目前正在尝试将机器学习人工智能应用于其交易策略。在最新发言中，Jensen表示，ChatGPT等机器人在桥水针对投资合伙人的内部测试中表现良好。ChatGPT3.5是人工智能大语言模型中最著名的版本，它的得分相当于该公司第一年助理的水平，在所有考生中处于第80个百分位。他说，虽然聊天机器人还不完美，但它的强劲表现反映了大量的智力，ChatGPT的能力等同于拥有一支投资团队。“因为突然之间，从技术上讲，你立刻就有了数百万人。如果你有能力通过严格的统计背景来控制他们的幻觉和错误，你可以快速地做大量的事情。这就是我们在实验室所做的，并证明这个过程是可行的。”他说。Jensen补充称，主要围绕ChatGPT的问题还是它会提供不准确信息的倾向，他称一些机器人的答案完全是“幻觉”。Jensen还称，人工智能机器人不太可能在短期内完全取代人类员工，尽管桥水正在研究一个主要由“机器学习技术”运营的基金。他表示，该公司正试图将ChatGPT与其他统计和人工智能模型结合起来，以提高其预测能力。“在可预见的未来，你仍然需要有人在你身边，做那些事情。”他说，“更需要灵活的通才，能够利用任何必要的工具来实现目标。”华尔街一直在关注ChatGPT作为潜在投资顾问的角色，尽管大多数专家认为，在它提供真正可靠的投资建议之前，还需要对语言模型做更多的工作。晨星投资管理公司（MorningstarInvestmentManagement）首席投资官此前表示，目前，机器人只能产生“一级”反应，无法将知识应用于具体情况。...PC版：https://www.cnbeta.com.tw/articles/soft/1369499.htm手机版：https://m.cnbeta.com.tw/view/1369499.htm