Open AI 最近被喷麻了，总算开源了点东西出来，Transformer Debugger 一个用于分析Transformer

Open AI 最近被喷麻了，总算开源了点东西出来，Transformer Debugger 一个用于分析Transformer内部结构的工具。 这个系统融合了自动解释功能和稀疏自动编码技术（Sparse Autoencoders），使得用户在无需编写代码的情况下就能快速探索和理解各种模型。 它能够同时处理神经网络中的神经元和关注焦点（Attention Heads）。使用这个系统，你可以在模型的前向传播过程中进行干预，比如移除某个特定的神经元，然后观察这样的操作会对结果产生怎样的影响。 简单来说，它提供了一种快速而简便的方法，让我们能够手动地去发现和理解神经网络中的“电路”这里的“电路”是指神经网络中特定的功能组件和它们之间的联系。 项目地址：

北京大学Yuangroup团队发起了一个 Open-Sora计划，旨在复现OpenAI 的Sora模型。

北京大学Yuangroup团队发起了一个 Open-Sora计划，旨在复现OpenAI 的Sora模型。 通过视频VQ-VAE、Denoising Diffusion Transformer和条件编码器等技术组件，来实现Sora模型的功能。 它由以下组成部分组成。 1. Video VQ-VAE. 2. Denoising Diffusion Transformer. 3. Condition Encoder.

Google加入开源战局 低配版Gemma相当于OpenAI把GPT-3开源了

Google加入开源战局 低配版Gemma相当于OpenAI把GPT-3开源了 怎么理解这个动作的重要性呢？你可以粗暴的理解为：这有点像现在正在训练更强大的GPT-5的OpenAI，把GPT3的低参数版给开源了。（前几天Sam Altman被问过这个问题，你们是否会在未来把GPT3开源，他没有直接回答。现在看来Google针对性很强啊。）（X上一张有意思的图）根据Google官方对Gemma的介绍，它的基本信息如下：Gemma是Google开源的一个大型语言模型，而非像Gemini那样是多模态的，它基于与Gemini相同的技术构建，但完全公开并允许商用授权。Gemma模型有两个主要版本，分别是Gemma 7B（70亿参数）和Gemma 2B（20亿参数）。这些模型在大规模的数据集上进行了训练，数据集包含了以英语为主的网络文档、数学数据以及代码数据，总量达到了6万亿tokens。Gemma模型的特点包括：架构细节：Gemma模型具有不同的参数规模，Gemma-2B有18层，d_model为2048，而Gemma-7B有28层，d_model为3072。这些模型还具有不同的前馈隐藏维度、头数和KV头数，以及词汇量。新技术：Gemma采用了一些新技术，如Multi-Query Attention、RoPE Embeddings、GeGLU激活函数以及Normalizer Location，这些技术有助于提高模型的性能。评测结果：Google官方宣称Gemma模型在70亿参数规模的语言模型中表现最佳，甚至超过了一些参数量更大的模型。开源情况：Gemma模型遵循一个自定义的开源协议，允许商业使用。发布完，Jeff Dean就对这个系列模型划了重点：Gemma-7B模型在涵盖通用语言理解、推理、数学和编程的8项基准测试中，性能超过了广泛使用的Llama-2 7B和13B模型。它在数学/科学和编程相关任务上，通常也超过了Mistral 7B模型的性能。Gemma-2B IT和Gemma-7B IT这两个经过指令调整的模型版本，在基于人类偏好的安全评估中，都优于Mistral-7B v0.2指令模型。特别是Gemma-7B IT模型在遵循指令方面也表现更佳。（有意思的是，在Google晒出的成绩对比中，阿里的千问背后的模型Qwen系列表现也很亮眼）我们也发布了一个负责任的生成性人工智能工具包（Responsible Generative AI Toolkit），它为负责任地使用像Gemma模型这样的开放模型提供了资源，包括：关于设定安全政策、安全调整、安全分类器和模型评估的指导。学习可解释性工具（Learning Interpretability Tool，简称LIT），用于调查Gemma的行为并解决潜在问题。一种构建具有最小样本量的强大安全分类器的方法论。我们发布了两个版本的模型权重：Gemma 2B和Gemma 7B。每个版本都提供了预训练和指令调整的变体。我们为所有主要框架提供了推理和监督式微调（SFT）的工具链：通过原生Keras 3.0支持的JAX、PyTorch和TensorFlow。提供了即用型的Colab和Kaggle笔记本，以及与流行的工具如Hugging Face、MaxText、NVIDIA NeMo和TensorRT-LLM的集成，使得开始使用Gemma变得简单。预训练和指令调整的Gemma模型可以在您的笔记本电脑、工作站或Google Cloud上运行，并且可以轻松部署在Vertex AI和Google Kubernetes Engine（GKE）上。在多个AI硬件平台上的优化确保了行业领先的性能，包括NVIDIA GPU和Google Cloud TPUs。使用条款允许所有规模的组织负责任地进行商业使用和分发。可以看到Jeff Dean和Google这次都十分强调开源模型的安全性和具体的实打实的配套设施和举措。这似乎也直至被诟病Close AI且被外界质疑安全性保障的OpenAI。现在，憋坏了的Google正式四面开战了。未来它将用Gemma对抗Llama，用Gemini对抗GPT。无论是开源还是闭源，竞争越来越焦灼了。相关文章:Google发布了一对开源人工智能模型Gemma 2B和7B 适用于较小的任务 ... PC版： 手机版：

OpenAI 即将发布一款全新的开源大型语言模型

OpenAI 即将发布一款全新的开源大型语言模型 The Information 引用了一位了解该计划的人士的话说，OpenAI 正面临着来自开源AI模型的激烈竞争，例如 Meta 的 LLaMA 与它的衍生模型，OpenAI 目前正准备向公众发布一款全新的开源语言模型。报告还称，OpenAI 不太可能发布与 GPT-4 和 GPT-3.5 竞争的模型。

马斯克、OpenAI决裂背后，大模型应该开源还是闭源？

马斯克、OpenAI决裂背后，大模型应该开源还是闭源？ 此次纠纷的焦点之一是马斯克对OpenAI的开源要求。而这背后所折射出的也是AI浪潮下科学界的长期争论话题到底应该开源还是闭源？纽约大学坦登工程学院计算机科学与工程系副教授Julian Togelius在接受《每日经济新闻》记者采访时表示，开源是大势所趋。“开源对于防止权力集中很重要。到目前为止，每个大型模型都在某种程度上是‘可越狱的’。”马萨诸塞大学洛厄尔分校计算机科学教授Jie Wang则对每经记者表示，“未来各主要参与者都会将其大模型的某些部分开源，但绝对不是最重要的部分，例如用于训练其大语言模型和预训练模型权重的完整数据集。这或多或少类似于Meta开源LLaMA的方式。”AI巨头的决裂2月29日，马斯克在旧金山法院对OpenAI及公司CEO阿尔特曼和总裁布罗克曼提起诉讼，震惊全球科技圈。在马斯克的起诉书中，他斥责OpenAI违背“初心”，要求OpenAI恢复开源并给予赔偿。3月5日，OpenAI曝光了马斯克与他们的大量往来邮件，称马斯克提议 OpenAI 与特斯拉合并或由他完全控制，但双方未能就盈利性实体的条款达成一致。3月6日，马斯克在Twitter上回复，“如何OpenAI改名为ClosedAI，我就撤销诉讼。”图片来源：每经制图9年前，正是在AI上志同道合，马斯克和阿尔特曼等人携手创办了非营利性AI研究实验室“OpenAI”来对抗以Google为代表的科技巨头。而如今，马斯克与阿尔特曼及其所在的OpenAI彻底决裂，双方旧日坚持的“初心”成为矛盾焦点。在OpenAI的官网主页上写着，“我们的使命是确保通用人工智能（AGI）造福全人类。”最初，OpenAI的确作为一个非营利组织坚持着这样的路线。而自GPT-2后，OpenAI采取了闭源策略，公司出售大模型API访问权限，但不再发布有关其训练数据和模型架构的详细信息。2019年，阿尔特曼还组建了一个由OpenAI非营利组织管理的营利性实体，以便从微软等外部投资者那里筹集资金。对此，OpenAI在5日发文时曾解释，这是因为“开发 AGI 所需的资源远超过最初预期”。随着OpenAI核心技术不再开源，且与微软的关系越来越密切时，马斯克的不满可想而知。马斯克在起诉书中批评称：“OpenAI已经变成了全球最大技术公司微软事实上的闭源子公司。在其新董事会的领导下，OpenAI不仅在开发，而且实际上正在完善一种AGI，以最大化微软的利润，而不是造福人类。”背后是开源闭源路线之争在双方的争端中，一个值得关注的点是，马斯克要求OpenAI恢复开源。这折射出的也是AI浪潮下的一个争议性话题到底应该开源还是闭源？在开源闭源之争上，马斯克坚定地选择了前者。《每日经济新闻》记者注意到，马斯克旗下特斯拉的核心技术就已经在全球范围内开源。根据新加坡咨询公司GreyB的统计，截至2023年末，全球范围内特斯拉共拥有专利3304项（不包含审批中专利），其中有2397项仍然有效。据媒体统计，刨除重复的情况，特斯拉共有222项开放专利。从技术类别上看，特斯拉开放的专利属于比较核心的专利。图片来源：GreyB网站马斯克旗下另一家公司SpaceX也曾公开猛禽发动机图纸。在去年12月接受外媒采访时，马斯克曾透露，“SpaceX不使用（独占）专利，完全开放。”而将视角放大到整个科技界，开源还是闭源也是一直争论不休的话题。2023年10月31日，“开源派”曾签署了一份呼吁AI研发更加开放的联名信，截至发稿，1821名专家都签下了名字。图片来源：mozilla官网“开源对于防止权力集中很重要，我们不希望未来只有少数财力雄厚的科技公司才能控制前沿模型。” 纽约大学坦登工程学院计算机科学与工程系副教授Julian Togelius在接受《每日经济新闻》记者采访时表示。“到目前为止，每个大型模型都在某种程度上是‘可越狱的’。（开源让）我们了解其弱点，才能知道如何更好地部署模型。”（注：“越狱”指的是通过提示注入技术修改模型的行为。）马萨诸塞大学洛厄尔分校计算机科学教授Jie Wang也对每经记者称，“开源代码可以提高透明度并有助于推进技术，世界各地的相关方可以帮助识别开发团队未能发现的代码中的潜在陷阱，并提供更正。这有助于降低代码可能执行有害操作的风险。”不过，他也指出，开源并不是解决所有安全问题的灵丹妙药。而反对开源的一派认为，开源AI会被不良行为者操纵。去年10月20日，来自麻省理工学院和剑桥大学的科学家们发表了一篇论文，他们通过实验研究了持续模型权重的扩散是否会帮助恶意者利用更强大的未来模型来造成大规模伤害，结果发现，开源大模型的确可能存在风险。Jie Wang对记者表示，“不同的态度取决于不同的身份。学术研究人员希望AI技术是开源的，以便可以评估和修改代码。另一方面，企业家可能为了保护投资和业务，而不愿意开放源代码。”科技巨头与AI新贵在开源或闭源的问题上也采取了不同的路线。前者最近在互联网上免费提供了其生成式AI的代码，例如，目前开源大模型被Meta的Llama主导，许多开源模型都是基于Llama而开发；后者如OpenAI和Anthropic则出售专有AI模型的API访问权限，但不共享代码。OpenAI和Anthropic高管认为，政府应该监管最强大的AI模型，这样坏人就不能轻易利用它们。今年1月，Anthropic 公司研究人员还发表论文警告称，AI中毒可能导致开源大模型变成潜伏的间谍。图片来源：arxiv.org但在去年9月的美国参议院人工智能洞察论坛上，Meta首席执行官马克·扎克伯格等人却认为，开源模式对美国保持竞争力至关重要，科技行业可以解决对开源模式安全的担忧。若实现AGI，是否需要开源？“开源是大势所趋，我认为Meta正在引领这一趋势，其次是Mistral AI、HuggingFace等规模较小的公司。” Julian Togelius告诉《每日经济新闻》记者。尽管Mistral AI最初推出了开源模型，随着规模的扩大，其作风似乎越来越像OpenAI靠近，采取了闭源路线。对此，Togelius表示，“他们需要以某种方式赚钱，但目前还不清楚如何在这个领域最好地赚钱，但Mistral AI比 OpenAI 几乎不开源的情况要好得多。”而大型科技巨头Google近日的动作似乎也是对Togelius言论的验证。今年2月，Google罕见地改变了去年坚持的大模型闭源策略，推出了“开源”大模型Gemma。有报道认为，Gemma代表Google大模型策略的转变兼顾开源和闭源，开源主打性能最强大的小规模模型，希望战胜Meta和Mistral AI；闭源则主打规模大的效果最好的大模型，希望尽快追上OpenAI。去年5月，一份Google的内部文件曾在网上激起千层浪。文件认为，开源大模型迅猛发展，正在侵蚀OpenAI和Google的阵地。除非改变闭源的立场，否则开源替代品将最终使这两家公司黯然失色。“虽然我们的模型在质量方面仍略占优势，但（闭源和开源模型）的差距正在以惊人的速度缩小。”文件写道。“这（指的是Google的新举措）对研究和开发人员来说的确是个好消息。”Jie Wang对每经记者说道。“不过我怀疑Google是否会将一切开源。我认为未来各个主要参与者都会将其大模型的某些部分开源，以便研究人员和开发人员了解模型的架构和训练过程，但从业务角度来看绝对不是最重要的部分，例如用于训练其 LLM 和预训练模型权重的完整数据集。这或多或少类似于Meta开源LLaMA的方式。”而在对OpenAI的起诉书中，马斯克还提到了对AGI（通用人工智能）的担忧。当被问及若达到AGI，是否需要开源时，Julian Togelius表示，“我不认为AGI是一个定义特别明确或有用的概念。如果你 5 年前向某人展示 Claude 3 或... PC版： 手机版：

：用开源模型提供类似OpenAI的用户界面，建立在LangChain、LangServe和LangSmith之上，利用这些工具可

：用开源模型提供类似OpenAI的用户界面，建立在LangChain、LangServe和LangSmith之上，利用这些工具可以选择超过60种不同的语言模型，自定义输入提示来调试模型，添加超过100种工具来扩展模型功能，使用OpenGPTs相比直接调用OpenAI API，最大的优势在于可以更好地自定义体验：选择不同的语言模型、定义自己的工具、编辑模型配置等