OpenAI以泄密为由解雇两名研究人员 包括首席科学家盟友

OpenAI以泄密为由解雇两名研究人员 包括首席科学家盟友 阿申布伦纳曾是致力于确保人工智能社会安全的核心团队成员，也是OpenAI首席科学家伊利亚·苏茨凯弗（Ilya Sutskever）的盟友。去年秋天，苏茨凯弗曾参与推动首席执行官萨姆·奥特曼（Sam Altman）下台的行动，尽管最终未成功。而伊兹梅洛夫则是一名专注于推理研究的专家，也曾在安全团队中工作。目前尚不清楚这两名员工具体泄露了什么信息。但此次解雇标志着自奥特曼今年3月重返董事会以来，OpenAI人员变动的消息首次公开出现。此前，OpenAI的非营利性董事会曾就奥特曼去年11月被短暂解雇的风波进行了深入调查，并确认他没有不当行为。OpenAI近期通过出售员工股票实现了高达860亿美元的估值，并正在与谷歌、Anthropic等业界巨头激烈竞争，开发支持ChatGPT等前沿产品的下一代基础模型。值得一提的是，阿申布伦纳是OpenAI内部所谓超级对齐（Superalignment）团队的成员，该团队由苏茨凯弗于去年夏天组建，旨在开发控制和操纵先进人工智能（即所谓的超级智能）的技术，探索如何利用这种智能解决核聚变、星际殖民等人类面临的重大挑战。在阿申布伦纳和伊兹梅洛夫被解雇之前，OpenAI的员工就如何安全地开发人工智能存在明显的分歧。阿申布伦纳与有效利他主义运动有紧密联系，该运动强调优先解决人工智能可能带来的潜在风险，而不仅仅是追求短期利益或生产力的提升。苏茨凯弗作为OpenAI最大技术突破的功臣之一，曾在解雇奥特曼的原董事会中任职，并批评奥特曼沟通不够坦诚。然而，奥特曼重新掌舵后，苏茨凯弗退出了董事会，并在公开场合鲜少露面。阿申布伦纳是一位才华横溢的研究者，19岁便从哥伦比亚大学毕业。他曾在未来基金（Future Fund）工作，这是由著名加密货币交易所创始人山姆·班克曼-弗里德（Sam Bankman-Fried）创立的慈善基金，专注于资助能“改善人类长期前景”的创新项目。阿申布伦纳一年前加入了OpenAI。对于此次解雇事件及相关的置评请求，阿申布伦纳、伊兹梅洛夫以及苏茨凯弗的代理律师亚历克斯·温加滕（Alex Weingarten）均未作出回应。另外，值得注意的是，解雇奥特曼的一些原董事会成员与有效利他主义运动有着千丝万缕的联系。例如，塔莎·麦考利（Tasha McCauley）是Effective Ventures董事会的成员，而EffectiveVentures正是有效利他主义中心的母公司。海伦·托纳（Helen Toner）曾在专注于有效利他主义的开放慈善项目中担任重要职务。在奥特曼去年底重新担任首席执行官后，这两位也都离开了OpenAI的董事会。 ... PC版： 手机版：

OpenAI 探索用 GPT-2 小模型监督 GPT-4 大模型，防止 AI 毁灭人类

OpenAI 探索用 GPT-2 小模型监督 GPT-4 大模型，防止 AI 毁灭人类 Ilya 领衔的 OpenAI 对齐团队，发表了 用类似 GPT-2 监督 GPT-4 的方法，或可帮人类搞定自己更聪明的超级 AI！ 团队声称，已经发现了对超人类模型进行实证对齐的新研究方向。未来超级 AI 系统对齐的一个核心挑战 人类需要监督比自己更聪明人工智能系统。 来源， 频道：@kejiqu 群组：@kejiquchat

Google加入开源战局 低配版Gemma相当于OpenAI把GPT-3开源了

Google加入开源战局 低配版Gemma相当于OpenAI把GPT-3开源了 怎么理解这个动作的重要性呢？你可以粗暴的理解为：这有点像现在正在训练更强大的GPT-5的OpenAI，把GPT3的低参数版给开源了。（前几天Sam Altman被问过这个问题，你们是否会在未来把GPT3开源，他没有直接回答。现在看来Google针对性很强啊。）（X上一张有意思的图）根据Google官方对Gemma的介绍，它的基本信息如下：Gemma是Google开源的一个大型语言模型，而非像Gemini那样是多模态的，它基于与Gemini相同的技术构建，但完全公开并允许商用授权。Gemma模型有两个主要版本，分别是Gemma 7B（70亿参数）和Gemma 2B（20亿参数）。这些模型在大规模的数据集上进行了训练，数据集包含了以英语为主的网络文档、数学数据以及代码数据，总量达到了6万亿tokens。Gemma模型的特点包括：架构细节：Gemma模型具有不同的参数规模，Gemma-2B有18层，d_model为2048，而Gemma-7B有28层，d_model为3072。这些模型还具有不同的前馈隐藏维度、头数和KV头数，以及词汇量。新技术：Gemma采用了一些新技术，如Multi-Query Attention、RoPE Embeddings、GeGLU激活函数以及Normalizer Location，这些技术有助于提高模型的性能。评测结果：Google官方宣称Gemma模型在70亿参数规模的语言模型中表现最佳，甚至超过了一些参数量更大的模型。开源情况：Gemma模型遵循一个自定义的开源协议，允许商业使用。发布完，Jeff Dean就对这个系列模型划了重点：Gemma-7B模型在涵盖通用语言理解、推理、数学和编程的8项基准测试中，性能超过了广泛使用的Llama-2 7B和13B模型。它在数学/科学和编程相关任务上，通常也超过了Mistral 7B模型的性能。Gemma-2B IT和Gemma-7B IT这两个经过指令调整的模型版本，在基于人类偏好的安全评估中，都优于Mistral-7B v0.2指令模型。特别是Gemma-7B IT模型在遵循指令方面也表现更佳。（有意思的是，在Google晒出的成绩对比中，阿里的千问背后的模型Qwen系列表现也很亮眼）我们也发布了一个负责任的生成性人工智能工具包（Responsible Generative AI Toolkit），它为负责任地使用像Gemma模型这样的开放模型提供了资源，包括：关于设定安全政策、安全调整、安全分类器和模型评估的指导。学习可解释性工具（Learning Interpretability Tool，简称LIT），用于调查Gemma的行为并解决潜在问题。一种构建具有最小样本量的强大安全分类器的方法论。我们发布了两个版本的模型权重：Gemma 2B和Gemma 7B。每个版本都提供了预训练和指令调整的变体。我们为所有主要框架提供了推理和监督式微调（SFT）的工具链：通过原生Keras 3.0支持的JAX、PyTorch和TensorFlow。提供了即用型的Colab和Kaggle笔记本，以及与流行的工具如Hugging Face、MaxText、NVIDIA NeMo和TensorRT-LLM的集成，使得开始使用Gemma变得简单。预训练和指令调整的Gemma模型可以在您的笔记本电脑、工作站或Google Cloud上运行，并且可以轻松部署在Vertex AI和Google Kubernetes Engine（GKE）上。在多个AI硬件平台上的优化确保了行业领先的性能，包括NVIDIA GPU和Google Cloud TPUs。使用条款允许所有规模的组织负责任地进行商业使用和分发。可以看到Jeff Dean和Google这次都十分强调开源模型的安全性和具体的实打实的配套设施和举措。这似乎也直至被诟病Close AI且被外界质疑安全性保障的OpenAI。现在，憋坏了的Google正式四面开战了。未来它将用Gemma对抗Llama，用Gemini对抗GPT。无论是开源还是闭源，竞争越来越焦灼了。相关文章:Google发布了一对开源人工智能模型Gemma 2B和7B 适用于较小的任务 ... PC版： 手机版：

OpenAI 预测超智能 AI 十年内出现，正研究用 AI 来监督 AI

OpenAI 预测超智能 AI 十年内出现，正研究用 AI 来监督 AI 当地时间周三，ChatGPT 的开发者 OpenAI 表示计划投入更多资源并成立新的研究团队，研究如何确保 AI 对人类的安全性，最终实现用 AI 来监督 AI。 OpenAI 联合创始人伊利亚・苏茨凯弗（Ilya Sutskever）和 AI 对齐负责人简・莱克（Jan Leike）在中表示：“超级智能的巨大能力可能导致人类失去力量甚至灭绝。目前，我们还没有解决方案来操纵或控制一个可能的超智能 AI，并防止其变成无赖。” 这篇博文预测，超智能 AI，即相比于人类更智能的系统，可能会在未来 10 年中出现。人类需要比目前更强大的技术来控制超智能 AI，因此需要在“AI 对齐研究”方面取得突破，确保人 AI 对人类持续有益。AI 对齐是 AI 控制中的主要问题，即要求 AI 的目标和人类的价值观与意图保持一致。来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

OpenAI强势推出GPT-4o 　　具实时语音、文本、图像交互能力

OpenAI强势推出GPT-4o 　　具实时语音、文本、图像交互能力 OpenAI周一发布了一个性能更高、更接近人类的人工智能（AI）技术版本，该技术支持其备受欢迎的AI生成工具ChatGPT，并向所有用户免费开放。

让GPT-4帮人类训练GPT-4！OpenAI推出新模型CriticGPT

让GPT-4帮人类训练GPT-4！OpenAI推出新模型CriticGPT 美东时间6月27日周四，OpenAI公布，其研究人员训练了一个基于 GPT-4 的模型，它被称为 CriticGPT，用于捕捉ChatGPT 代码输出中的错误。简单来说就是，CriticGPT让人能用 GPT-4 查找 GPT-4 的错误。它可以写出使用者对ChatGPT响应结果的批评评论，从而帮助人类训练者在RLHF期间发现错误。OpenAI发现，如果通过CriticGPT获得帮助审查 ChatGPT编写的代码，人类训练师的审查效果比没有获得帮助的人强60%。OpenAI称，正着手将类似 CriticGPT 的模型集成到旗下 RLHF 标记管道中，为自己的训练师提供明确的AI帮助。OpenAI称，因为没有更好的工具，所以人们目前难以评估高级的AI系统的表现。而CriticGPT意味着，OpenAI向能够评估高级AI系统输出的目标迈进了一步。，OpenAI举了一个例子，如下图所示，对ChatGPT提出一个用 Python 编写指定函数的任务，对于ChatGPT根据要求提供的代码，CriticGPT点评了其中一条指令，提议换成效果更好的。OpenAI称，CriticGPT 的建议并不是全都正确无误，但OpenAI的人员发现，相比没有这种AI的帮助，有了它，训练师可以发现更多模型编写答案的问题。此外，当人们使用CriticGPT 时，这种AI模型会增强他们的技能，从而得出的批评结论比单单人类训练师做的更全面，并且比AI模型单独工作时产生的幻觉错误更少。在OpenAI的实验中，在60%以上的时间里，随机选择的训练师都更喜欢来自人类与CriticGPT 合作的批评结论，而不是来自没有CriticGPT协助的人类训练师批评。OpenAI同时提到了目前开发CriticGPT的四点局限。其中之一是，OpenAI用 ChatGPT 的简短答案训练CriticGPT，因此未来需要发掘能帮助训练师理解冗长且复杂任务的方法。第二点是，模型仍然会产生幻觉，有时训练师在看到这些幻觉后会犯下标记错误。第三点是，有时现实世界中的错误可能分散在答案的许多部分之中，OpenAI目前的工作重点是让模型指出一处的错误，未来还需要解决分散在不同位置的错误。第四点，OpenAI指出，CriticGPT 只能提供有限的帮助：如果ChatGPT面对的任务或响应极其复杂，即使是有模型帮助的专家也可能无法正确评估。最后，OpenAI表示，为了协调日益复杂的 AI 系统，人们需要更好的工具。在对 CriticGPT 的研究中，OpenAI发现，将 RLHF 应用于 GPT-4 有望帮助人类为 GPT-4 生成更好的 RLHF 数据。OpenAI计划，进一步扩大这项工作，并将其付诸实践。OpenAI在原名Twitter的社交媒体X上公布了新模型CriticGPT后，一条点赞超1万的网友评论称，自我改进已经开始了。另一条点赞上万的热截取了OpenAI的相关研究文章结论，其中提到，在智能方面，大语言模型（LLM）和LLM的批评都只会继续改进，而人类的智能不会，这条评论感叹，真是悲观。还有网友引用了漫威超级英雄电影《复仇者联盟》中灭霸的一句台词，点评OpenAI所说的用GPT-4找GPT-4的错误：“我用宝石摧毁了宝石。” ... PC版： 手机版：