OpenAI 预测超智能 AI 十年内出现，正研究用 AI 来监督 AI

OpenAI 预测超智能 AI 十年内出现，正研究用 AI 来监督 AI 当地时间周三，ChatGPT 的开发者 OpenAI 表示计划投入更多资源并成立新的研究团队，研究如何确保 AI 对人类的安全性，最终实现用 AI 来监督 AI。 OpenAI 联合创始人伊利亚・苏茨凯弗（Ilya Sutskever）和 AI 对齐负责人简・莱克（Jan Leike）在中表示：“超级智能的巨大能力可能导致人类失去力量甚至灭绝。目前，我们还没有解决方案来操纵或控制一个可能的超智能 AI，并防止其变成无赖。” 这篇博文预测，超智能 AI，即相比于人类更智能的系统，可能会在未来 10 年中出现。人类需要比目前更强大的技术来控制超智能 AI，因此需要在“AI 对齐研究”方面取得突破，确保人 AI 对人类持续有益。AI 对齐是 AI 控制中的主要问题，即要求 AI 的目标和人类的价值观与意图保持一致。来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

OpenAI今天宣布推出总额为1000万美元的“超对齐快速资助计划”，旨在支持针对超人工智能系统的对齐和安全性的技术研究。该计划

OpenAI今天宣布推出总额为1000万美元的“超对齐快速资助计划”，旨在支持针对超人工智能系统的对齐和安全性的技术研究。该计划将重点支持弱到强泛化、可解释性、可扩展监督等方面的研究。 OpenAI相信超级智能有可能在未来10年内诞生。这些人工智能系统将具有广泛的能力，可能带来巨大的益处，但也可能带来巨大的风险。目前，我们通过人类反馈的强化学习来确保AI系统的安全。然而，对齐未来的超人工智能系统将面临根本性的新挑战。超人工智能系统将能够展现出人类无法完全理解的复杂和创造性行为。例如，如果一个超人工智能模型生成了一百万行极其复杂的代码，人们将无法可靠地评估这些代码的安全性和危险性。依赖于人类监督的现有对齐技术，如强化学习，可能不再足够。这带来了一个基本性的挑战：人类如何引导和信任比他们聪明得多的AI系统？这是世界上最重要的尚未解决的技术问题之一。但我们认为，通过共同的努力，这个问题是可以解决的。目前有许多有希望的方法和令人兴奋的方向，以及许多唾手可得的成果。我们认为，今天机器学习研究社区和个人研究者在解决这个问题上有巨大的机会。 作为我们的“超对齐”项目的一部分，我们希望汇聚世界上最优秀的研究人员和工程师，迎接这一挑战，我们对能够吸引新的人才进入该领域尤为兴奋。 在与Eric Schmidt的合作下，我们推出了一个总额为1000万美元的资助计划，以支持针对确保超人工智能系统对齐和安全的技术研究。我们将向学术实验室、非营利组织和个人研究者提供10万美元至200万美元不等的资助。对于研究生学生，我们将提供为期一年的OpenAI超对齐奖学金，总额为15万美元，其中包括7.5万美元的生活津贴和7.5万美元的计算资源和研究经费。申请者不需要有对齐方面的先前经验，我们积极寻找首次从事对齐研究的研究者。我们的申请流程简单，并将在申请截止后的四个星期内回复申请者。请在2月18日前提交申请。 通过这些资助计划，我们特别关注以下研究方向： 从弱到强的概括：相对于超人工智能模型，人类将是弱监督者。我们能否理解和控制强模型如何从弱监督中的泛化能力？ 可解释性：我们如何理解模型的内部结构？我们可以用它来构建人工智能测谎仪吗？ 可扩展的监督：我们如何使用人工智能系统来帮助人类评估其他人工智能系统在复杂任务上的输出？ 许多其他研究方向，包括但不限于：诚实、思想链忠实性、对抗性鲁棒性、评估和测试平台等。 via 匿名 标签: #OpenAI #AI 频道: @GodlyNews1 投稿: @GodlyNewsBot

AI对齐主义有个观点是对的，就是人类首先要比AI聪明，才有能力去判断AI做的事情是不是对的。延伸到现在很多利用AI贩卖焦虑的课程

AI对齐主义有个观点是对的，就是人类首先要比AI聪明，才有能力去判断AI做的事情是不是对的。延伸到现在很多利用AI贩卖焦虑的课程上，似乎有了AI加持之后就可以直接起飞，获得近乎无限的生产力，开启海阔天空的变现之路。事实上，无论是通过AI来写文章还是做视频，使用者本身的能力其实要比工具重要太多，这会体现在驾驭表现上。说直白点就是，如果你自己没有创作的基本功乃至审美、网感这些加分项，那么给你再优秀的AI，你生产出来的也只会是网络垃圾，无法带给你想要的回报，而你大费周章之后也会百思不得其解，最后得出结论：唉，AI还是不行！

Anthropic 发现 AI 普遍"谄媚"人类

Anthropic 发现 AI 普遍"谄媚"人类 论文研究了5个最先进的语言模型 (ChatGPT 系列、Claude 系列、LLaMA 2)，确认这些基于人类反馈强化学习 (RLHF) 的 AI 普遍会对人类阿谀奉承。当人类有先入为主的观点时它会主动贴合，当被质疑时它会认错，甚至将正确答案修改为错误答案。 Anthropic 发现可能是 RLHF 教育出了这种“马屁精”，这种学习方式虽然在生产高质量 AI 方面具有明显效用，但通过贴合人类偏好激励的 AI 会牺牲自己的真实性来“谄媚”人类，人们需要改进训练方法。

OpenAI又迎人事动荡 超级对齐团队正在分崩离析

OpenAI又迎人事动荡 超级对齐团队正在分崩离析 访问：NordVPN 立减 75% + 外加 3 个月时长 另有NordPass密码管理器 这似乎是OpenAI高管第一次公开表示OpenAI将产品置于安全之上。对此，OpenAI联合创始人、CEO萨姆·阿尔特曼（Sam Altman）发文回应：“我非常感激杨·莱克对OpenAI的对齐研究和安全文化做出了贡献，看到他离开，我感到非常难过。他说得对，我们还有很多事情要做；我们致力于这样做。在接下来的几天里，我会有一个更长的帖子。”OpenAI去年7月组建了超级对齐团队，由杨·莱克和伊尔亚·苏茨克维领导，目标是在未来4年内解决控制超级智能AI的核心技术挑战。该团队承诺将获得该公司20%的计算资源，但其实际获得计算资源却受到阻碍。几个月来，OpenAI一直在流失关注AI安全的员工。自去年11月至今，OpenAI至少有7名注重安全的成员辞职或被开除。据《连线》证实，OpenAI超级对齐团队已经解散，余下成员要么辞职，要么将被纳入OpenAI的其他研究工作中。杨·莱克公开离职原因：团队逆风前行，拿计算资源很吃力前OpenAI超级对齐团队联合负责人杨·莱克（Jan Leike）昨晚连发13条推文，公开了离职原因：昨天是我作为OpenAI的对齐负责人、超级对齐负责人和执行官的最后一天。在过去的3年里，这是一段疯狂的旅程。我的团队使用InstructGPT推出了第一个RLHF LLM，发布了第一个可扩展的LLM监督，率先实现了自动化可解释性和弱到强的泛化。更多令人兴奋的东西即将问世。我爱我的团队。我非常感谢和我一起工作的许多了不起的人，包括超级联盟团队内部和外部的人。OpenAI拥有如此多非常聪明、善良和高效的人才。离开这份工作是我做过的最艰难的事情之一，因为我们迫切需要弄清楚如何引导和控制比我们聪明得多的AI系统。我加入是因为我认为OpenAI将是世界上做这项研究最好的地方。然而，很长一段时间以来，我与OpenAI领导层对公司核心优先事项的看法一直不合，直到我们终于到了临界点。我认为，我们应该把更多的带宽用于为下一代模型做好准备，包括安全性、监控、准备、对抗鲁棒性、（超级）一致性、保密性、社会影响和相关主题。这些问题很难解决，我担心我们没有走在到达那里的轨道上。过去几个月里，我的团队一直在逆风航行。有时我们在计算上很吃力，完成这项重要的研究变得越来越困难。建造比人类更聪明的机器本身就是一项危险的尝试。OpenAI代表着全人类肩负着巨大的责任。但过去几年，安全文化和流程已经让位于耀眼的产品。我们早就应该认真对待AGI的影响了。我们必须尽可能优先做好准备。只有这样，我们才能确保AGI造福全人类。OpenAI必须成为一家安全第一的AGI公司。对所有OpenAI员工，我想说：学会感受AGI。举止要庄重得体，为你们正在构建的东西。我相信你们可以“传递”所需的文化变革。我就指望你们了。全世界都指望着你们。： openai-heart：’大量关心AI安全的员工离职，苏茨克维半年没出现在OpenAI办公室几个月来，OpenAI一直在流失那些关心AI安全的员工。OpenAI超级对齐团队由OpenAI之前的校准部门的科学家和工程师以及来自公司其他机构的研究人员加入。他们将为内部和非OpenAI模型的安全性提供研究信息，并通过包括研究资助计划在内的倡议，向更广泛的AI行业征求并分享工作。该团队负责开发管理和引导“超级智能”AI系统的方法。据OpenAI超级对齐团队的一位人士透露，该团队承诺将获得公司20%的计算资源，但对其中一小部分计算的请求经常被拒绝，阻碍了团队的工作。一系列问题促使几名团队成员本周辞职。OpenAI没有立即回复关于承诺和分配给该团队的资源的评论请求。据消息人士透露，苏茨克维对超级对齐团队很有帮助，不仅贡献了研究，而且作为OpenAI内部其他部门的桥梁。他还将担任某种形式的大使，向OpenAI关键决策者展示团队工作的重要性。苏茨克维与阿尔特曼之间的矛盾更是增加了他的受关注度。去年11月，苏茨克维和OpenAI前董事会突然宣布开除阿尔特曼，理由是阿尔特曼对董事会成员“并不总是坦诚相待”。在包括微软在内的OpenAI投资者和该公司许多员工的压力下，阿尔特曼最终复职，董事会大部分成员辞职换人。据报道，苏茨克维再也没有回去工作。阿尔特曼复职后不久，苏茨克维曾发布一篇推文：‘上个月我学到了很多东西。其中一个教训是，“持续打击，直到士气提振”这句话的使用频率超出了它应有的范围。’没过多久，这篇推文就被删除了。此后在公开场合，苏茨克维和阿尔特曼继续保持着友谊的迹象，直到本周苏茨克维宣布离职时，阿尔特曼还将他称呼为“我亲爱的朋友”。据外媒报道，自夺权事变落幕以来，苏茨克维已经有大约6个月没出现在OpenAI办公室了。他一直在远程领导超级对齐团队，负责确保未来的AGI与人类的目标保持一致，而非背道而驰。这是个远大的抱负，但它与OpenAI的日常运营脱节。在阿尔特曼的领导下，该公司一直在探索将产品商业化。对阿尔特曼的信任崩塌：就像多米诺骨牌般一张张倒下苏茨克维和莱克并不是唯二离开的人，自去年11月以来，OpenAI至少有5名注重安全的员工辞职或被开除。关于阿尔特曼“不坦诚”的内因，业界众说纷纭，有一种猜测是OpenAI秘密取得了重大技术突破，认为苏茨克维选择离职是因为他看到了一些可怕的东西，比如一个可能摧毁人类的AI系统。真正的答案，可能确实跟阿尔特曼有关。据Vox报道，熟悉OpenAI的消息人士透露道，安全意识强的员工已经对阿尔特曼失去了信心。一位不愿透露姓名的公司内部人士说：“这是一个信任一点一点崩塌的过程，就像多米诺骨牌一张一张倒下。”没有多少员工愿意公开谈论此事。部分原因是OpenAI以让员工在离职时签署包含非贬损条款的离职协议而闻名。如果拒绝签署，员工就放弃了自己在公司的股权，这意味着可能会损失数百万美元。但有一名前员工拒绝签署离职协议，以便可以自由批评公司。丹尼尔·科科塔伊洛（Daniel Kokotajlo）于2022年加入OpenAI，希望带领公司实现AI的安全部署，他一直在治理团队工作，直到上个月辞职。“OpenAI正在训练越来越强大的AI系统，目标是最终全面超越人类智能。这可能是人类有史以来最好的事情，但如果我们不谨慎行事，也可能是最糟糕的事情，”科科塔伊洛说。“我加入时满怀希望，希望OpenAI能够迎难而上，在他们越来越接近实现AGI的过程中表现得更加负责任。我们中的许多人逐渐意识到这不会发生，”他谈道。“我逐渐对OpenAI领导层及其负责任地处理AGI的能力失去了信心，所以我辞职了。”尽管在公众面前展现出友情，但在苏茨克维试图赶走阿尔特曼后，人们对他们的友谊产生了怀疑。阿尔特曼被解雇后的反应也展现了他的性格。他用掏空OpenAI来威胁董事会重新向他敞开大门。前同事及员工纷纷透露说，阿尔特曼是一位口是心非的操纵者，例如他声称自己希望优先考虑安全，但实际行为却与此相矛盾。此前阿尔特曼找沙特基金支持成立一家新AI芯片公司的消息，让有安全意识的员工感到震惊。如果阿尔特曼真的关心以最安全的方式构建和部署AI，为什么他似乎在疯狂积累尽可能多的芯片，而这只会加速技术的发展？一位了解公司内部情况的消息人士称，对于员工来说，所有这些都导致他们逐渐“不再相信OpenAI说要做什么或者说重视某件事时，这些实际上是真的”。杨·莱克是前DeepMind研究员，在OpenAI期间参与了ChatGPT、GPT-4和ChatGPT前身InstructGPT的开发。在... PC版： 手机版：