此前，OpenAI 解散了致力于解决长期 AI 风险的专门团队（称为“超级对齐团队”）

此前，OpenAI 解散了致力于解决长期 AI 风险的专门团队（称为“超级对齐团队”） Jan Leike，OpenAI 的一位关键研究员，在联合创始人Ilya Sutskever 离职后于本周早些时候辞职。他在周五早上在 X 上发帖称，该公司“安全文化和流程已被华而不实的产品所取代”。 Leike的声明是在《》杂志报道 OpenAI 解散了致力于解决长期 AI 风险的专门团队（称为“超级对齐团队”）之后发表的。Leike曾负责这个超级对齐团队，该团队成立于去年七月，目的是“解决在 OpenAI 开发具有类人推理能力的 AI 时实施安全协议中的核心技术挑战”。 “我们早就应该非常认真地考虑人工通用智能的影响了。我们必须尽我们所能优先准备，”莱克在周五早上关于他辞职的后续帖子中说。“只有这样，我们才能确保人工通用智能惠及全人类。” Leike 的帖子突显了 OpenAI 内部日益增长的紧张氛围。在研究人员争相开发人工通用智能的同时，还要管理像 ChatGPT 和 DALL-E 这样的消费级 AI 产品，像Leike这样的员工则在提出对创造超级智能 AI 模型潜在危险的担忧。Leike表示，他的团队被降低了优先级，无法获得执行“关键”工作所需的计算和其他资源。 标签: #OpenAI 频道: @GodlyNews1 投稿: @GodlyNewsBot

OpenAI又迎人事动荡 超级对齐团队正在分崩离析

OpenAI又迎人事动荡 超级对齐团队正在分崩离析 访问：NordVPN 立减 75% + 外加 3 个月时长 另有NordPass密码管理器 这似乎是OpenAI高管第一次公开表示OpenAI将产品置于安全之上。对此，OpenAI联合创始人、CEO萨姆·阿尔特曼（Sam Altman）发文回应：“我非常感激杨·莱克对OpenAI的对齐研究和安全文化做出了贡献，看到他离开，我感到非常难过。他说得对，我们还有很多事情要做；我们致力于这样做。在接下来的几天里，我会有一个更长的帖子。”OpenAI去年7月组建了超级对齐团队，由杨·莱克和伊尔亚·苏茨克维领导，目标是在未来4年内解决控制超级智能AI的核心技术挑战。该团队承诺将获得该公司20%的计算资源，但其实际获得计算资源却受到阻碍。几个月来，OpenAI一直在流失关注AI安全的员工。自去年11月至今，OpenAI至少有7名注重安全的成员辞职或被开除。据《连线》证实，OpenAI超级对齐团队已经解散，余下成员要么辞职，要么将被纳入OpenAI的其他研究工作中。杨·莱克公开离职原因：团队逆风前行，拿计算资源很吃力前OpenAI超级对齐团队联合负责人杨·莱克（Jan Leike）昨晚连发13条推文，公开了离职原因：昨天是我作为OpenAI的对齐负责人、超级对齐负责人和执行官的最后一天。在过去的3年里，这是一段疯狂的旅程。我的团队使用InstructGPT推出了第一个RLHF LLM，发布了第一个可扩展的LLM监督，率先实现了自动化可解释性和弱到强的泛化。更多令人兴奋的东西即将问世。我爱我的团队。我非常感谢和我一起工作的许多了不起的人，包括超级联盟团队内部和外部的人。OpenAI拥有如此多非常聪明、善良和高效的人才。离开这份工作是我做过的最艰难的事情之一，因为我们迫切需要弄清楚如何引导和控制比我们聪明得多的AI系统。我加入是因为我认为OpenAI将是世界上做这项研究最好的地方。然而，很长一段时间以来，我与OpenAI领导层对公司核心优先事项的看法一直不合，直到我们终于到了临界点。我认为，我们应该把更多的带宽用于为下一代模型做好准备，包括安全性、监控、准备、对抗鲁棒性、（超级）一致性、保密性、社会影响和相关主题。这些问题很难解决，我担心我们没有走在到达那里的轨道上。过去几个月里，我的团队一直在逆风航行。有时我们在计算上很吃力，完成这项重要的研究变得越来越困难。建造比人类更聪明的机器本身就是一项危险的尝试。OpenAI代表着全人类肩负着巨大的责任。但过去几年，安全文化和流程已经让位于耀眼的产品。我们早就应该认真对待AGI的影响了。我们必须尽可能优先做好准备。只有这样，我们才能确保AGI造福全人类。OpenAI必须成为一家安全第一的AGI公司。对所有OpenAI员工，我想说：学会感受AGI。举止要庄重得体，为你们正在构建的东西。我相信你们可以“传递”所需的文化变革。我就指望你们了。全世界都指望着你们。： openai-heart：’大量关心AI安全的员工离职，苏茨克维半年没出现在OpenAI办公室几个月来，OpenAI一直在流失那些关心AI安全的员工。OpenAI超级对齐团队由OpenAI之前的校准部门的科学家和工程师以及来自公司其他机构的研究人员加入。他们将为内部和非OpenAI模型的安全性提供研究信息，并通过包括研究资助计划在内的倡议，向更广泛的AI行业征求并分享工作。该团队负责开发管理和引导“超级智能”AI系统的方法。据OpenAI超级对齐团队的一位人士透露，该团队承诺将获得公司20%的计算资源，但对其中一小部分计算的请求经常被拒绝，阻碍了团队的工作。一系列问题促使几名团队成员本周辞职。OpenAI没有立即回复关于承诺和分配给该团队的资源的评论请求。据消息人士透露，苏茨克维对超级对齐团队很有帮助，不仅贡献了研究，而且作为OpenAI内部其他部门的桥梁。他还将担任某种形式的大使，向OpenAI关键决策者展示团队工作的重要性。苏茨克维与阿尔特曼之间的矛盾更是增加了他的受关注度。去年11月，苏茨克维和OpenAI前董事会突然宣布开除阿尔特曼，理由是阿尔特曼对董事会成员“并不总是坦诚相待”。在包括微软在内的OpenAI投资者和该公司许多员工的压力下，阿尔特曼最终复职，董事会大部分成员辞职换人。据报道，苏茨克维再也没有回去工作。阿尔特曼复职后不久，苏茨克维曾发布一篇推文：‘上个月我学到了很多东西。其中一个教训是，“持续打击，直到士气提振”这句话的使用频率超出了它应有的范围。’没过多久，这篇推文就被删除了。此后在公开场合，苏茨克维和阿尔特曼继续保持着友谊的迹象，直到本周苏茨克维宣布离职时，阿尔特曼还将他称呼为“我亲爱的朋友”。据外媒报道，自夺权事变落幕以来，苏茨克维已经有大约6个月没出现在OpenAI办公室了。他一直在远程领导超级对齐团队，负责确保未来的AGI与人类的目标保持一致，而非背道而驰。这是个远大的抱负，但它与OpenAI的日常运营脱节。在阿尔特曼的领导下，该公司一直在探索将产品商业化。对阿尔特曼的信任崩塌：就像多米诺骨牌般一张张倒下苏茨克维和莱克并不是唯二离开的人，自去年11月以来，OpenAI至少有5名注重安全的员工辞职或被开除。关于阿尔特曼“不坦诚”的内因，业界众说纷纭，有一种猜测是OpenAI秘密取得了重大技术突破，认为苏茨克维选择离职是因为他看到了一些可怕的东西，比如一个可能摧毁人类的AI系统。真正的答案，可能确实跟阿尔特曼有关。据Vox报道，熟悉OpenAI的消息人士透露道，安全意识强的员工已经对阿尔特曼失去了信心。一位不愿透露姓名的公司内部人士说：“这是一个信任一点一点崩塌的过程，就像多米诺骨牌一张一张倒下。”没有多少员工愿意公开谈论此事。部分原因是OpenAI以让员工在离职时签署包含非贬损条款的离职协议而闻名。如果拒绝签署，员工就放弃了自己在公司的股权，这意味着可能会损失数百万美元。但有一名前员工拒绝签署离职协议，以便可以自由批评公司。丹尼尔·科科塔伊洛（Daniel Kokotajlo）于2022年加入OpenAI，希望带领公司实现AI的安全部署，他一直在治理团队工作，直到上个月辞职。“OpenAI正在训练越来越强大的AI系统，目标是最终全面超越人类智能。这可能是人类有史以来最好的事情，但如果我们不谨慎行事，也可能是最糟糕的事情，”科科塔伊洛说。“我加入时满怀希望，希望OpenAI能够迎难而上，在他们越来越接近实现AGI的过程中表现得更加负责任。我们中的许多人逐渐意识到这不会发生，”他谈道。“我逐渐对OpenAI领导层及其负责任地处理AGI的能力失去了信心，所以我辞职了。”尽管在公众面前展现出友情，但在苏茨克维试图赶走阿尔特曼后，人们对他们的友谊产生了怀疑。阿尔特曼被解雇后的反应也展现了他的性格。他用掏空OpenAI来威胁董事会重新向他敞开大门。前同事及员工纷纷透露说，阿尔特曼是一位口是心非的操纵者，例如他声称自己希望优先考虑安全，但实际行为却与此相矛盾。此前阿尔特曼找沙特基金支持成立一家新AI芯片公司的消息，让有安全意识的员工感到震惊。如果阿尔特曼真的关心以最安全的方式构建和部署AI，为什么他似乎在疯狂积累尽可能多的芯片，而这只会加速技术的发展？一位了解公司内部情况的消息人士称，对于员工来说，所有这些都导致他们逐渐“不再相信OpenAI说要做什么或者说重视某件事时，这些实际上是真的”。杨·莱克是前DeepMind研究员，在OpenAI期间参与了ChatGPT、GPT-4和ChatGPT前身InstructGPT的开发。在... PC版： 手机版：

Ilya离开OpenAI内幕曝光：奥特曼砍他团队算力 优先搞产品赚钱

Ilya离开OpenAI内幕曝光：奥特曼砍他团队算力 优先搞产品赚钱 访问：NordVPN 立减 75% + 外加 3 个月时长 另有NordPass密码管理器 紧接着，更多的八卦被其他人挖出来。比如OpenAI离职成员都要签一份协议，保证离职后不在外说OpenAI坏话，不签的话视为自动放弃公司股份。但仍然有拒不签署的硬骨头出来放猛料（笑死），说核心领导层对安全问题优先级的分歧由来已久。去年宫斗至今，两派的观念冲突到达了临界点，这才看上去颇为体面地崩了。因此，尽管奥特曼已经派了联合创始人来接管超级对齐团队，仍旧不被外界看好。冲在最一线的Twitter网友们感谢Jan有勇气说出这个惊人大瓜，并感叹：我勒个去，看来OpenAI真的不太注重这个安全性！不过回过头来，如今执掌OpenAI的奥特曼这边，暂时还坐得住。他站出来感谢了Jan对OpenAI超级对齐和安全方面的贡献，表示Jan离开，他其实很难过、很舍不得。当然了，重点其实是这一句：等着，过两天我会发一篇比这更长的推文。承诺的20%算力居然有画大饼成分从去年OpenAI宫斗到现在，灵魂人物、前首席科学家Ilya就几乎不再公开露面、公开发声。在他公开宣称离职前，就已经众说纷纭。很多人认为Ilya看到了一些可怕的事情，比如可能毁灭人类的AI系统啥的。网友：我每天醒来第一件事就是想Ilya看到了啥这次Jan算是摊开了说，核心原因就是技术派和市场派对安全方面的优先等级产生了不同看法。分歧很严重，目前后果嘛……大家也都看到了。据Vox报道，熟悉OpenAI的消息人士透露，更注重安全的员工已经对奥特曼失去了信心，“这是一个信任一点一点崩溃的过程”。但如你所见，在公开平台和场合，没有太多离职员工愿意公开谈论此事。一部分原因是OpenAI一直以来，都有让员工签署带有非贬低协议的离职协议的传统。如果拒绝签署，就等于放弃了此前拿到的OpenAI的期权，这意味着出来说话的员工可能会损失一笔巨款。然而，多米诺骨牌还是一张接一张的倒下了Ilya的辞职加剧了OpenAI近期的离职潮。紧随其后宣布离职的，除了超级对齐团队负责人Jan以外，目前有至少五个安全团队成员离职。其中还有个没签署非贬低协议的硬骨头，Daniel Kokotajlo（以下简称DK哥）。去年DK哥写道，他认为AI发生生存灾难的可能性为70%DK哥在2022年加入OpenAI，在治理团队工作，主要工作内容是引导OpenAI安全部署AI。但他也在近期辞职了，并且对外接受了采访：OpenAI正在训练更强大的AI系统，目标是最终全面超越人类智能。这可能是人类有史以来发生过的最好的事情，但如果我们不小心行事，也可能是最糟糕的事情。DK哥阐述，当年，他加入OpenAI，满怀对安全治理的报复和希望，期望OpenAI越靠近AGI能越负责任。但团队中许多人慢慢意识到，OpenAI不会这样了。“逐渐对OpenAO领导层以及他们负责地处理AGI的能力失去了信心”，这就是DK哥辞职的原因。对未来AGI安全工作的失望，是Ilya加剧的离职潮中众人离开的一部分原因。还有一部分原因，是超级对齐团队，恐怕没有外界想象的那样能资源充沛地进行研究。即便超级对齐团队满负荷工作，团队也只能获得OpenAI承诺的20%的算力。而且团队的一些请求经常被拒绝。当然是因为算力资源对AI公司来说重要至极，每一点都要合理分配；也因为超级对齐团队的工作是“解决如果公司成功构建AGI，实际上会出现不同类型的安全问题”。换句话说，超级对齐团队对应的是OpenAI需要面临的未来的安全问题划重点，是未来的、不知是否会出现的。截至发稿，奥特曼还没有发出他那篇“（比Jan爆料内幕的）更长的推文”。但他简单提到，Jan对安全问题的担忧是对的，“我们还有很多事情要做；我们也致力于这样做。”就这一点，大伙儿可以先办个小板凳等等，到时候咱一起第一时间吃瓜。综上，现在超级对齐团队走了好些人，尤其是Ilya和Jan的离职，让这个风雨之中的团队面临群龙无首的窘况。后续安排，是联合创始人John Schulma来接手，但不再有专门的团队。新的超级对齐团队将是联系更松散的小组，成员分布在整个公司的各个部门，OpenAI发言人将其描述为“更深入地整合”。这一点也为外界所质疑，因为John的原本全职工作是确保目前的OpenAI产品的安全问题。不知道突然多了份责任后，John能不能忙得过来，好好领导关注现在和关注未来安全问题的两个团队？Ilya-Altman之争如果把时间阵线拉长， 其实今天的分崩离析是OpenAI“宫斗”Ilya-Altman之争的续集。时间回溯到去年11月，当时Ilya还在，他同OpenAI董事会合作试图解雇掉奥特曼。当时给出的理由是，他在沟通中不够真诚。换言之，我们不信任他。但最终结果显而易见，奥特曼带着他的“盟友”威胁加入微软，结果董事会屈服，罢免行动失败。Ilya离开董事会。而奥特曼这边，选择了对他更为有利的成员加入董事会。在这之后，Ilya就再也社交平台上消失了，直至前几天官宣离职。而且据说，已经大约6个月没有出现在OpenAI办公室了。当时他还留下一条耐人寻味的推文，但很快就删除了。在过去的一个月里，我吸取了许多教训。其中一个教训是，“在士气提高之前，殴打会一直持续下去 ”这句话比它应有的含义更经常地适用。但据内部人士透露，Ilya一直远程共同领导着超级对齐团队。而在奥特曼这边，员工们对他最大的指控就是言行不一，比如他声称自己想优先考虑安全，但他的行为却很矛盾。除了原本承诺的计算资源没有给到外。还有像前阵子找沙特等筹集资金来造芯。那些注重安全的员工懵了。如果他真的关心以尽可能安全的方式构建和部署人工智能，那么就不会这么疯狂地积累芯片，来加速技术的发展？更早之前，OpenAI还从一家奥特曼投资的一家初创公司订购芯片。金额高达5100万美元（约合人民币3.6亿元）。而当时宫斗那几天OpenAI前员工的举报信中，对于奥特曼的描述似乎也再一次印证。也正因这样从始至终“言行不一”的操作，让员工们逐渐对OpenAI以及奥特曼失去信心。Ilya是这样，Jan Laike是这样，超级对齐团队也是这样。有贴心的网友整理出这几年年间，发生的相关事情的重要节点先来个贴心提示，下文提到的P（doom），指“AI引发世界末日场景的可能性”。2021年，GPT-3团队负责人因“安全”问题离开OpenAI，创立Anthropic；其中一位认为P（doom）为10-25%；2021年，RLHF安全研究负责人离职，P（doom）为50%；2023年，OpenAI董事会解雇奥特曼；2024年，OpenAI解雇两位安全研究员；2024年，一位特别关注安全的OpenAI研究员离职，他认为P（doom）已经在70%。2024年，Ilya、JAN Laike离职。技术派还是市场派？大模型发展至今，“如何实现AGI？”其实可归结为两条路线。技术派希望技术成熟可控再应用；市场派则认为边开放边应用“渐进式”走到终点。这也是Ilya-Altman之争的根本分歧，即OpenAI的使命：是专注于AGI和超级对齐，还是专注于扩展ChatGPT服务？ChatGPT服务规模越大，意味着需要的计算量越大；这也就会占用AGI安全研究的时间。如果OpenAI是个致力于研究的非盈利组织，他们应该将更多时间花费在超级对齐上。而从OpenAI对外的一些举措来看，结果显然不是，他们只是想要在大模型这个竞争中拔得头筹，为企业和消费者提供更多的服务。这在Ilya看来，这是件非常危险的事情。即便我们不清楚随着规模的扩大会发生什么，但在Ilya看来，最好的办法就是安全第一。开放和透明，这样我们人类才能确保安全地构建 AGI，而不是以某种隐秘的方式。但在奥特曼带领... PC版： 手机版：

OpenAI宫斗大戏第二幕 核心安全团队解散 负责人自爆离职内幕

OpenAI宫斗大戏第二幕 核心安全团队解散 负责人自爆离职内幕 访问：NordVPN 立减 75% + 外加 3 个月时长 另有NordPass密码管理器 最新离职的OpenAI高管，超级对齐团队负责人Jan Leike直接撕破脸皮，揭露OpenAI联合创始人兼首席科学家苏茨克维离职内幕阿尔特曼不给资源、力推商业化不顾安全。Leike同时也是OpenAI的联合创始人，属于“保守派”阵营，他在Sutskever宣布离职后仅几个小时就发帖：我辞职了。官宣离职次日，Leike连发十多条帖子，公开解释了离职原因团队分配不到足够的资源：超级对齐团队过去几个月一直在“逆风航行”，在计算上很吃力，完成研究越来越困难；安全并非阿尔特曼的核心优先事项：过去几年，安全文化和流程已经让位于更耀眼的产品。“很长一段时间以来，我与OpenAI领导层对公司核心优先事项的看法一直不合，直到我们终于到了临界点。”这是OpenAI高管级别的人物首次公开承认公司重视产品开发胜过安全。阿尔特曼的回应依旧体面，他表示，自己非常感谢Jan Leike对OpenAI的一致性研究和安全文化所做的贡献，并且很遗憾看到他离开。“他说得对，我们还有很多事情要做，我们致力于做到这一点。我将在未来几天内发布一篇更长的帖子。”投资未来？不 阿尔特曼选择把握现在OpenAI的超级对齐团队于2023年7月成立，由Leike和Sutskever领导，成员为OpenAI前校准部门的科学家和工程师以及来自公司其他机构的研究人员，可以说是一帮技术人员组成的团队。该团队旨在确保人工智能与其制造者的目标保持一致，目标是在未来解决控制超级智能AI的核心技术挑战，“解决如果公司成功构建AGI，实际上会出现不同类型的安全问题。”也就是说，超级对齐团队是在为更强大的AI模型、而非当下的AI模型打造安全罩。正如Leik所说，“我相信我们应该投入更多的精力来为下一代模型做好准备，关注安全性、监控，做好准备、让AI具有对抗性的鲁棒性、（超级）对齐，关注保密性、社会影响等相关主题。这些问题很难做对，我很担心我们没有朝着正确的方向前进。”Leik还指出，虽然目前超智能AI看似遥远，但可能在本十年内出现，管理这些风险需要新的治理机构和对齐技术，从而确保超智能AI系统遵循人类意图。站在阿尔特曼的立场，维护超级对齐团队是一项庞大的开支。OpenAI曾经承诺该团队将获得该公司20%的计算资源，这势必会削弱OpenAI新产品开发的资源，而投资超级对齐团队实际是在投资未来。据OpenAI超级对齐团队的一位人士透露，20%计算资源的承诺被打了折扣，其中一小部分计算的请求经常被拒绝，这阻碍了团队的工作。超级对齐团队解散 然后呢？据《连线》等媒体报道，在Sutskever和Leike相继离职后，OpenAI的超级对齐团队已被解散。其不再是一个专门的团队，而是一个松散的研究小组，分布在整个公司的各个部门。OpenAI的一位发言人将其描述为“更深入地整合（团队）”。有消息称OpenAI的另一位联合创始人约翰•舒尔曼（John Schulman）可能会接手关于与更强大模型相关的风险的研究。这不免让人质疑，Schulman目前的工作任务在于确保OpenAI当前产品的安全，他会重点盯着面向未来的安全团队吗？阿尔特曼另一被人诟病的地方在于“捂嘴”离职员工。自去年11月至今，OpenAI至少有7名注重安全的成员辞职或被开除，但离职员工大多不愿公开谈论此事。据Vox报道，部分原因是OpenAI会让员工在离职时签署带有非贬低条款的协议。如果拒绝签署，就将失去此前拿到的OpenAI的期权，这意味着出来说话的员工可能会损失一笔巨款。一位OpenAI前员工爆料，公司入职文件说明中包含一项：“在离开公司的六十天内，你必须签署一份包含‘一般豁免’的离职文件。如果你没有在60天内完成，你的股权获益将被取消。”阿尔特曼变相承认了此事，他回应称，该公司的离职文件中有一项关于离职员工“潜在股权取消”的条款，但从未付诸实践，“我们从未收回任何人的既得股权。”他还表示，公司正在修改离职协议条款，“如果任何签署了这些旧协议的前雇员对此感到担心，他们可以联系我。”回到OpenAI高层争执的原点，也是这场旷日持久的宫斗的核心矛盾点“保守派”强调先安全再产品，“盈利派”希望尽快落实商业化。OpenAI将如何平衡产品的安全性与商业化？如何挽回愈发糟糕的公众形象？期待阿尔特曼未来几天内的“小作文”。 ... PC版： 手机版：