OpenAI 高管 Jan Leike 离职，批判公司内部已不再将“安全”视为优先

OpenAI 高管 Jan Leike 离职，批判公司内部已不再将“安全”视为优先 继 OpenAI 共同创始人 Ilya Sutskever 离职之后，另一名 OpenAI 高管 Jan Leike 在 X 平台发布贴文，宣布他已经在上周离开公司。

OpenAI 领导层变动仍在继续，另一位高管也宣布离职

OpenAI 领导层变动仍在继续，另一位高管也宣布离职 OpenAI 领导层的变动仍在继续，在 OpenAI 联合创始人 Ilya Sutskever 宣布离职几个小时后，另一位高管 Jan Leike 于周二晚间发推文宣布辞职。 Leike 是 OpenAI 超级对齐小组的联合负责人，该团队致力于让人工智能系统与人类利益保持一致。去年9月，他被《时代》杂志评为人工智能领域最具影响力的 100 人之一。 ，

OpenAI宫斗大戏第二幕 核心安全团队解散 负责人自爆离职内幕

OpenAI宫斗大戏第二幕 核心安全团队解散 负责人自爆离职内幕 访问：NordVPN 立减 75% + 外加 3 个月时长 另有NordPass密码管理器 最新离职的OpenAI高管，超级对齐团队负责人Jan Leike直接撕破脸皮，揭露OpenAI联合创始人兼首席科学家苏茨克维离职内幕阿尔特曼不给资源、力推商业化不顾安全。Leike同时也是OpenAI的联合创始人，属于“保守派”阵营，他在Sutskever宣布离职后仅几个小时就发帖：我辞职了。官宣离职次日，Leike连发十多条帖子，公开解释了离职原因团队分配不到足够的资源：超级对齐团队过去几个月一直在“逆风航行”，在计算上很吃力，完成研究越来越困难；安全并非阿尔特曼的核心优先事项：过去几年，安全文化和流程已经让位于更耀眼的产品。“很长一段时间以来，我与OpenAI领导层对公司核心优先事项的看法一直不合，直到我们终于到了临界点。”这是OpenAI高管级别的人物首次公开承认公司重视产品开发胜过安全。阿尔特曼的回应依旧体面，他表示，自己非常感谢Jan Leike对OpenAI的一致性研究和安全文化所做的贡献，并且很遗憾看到他离开。“他说得对，我们还有很多事情要做，我们致力于做到这一点。我将在未来几天内发布一篇更长的帖子。”投资未来？不 阿尔特曼选择把握现在OpenAI的超级对齐团队于2023年7月成立，由Leike和Sutskever领导，成员为OpenAI前校准部门的科学家和工程师以及来自公司其他机构的研究人员，可以说是一帮技术人员组成的团队。该团队旨在确保人工智能与其制造者的目标保持一致，目标是在未来解决控制超级智能AI的核心技术挑战，“解决如果公司成功构建AGI，实际上会出现不同类型的安全问题。”也就是说，超级对齐团队是在为更强大的AI模型、而非当下的AI模型打造安全罩。正如Leik所说，“我相信我们应该投入更多的精力来为下一代模型做好准备，关注安全性、监控，做好准备、让AI具有对抗性的鲁棒性、（超级）对齐，关注保密性、社会影响等相关主题。这些问题很难做对，我很担心我们没有朝着正确的方向前进。”Leik还指出，虽然目前超智能AI看似遥远，但可能在本十年内出现，管理这些风险需要新的治理机构和对齐技术，从而确保超智能AI系统遵循人类意图。站在阿尔特曼的立场，维护超级对齐团队是一项庞大的开支。OpenAI曾经承诺该团队将获得该公司20%的计算资源，这势必会削弱OpenAI新产品开发的资源，而投资超级对齐团队实际是在投资未来。据OpenAI超级对齐团队的一位人士透露，20%计算资源的承诺被打了折扣，其中一小部分计算的请求经常被拒绝，这阻碍了团队的工作。超级对齐团队解散 然后呢？据《连线》等媒体报道，在Sutskever和Leike相继离职后，OpenAI的超级对齐团队已被解散。其不再是一个专门的团队，而是一个松散的研究小组，分布在整个公司的各个部门。OpenAI的一位发言人将其描述为“更深入地整合（团队）”。有消息称OpenAI的另一位联合创始人约翰•舒尔曼（John Schulman）可能会接手关于与更强大模型相关的风险的研究。这不免让人质疑，Schulman目前的工作任务在于确保OpenAI当前产品的安全，他会重点盯着面向未来的安全团队吗？阿尔特曼另一被人诟病的地方在于“捂嘴”离职员工。自去年11月至今，OpenAI至少有7名注重安全的成员辞职或被开除，但离职员工大多不愿公开谈论此事。据Vox报道，部分原因是OpenAI会让员工在离职时签署带有非贬低条款的协议。如果拒绝签署，就将失去此前拿到的OpenAI的期权，这意味着出来说话的员工可能会损失一笔巨款。一位OpenAI前员工爆料，公司入职文件说明中包含一项：“在离开公司的六十天内，你必须签署一份包含‘一般豁免’的离职文件。如果你没有在60天内完成，你的股权获益将被取消。”阿尔特曼变相承认了此事，他回应称，该公司的离职文件中有一项关于离职员工“潜在股权取消”的条款，但从未付诸实践，“我们从未收回任何人的既得股权。”他还表示，公司正在修改离职协议条款，“如果任何签署了这些旧协议的前雇员对此感到担心，他们可以联系我。”回到OpenAI高层争执的原点，也是这场旷日持久的宫斗的核心矛盾点“保守派”强调先安全再产品，“盈利派”希望尽快落实商业化。OpenAI将如何平衡产品的安全性与商业化？如何挽回愈发糟糕的公众形象？期待阿尔特曼未来几天内的“小作文”。 ... PC版： 手机版：

此前，OpenAI 解散了致力于解决长期 AI 风险的专门团队（称为“超级对齐团队”）

此前，OpenAI 解散了致力于解决长期 AI 风险的专门团队（称为“超级对齐团队”） Jan Leike，OpenAI 的一位关键研究员，在联合创始人Ilya Sutskever 离职后于本周早些时候辞职。他在周五早上在 X 上发帖称，该公司“安全文化和流程已被华而不实的产品所取代”。 Leike的声明是在《》杂志报道 OpenAI 解散了致力于解决长期 AI 风险的专门团队（称为“超级对齐团队”）之后发表的。Leike曾负责这个超级对齐团队，该团队成立于去年七月，目的是“解决在 OpenAI 开发具有类人推理能力的 AI 时实施安全协议中的核心技术挑战”。 “我们早就应该非常认真地考虑人工通用智能的影响了。我们必须尽我们所能优先准备，”莱克在周五早上关于他辞职的后续帖子中说。“只有这样，我们才能确保人工通用智能惠及全人类。” Leike 的帖子突显了 OpenAI 内部日益增长的紧张氛围。在研究人员争相开发人工通用智能的同时，还要管理像 ChatGPT 和 DALL-E 这样的消费级 AI 产品，像Leike这样的员工则在提出对创造超级智能 AI 模型潜在危险的担忧。Leike表示，他的团队被降低了优先级，无法获得执行“关键”工作所需的计算和其他资源。 标签: #OpenAI 频道: @GodlyNews1 投稿: @GodlyNewsBot

OpenAI又一吹哨人离职 拉响安全警报：风险隐患实在太大

OpenAI又一吹哨人离职 拉响安全警报：风险隐患实在太大 主人公名叫Gretchen Krueger（简称格姐），是OpenAI的AI策略研究员。她在2019年加入OpenAI，参与过GPT-4和DALL·E 2的开发工作，还在2020年领导了OpenAI第一个全公司范围的“红队”测试。此番出走，除了提到OpenAI的决策透明度问题，她还隐约暗示：一般来说，科技公司剥夺那些寻求追究其责任的人的权力的方法之一，就是在那些提出担忧或挑战其权力的人之间制造分裂。我非常关心防止这种情况发生。算上Ilya和Jan Leike，格姐已经是这个月第3位从OpenAI离开的安全相关人员她提交辞呈还是在Ilya和Jan Leike确认离职之前。本月第3位离职的OpenAI安全成员先来简单回顾整个事情。格姐是OpenAI的AI策略研究员，关于这个岗位的职责，有网友帮大家在评论区科普了。由于感受到OpenAI存在巨大安全风险，格姐于5月14日通知公司自己即将离职。在这之后，OpenAI首席科学家Ilya正式宣布他将离开公司去追求“下一个计划”。紧随Ilya离职的，还有斥责OpenAI“产品优先于安全”的超级对齐负责人Jan Leike。那么，到底是什么风险使得格姐早就想跑呢？总结下来其实很简单，但也很关键：OpenAI在安全问题决策上不够透明且缺乏对决策人的问责。（AI透明度等）问题对所有人都很重要，它们影响着未来如何被规划、由谁来规划。我想强调的是，这些担忧不应该被误读为狭隘、投机或脱节的。它们并非如此。另外，格姐还特意提及了为了保留对OpenAI的批评权、放弃85%家庭资产的OpenAI前员工Daniel Kokotajio，表示感谢他的勇气，使她有机会说出想说的。此前，OpenAI被曝离职需签封口协议，“不签字就会影响股权”。这件事的最新进展由格姐的另一位前同事Jacob Hilton曝出：在Vox的深度调查发表之后，OpenAI已经联系了前员工们，解除了此前签署的保密协议。回到安全的话题上，格姐还是给老东家保留了体面：OpenAI仍在领导这些重要的工作。我也将继续对此保持关注和兴奋。不过格姐的出走，还是引发更多网友的好奇：当Ilya等人还在的时候，OpenAI如何决定重大安全问题？当一批重要安全成员离开后，OpenAI当前又如何决定安全问题？谁决定OpenAI的安全路线？在关注谁握有最终决策权之前，我们先来看看OpenAI的安全团队有哪些。从官网公布的信息来看，OpenAI目前的安全团队主要分为三大块。超级对齐团队：拿出20%总算力，瞄准如何控制还不存在的超级智能Safety Systems团队：专注于减少现有模型和产品（例如ChatGPT）的滥用Preparedness团队：绘制前沿模型的新兴风险首先，作为核心的超级对齐团队由Ilya和Jan Leike在2023年7月发起。结果不到1年，两位灵魂人物接连出走，超级团队分崩离析。其次，Safety Systems成立于2020年，该团队下面有4个部门，包括安全工程团队、风险管理团队、监控与响应团队以及政策与合规团队。它曾负责了GPT-3和GPT-4的安全性评估。当初领导它的Dario Amodei，后来离开OpenAI创办了Anthropic。而且Dario Amodei之所以离职，原因恰恰在于想建立一个更可信的模型。最后，OpenAI于2023年10月宣布建立Preparedness团队。该小组由麻省理工可部署机器学习中心主任Aleksander Madry领导，旨在“跟踪、预测和防范未来人工智能系统的危险”，包括从AI“说服和欺骗”人类的能力（如网络钓鱼攻击），到恶意代码生成能力。目前该团队主要进行模型能力评估、评价和内部红队（即对模型进行渗透测试的攻击方）。说了这么多，但不管OpenAI有多少安全团队，其风险评估的最终决策权仍掌握在领导层手中。宫斗风波之前，OpenAI核心管理团队中共有四名成员：CEO Sam Altman、总裁Greg Brockman、首席科学家Ilya Sutskever、CTO Mira Murati。虽然一开始Ilya发动“宫变”让Sam Altman短暂下台，但很快奥特曼“熹妃回宫”，反而是Ilya“消失”了6个月。且回归后的Sam Altman身边基本都是自己人了，包括最新顶替Ilya的Jakub。不过关于安全问题的决策权，虽然领导层是决策者，但董事会拥有推翻决策的权利。目前OpenAI的董事会成员包括，Salesforce共同首席执行官、董事会主席Bret Taylor，经济学家Larry Summers、Quora首席执行官Adam D’Angelo、前比尔及梅琳达·盖茨基金会CEO Sue Desmond-Hellmann、前索尼娱乐总裁Nicole Seligman、Instacart首席执行官Fidji Simo以及奥特曼本人。 ... PC版： 手机版：

OpenAI又上演“权力的游戏”

OpenAI又上演“权力的游戏” 此前，超级对齐团队曾拥有OpenAI20%的算力资源。因此难免让人怀疑，此次OpenAI短时间、大规模的人事变动是否是其发展战略变动的前哨？分歧已久OpenAI内部的分歧存在已久，在去年11月的“宫斗”事件中早已公之于众。此次Ilya Sutskever等一行人的出走，可以看作是历史矛盾的延续。Ilya辞职前，OpenAI内部最大的分歧之一在于对AI安全问题的态度上。科技巨头和初创公司的互卷下，AI技术研发在快车道上一往直前，AGI时代离我们也越来越近。有人认为“OpenAI正在训练更强大的AI系统，目标是最终全面超越人类智能”。未知的全新力量下蕴藏着未知的风险。用前员工的一句话讲，这可能是人类有史以来发生过的最好的事情，但如果我们不小心行事，也可能是最糟糕的事情。当前的AI监管主要集中于“评估风险和采取缓解措施”的组合上，这种组合很容易被大型公司钻空子，最终反而疏于了对最需要被监管的前型AI实验室的监管。超级对齐团队解散前，对于不同时间尺度的AI风险，OpenAI有三个团队来分别应对。“对齐”或“超级对齐”是人工智能领域中使用的术语，指训练人工智能系统在人类需求和优先事项范围内运行的工作。2023年6月5日，超级对齐AI团队首次对外宣布成立。这支团队的使命旨在“解决如果公司成功构建AGI，实际上会出现不同类型的安全问题”也就是AI智能水平不断提高后未来可能出现的安全问题。师从人工智能教父Geoffray Hinton的Ilya是坚持安全第一的安全派。2016年，Ilya以联合创始人、研究总监的身份加入OpenAI，并于2018年担任首席科学家。研发期间，Ilya一直在关注AI大模型的安全问题。Sam Altman则是商业派，致力于开发“更闪亮的产品”，与Google等竞争对手的卯足了劲较量。在他看来，AGI的安全治理问题优先级远远不如推出“闪亮的产品”。虽然Altman在采访中屡次表示对安全问题的重视，但就实际操作而言，算力资源的天平在不断向着研发的一侧倾斜。对于Altman来说，相对于未来态的安全治理，如何加足马力在当前的这场AI竞赛中拔得头筹显然更为重要。对此，OpenAI的前员工、超级对齐成员之一William Saunders在Less Wrong论坛上表示，对OpenAI能否在AGI时代负责任的行动失去了信心。William Saunders并非个例。对OpenAI未来AGI安全部署工作的失望成为超级对其团队不少人离开的关键要素。不少人认为，Ilya出走很可能是已经看到了AGI的安全隐患。OpenAI“权力的游戏”还有几季？在技术驱动的进步面纱下，未来安全团队被迫“重组”。事实上，OpenAI在安全方面的人事一直在不断“跳跃”。2021年，GPT-3的团队负责人Dario和Daniela Amodei因“对安全研究的优先次序”存在分歧而辞职，转身创办了Anthropic。同年，RLHF的发明者兼安全研究主管Dr.Paul Christiano从安全团队中辞职，创办了一个非盈利性的校准研究中心。2023年11月，OpenAI围绕安全问题爆发宫斗，Sam Altman在被撤职100小时后重返OpenAI。2024年，这场“权力的游戏”继续上演。2024年2月15日，安全研究员 William Saunders 在 EA 论坛上总结了自己在 OpenAI 作为超级对齐团队一部分的工作。表示已从OpenAI辞职。3月17日，Jan Leike 离职。Jan Leike参与开发了ChatGPT的核心技术之一人类反馈强化学习RLHF，在其加入OpenAI后，从代码大模型Codex、ChatGPT的前身InstrucGPT，到ChatGPT、GPT-4，他都是重要贡献者。4月，Daniel Kokotajlo在拒绝签署离职协议的情况下辞职，并在此后的媒体采访中公开表示“OpenAI正在训练更强大的AI系统，目标是最终全面超越人类智能。”，自己已经“逐渐对OpenAO领导层以及他们负责地处理AGI的能力失去了信心”。4月11日，安全团队的Leopold Aschenbrenner与推理团队的Pavel Izmailov因涉嫌信息泄密而被开除。安全研究员 Cullen O'Keefe 也离开了OpenAI。5月15日，OpenAI的联合创始人及首席科学家Ilya宣布离职，并在社交平台X上表示自己将开启“接下来的计划这个项目对我个人来说意义重大，我会在适当的时候分享细节。”Ilya宣布离开几小时后，Ilya的同事，OpenAI超级对齐团队联合主管Jan Leike光速宣布辞职，在X上留下两个字母：I resigned。Leike 自2021 年加入 OpenAI，并于2023年开始领导超级对齐团队。在此后几天，Jan Leike陆续在X上揭开此次出走的“内幕”：“我与 OpenAI 领导层在公司的核心优先事项上存在分歧已有一段时间，直到我们最终达到了临界点”“过去几个月，我的团队一直在逆风前行”“建造比人类更聪明的机器本质上是一项危险的工作……但在过去的几年里，安全文化和流程已经让位于闪亮的产品”。他认为OpenAI“应该把更多的精力花在为下一代模型做准备上，包括安全性、监控、准备、安全、对抗鲁棒性、（超级）对齐、保密性、社会影响和相关主题，这些问题很难解决，我担心我们还没有走上正确的轨道。”超级对齐成员之一William Saunders，以及参与过GPT-4对抗性测试的Daniel Kokotajlo，此前两人均已离开OpenAI。在诸多离职的人中，Daniel Kokotajlo和Jan Leike属于敢直接批判OpenAI在安全领域和发展方向存在问题的“特殊群体”。个中原因很可能是OpenAI的“封口协议”。根据OpenAI前员工Kelsey Piper 爆料，OpenAI的员工需签署一份带有非贬低协议的离职协议，如果拒绝签署，其拿到的股权获益将被取消。而Daniel Kokotajlo则拒绝签署这一协议。在Sutskever和Leike 退出后，OpenAI向CNN 证实，最近几周已开始解散其超级对齐团队，转而整合各个研究小组的团队成员。OpenAI的发言人表示，该结构将帮助 OpenAI 更好地实现其超级对齐目标。事实上，该业务线新的领导者John Schulma此前是负责OpenAI现有产品的安全问题。而将纵向超级对齐团队横向合并也意味着，未来安全把关人在一定程度上的消失。浮世新人换旧人，Sam Altman在社交平台X上表达了对于Ilya离开的遗憾，表示“他走后的OpenAI不再和从前一样”，但旋即又在同一条帖子宣布任命了新的首席科学家JakubPachoki。此外，OpenAI近日还聘请了在Google搜索广告业务工作了多年的资深人士Shivakumar Venkataraman。自此，OpenAI的发展战略阶段性地实现了表面一致以“党同伐异”的代价。 ... PC版： 手机版：