OpenAI 高管 Jan Leike 离职，批判公司内部已不再将“安全”视为优先

OpenAI 高管 Jan Leike 离职，批判公司内部已不再将“安全”视为优先 继 OpenAI 共同创始人 Ilya Sutskever 离职之后，另一名 OpenAI 高管 Jan Leike 在 X 平台发布贴文，宣布他已经在上周离开公司。

OpenAI 领导层变动仍在继续，另一位高管也宣布离职

OpenAI 领导层变动仍在继续，另一位高管也宣布离职 OpenAI 领导层的变动仍在继续，在 OpenAI 联合创始人 Ilya Sutskever 宣布离职几个小时后，另一位高管 Jan Leike 于周二晚间发推文宣布辞职。 Leike 是 OpenAI 超级对齐小组的联合负责人，该团队致力于让人工智能系统与人类利益保持一致。去年9月，他被《时代》杂志评为人工智能领域最具影响力的 100 人之一。 ，

OpenAI又一吹哨人离职 拉响安全警报：风险隐患实在太大

OpenAI又一吹哨人离职 拉响安全警报：风险隐患实在太大 主人公名叫Gretchen Krueger（简称格姐），是OpenAI的AI策略研究员。她在2019年加入OpenAI，参与过GPT-4和DALL·E 2的开发工作，还在2020年领导了OpenAI第一个全公司范围的“红队”测试。此番出走，除了提到OpenAI的决策透明度问题，她还隐约暗示：一般来说，科技公司剥夺那些寻求追究其责任的人的权力的方法之一，就是在那些提出担忧或挑战其权力的人之间制造分裂。我非常关心防止这种情况发生。算上Ilya和Jan Leike，格姐已经是这个月第3位从OpenAI离开的安全相关人员她提交辞呈还是在Ilya和Jan Leike确认离职之前。本月第3位离职的OpenAI安全成员先来简单回顾整个事情。格姐是OpenAI的AI策略研究员，关于这个岗位的职责，有网友帮大家在评论区科普了。由于感受到OpenAI存在巨大安全风险，格姐于5月14日通知公司自己即将离职。在这之后，OpenAI首席科学家Ilya正式宣布他将离开公司去追求“下一个计划”。紧随Ilya离职的，还有斥责OpenAI“产品优先于安全”的超级对齐负责人Jan Leike。那么，到底是什么风险使得格姐早就想跑呢？总结下来其实很简单，但也很关键：OpenAI在安全问题决策上不够透明且缺乏对决策人的问责。（AI透明度等）问题对所有人都很重要，它们影响着未来如何被规划、由谁来规划。我想强调的是，这些担忧不应该被误读为狭隘、投机或脱节的。它们并非如此。另外，格姐还特意提及了为了保留对OpenAI的批评权、放弃85%家庭资产的OpenAI前员工Daniel Kokotajio，表示感谢他的勇气，使她有机会说出想说的。此前，OpenAI被曝离职需签封口协议，“不签字就会影响股权”。这件事的最新进展由格姐的另一位前同事Jacob Hilton曝出：在Vox的深度调查发表之后，OpenAI已经联系了前员工们，解除了此前签署的保密协议。回到安全的话题上，格姐还是给老东家保留了体面：OpenAI仍在领导这些重要的工作。我也将继续对此保持关注和兴奋。不过格姐的出走，还是引发更多网友的好奇：当Ilya等人还在的时候，OpenAI如何决定重大安全问题？当一批重要安全成员离开后，OpenAI当前又如何决定安全问题？谁决定OpenAI的安全路线？在关注谁握有最终决策权之前，我们先来看看OpenAI的安全团队有哪些。从官网公布的信息来看，OpenAI目前的安全团队主要分为三大块。超级对齐团队：拿出20%总算力，瞄准如何控制还不存在的超级智能Safety Systems团队：专注于减少现有模型和产品（例如ChatGPT）的滥用Preparedness团队：绘制前沿模型的新兴风险首先，作为核心的超级对齐团队由Ilya和Jan Leike在2023年7月发起。结果不到1年，两位灵魂人物接连出走，超级团队分崩离析。其次，Safety Systems成立于2020年，该团队下面有4个部门，包括安全工程团队、风险管理团队、监控与响应团队以及政策与合规团队。它曾负责了GPT-3和GPT-4的安全性评估。当初领导它的Dario Amodei，后来离开OpenAI创办了Anthropic。而且Dario Amodei之所以离职，原因恰恰在于想建立一个更可信的模型。最后，OpenAI于2023年10月宣布建立Preparedness团队。该小组由麻省理工可部署机器学习中心主任Aleksander Madry领导，旨在“跟踪、预测和防范未来人工智能系统的危险”，包括从AI“说服和欺骗”人类的能力（如网络钓鱼攻击），到恶意代码生成能力。目前该团队主要进行模型能力评估、评价和内部红队（即对模型进行渗透测试的攻击方）。说了这么多，但不管OpenAI有多少安全团队，其风险评估的最终决策权仍掌握在领导层手中。宫斗风波之前，OpenAI核心管理团队中共有四名成员：CEO Sam Altman、总裁Greg Brockman、首席科学家Ilya Sutskever、CTO Mira Murati。虽然一开始Ilya发动“宫变”让Sam Altman短暂下台，但很快奥特曼“熹妃回宫”，反而是Ilya“消失”了6个月。且回归后的Sam Altman身边基本都是自己人了，包括最新顶替Ilya的Jakub。不过关于安全问题的决策权，虽然领导层是决策者，但董事会拥有推翻决策的权利。目前OpenAI的董事会成员包括，Salesforce共同首席执行官、董事会主席Bret Taylor，经济学家Larry Summers、Quora首席执行官Adam D’Angelo、前比尔及梅琳达·盖茨基金会CEO Sue Desmond-Hellmann、前索尼娱乐总裁Nicole Seligman、Instacart首席执行官Fidji Simo以及奥特曼本人。 ... PC版： 手机版：

Anthropic 聘请前 OpenAI 安全主管领导新团队

Anthropic 聘请前 OpenAI 安全主管领导新团队 OpenAI 安全团队前联合负责人 Jan Leike 周二在社交平台 X 上宣布，他将加入 OpenAI 的竞争对手 Anthropic，领导超级对齐团队。他本月初以“安全问题”为由从 OpenAI 辞职。在社交平台的帖子中，Leike 表示他的新团队将致力于“可扩展监督”、“弱到强的概括”和自动对齐研究。

现在，Jan Leike 将为 OpenAI 的一个竞争对手从事类似的 AI 监督工作。

现在，Jan Leike 将为 OpenAI 的一个竞争对手从事类似的 AI 监督工作。 Jan Leike, 一位关键的 OpenAI 研究员，因为“安全顾虑”在本月早些时候辞职，现已加入竞争对手 Anthropic（代表产品Claude） ，根据莱克在 X 上的帖子，他将“致力于可扩展的监督、从弱到强的泛化以及自动化对齐研究”。 标签: #OpenAI #Anthropic 频道: @GodlyNews1 投稿: @GodlyNewsBot

OpenAI宫斗大戏第二幕 核心安全团队解散 负责人自爆离职内幕

OpenAI宫斗大戏第二幕 核心安全团队解散 负责人自爆离职内幕 访问：NordVPN 立减 75% + 外加 3 个月时长 另有NordPass密码管理器 最新离职的OpenAI高管，超级对齐团队负责人Jan Leike直接撕破脸皮，揭露OpenAI联合创始人兼首席科学家苏茨克维离职内幕阿尔特曼不给资源、力推商业化不顾安全。Leike同时也是OpenAI的联合创始人，属于“保守派”阵营，他在Sutskever宣布离职后仅几个小时就发帖：我辞职了。官宣离职次日，Leike连发十多条帖子，公开解释了离职原因团队分配不到足够的资源：超级对齐团队过去几个月一直在“逆风航行”，在计算上很吃力，完成研究越来越困难；安全并非阿尔特曼的核心优先事项：过去几年，安全文化和流程已经让位于更耀眼的产品。“很长一段时间以来，我与OpenAI领导层对公司核心优先事项的看法一直不合，直到我们终于到了临界点。”这是OpenAI高管级别的人物首次公开承认公司重视产品开发胜过安全。阿尔特曼的回应依旧体面，他表示，自己非常感谢Jan Leike对OpenAI的一致性研究和安全文化所做的贡献，并且很遗憾看到他离开。“他说得对，我们还有很多事情要做，我们致力于做到这一点。我将在未来几天内发布一篇更长的帖子。”投资未来？不 阿尔特曼选择把握现在OpenAI的超级对齐团队于2023年7月成立，由Leike和Sutskever领导，成员为OpenAI前校准部门的科学家和工程师以及来自公司其他机构的研究人员，可以说是一帮技术人员组成的团队。该团队旨在确保人工智能与其制造者的目标保持一致，目标是在未来解决控制超级智能AI的核心技术挑战，“解决如果公司成功构建AGI，实际上会出现不同类型的安全问题。”也就是说，超级对齐团队是在为更强大的AI模型、而非当下的AI模型打造安全罩。正如Leik所说，“我相信我们应该投入更多的精力来为下一代模型做好准备，关注安全性、监控，做好准备、让AI具有对抗性的鲁棒性、（超级）对齐，关注保密性、社会影响等相关主题。这些问题很难做对，我很担心我们没有朝着正确的方向前进。”Leik还指出，虽然目前超智能AI看似遥远，但可能在本十年内出现，管理这些风险需要新的治理机构和对齐技术，从而确保超智能AI系统遵循人类意图。站在阿尔特曼的立场，维护超级对齐团队是一项庞大的开支。OpenAI曾经承诺该团队将获得该公司20%的计算资源，这势必会削弱OpenAI新产品开发的资源，而投资超级对齐团队实际是在投资未来。据OpenAI超级对齐团队的一位人士透露，20%计算资源的承诺被打了折扣，其中一小部分计算的请求经常被拒绝，这阻碍了团队的工作。超级对齐团队解散 然后呢？据《连线》等媒体报道，在Sutskever和Leike相继离职后，OpenAI的超级对齐团队已被解散。其不再是一个专门的团队，而是一个松散的研究小组，分布在整个公司的各个部门。OpenAI的一位发言人将其描述为“更深入地整合（团队）”。有消息称OpenAI的另一位联合创始人约翰•舒尔曼（John Schulman）可能会接手关于与更强大模型相关的风险的研究。这不免让人质疑，Schulman目前的工作任务在于确保OpenAI当前产品的安全，他会重点盯着面向未来的安全团队吗？阿尔特曼另一被人诟病的地方在于“捂嘴”离职员工。自去年11月至今，OpenAI至少有7名注重安全的成员辞职或被开除，但离职员工大多不愿公开谈论此事。据Vox报道，部分原因是OpenAI会让员工在离职时签署带有非贬低条款的协议。如果拒绝签署，就将失去此前拿到的OpenAI的期权，这意味着出来说话的员工可能会损失一笔巨款。一位OpenAI前员工爆料，公司入职文件说明中包含一项：“在离开公司的六十天内，你必须签署一份包含‘一般豁免’的离职文件。如果你没有在60天内完成，你的股权获益将被取消。”阿尔特曼变相承认了此事，他回应称，该公司的离职文件中有一项关于离职员工“潜在股权取消”的条款，但从未付诸实践，“我们从未收回任何人的既得股权。”他还表示，公司正在修改离职协议条款，“如果任何签署了这些旧协议的前雇员对此感到担心，他们可以联系我。”回到OpenAI高层争执的原点，也是这场旷日持久的宫斗的核心矛盾点“保守派”强调先安全再产品，“盈利派”希望尽快落实商业化。OpenAI将如何平衡产品的安全性与商业化？如何挽回愈发糟糕的公众形象？期待阿尔特曼未来几天内的“小作文”。 ... PC版： 手机版：