OpenAI 已解散长期人工智能风险团队

OpenAI 已解散长期人工智能风险团队 去年 7 月，OpenAI 宣布成立一个新的研究团队，为通用人工智能的到来做准备。OpenAI 首席科学家、公司联合创始人之一 Ilya Sutskever 被任命为这个新团队的联合负责人。OpenAI 表示，该团队将获得 20% 的计算能力。 现在 OpenAI 证实，“超级对齐团队”已不复存在。此前多位相关研究人员离职，该团队的两名研究人员 Leopold Aschenbrenner 和 Pavel Izmailov 因泄露公司机密而被解雇，周二 Sutskever 宣布将离开公司，该团队的另一位联合负责人也辞职了。该小组的工作将被纳入 OpenAI 的其他研究工作中。

OpenAI 正在组建一个新团队，以控制“超级智能”人工智能

OpenAI 正在组建一个新团队，以控制“超级智能”人工智能 OpenAI 正在组建一个由其首席科学家兼公司联合创始人之一 Ilya Sutskever 领导的新团队，以开发引导和控制“超级智能”人工智能系统的方法。 ，Sutskever 和 OpenAI 联盟团队的负责人 Jan Leike 预测，人工智能可能会在十年内实现超越人类的智能。苏茨克弗和雷克说，这种人工智能假设它最终确实到来不一定是仁慈的，需要研究控制和限制它的方法。 他们写道：“目前，我们还没有一个解决方案来引导或控制潜在的超级人工智能，并防止其失控。” “我们目前调整人工智能的技术，例如根据人类反馈进行强化学习，依赖于人类监督人工智能的能力。但人类无法可靠地监督比我们聪明得多的人工智能系统。” 为了推动“超级智能对齐”领域的发展，OpenAI 正在创建一个新的超级对齐团队，由 Sutskever 和 Leike 领导，该团队将有权使用公司迄今为止已获得的 20% 的计算资源。该团队由 OpenAI 之前的对准部门的科学家和工程师以及公司其他部门的研究人员加入，目标是在未来四年内解决控制超级智能 AI 的核心技术挑战。

OpenAI 的长期人工智能风险团队已经解散

OpenAI 的长期人工智能风险团队已经解散 5 月 17 日消息，据美国杂志 WIRED 报道，去年 7 月，OpenAI 宣布成立一个新的研究团队，为超级智能的到来做准备，这种超级智能能够智胜和压倒其创造者。OpenAI 的首席科学家、公司联合创始人之一 Ilya Sutskever 被任命为这个新团队的联合领导人。OpenAI 表示，该团队将获得其计算能力的 20%。 现在 OpenAI 的超级对齐团队已经解散，公司证实了这一消息。在此之前，已经有几名参与其中的研究人员离职，周二的消息称 Sutskever 将离开公司，而该团队的另一位联合领导人也辞职了。该团队的工作将被整合到 OpenAI 的其他研究工作中。 来源：财经慢报频道

OpenAI宫斗大戏第二幕 核心安全团队解散 负责人自爆离职内幕

OpenAI宫斗大戏第二幕 核心安全团队解散 负责人自爆离职内幕 访问：NordVPN 立减 75% + 外加 3 个月时长 另有NordPass密码管理器 最新离职的OpenAI高管，超级对齐团队负责人Jan Leike直接撕破脸皮，揭露OpenAI联合创始人兼首席科学家苏茨克维离职内幕阿尔特曼不给资源、力推商业化不顾安全。Leike同时也是OpenAI的联合创始人，属于“保守派”阵营，他在Sutskever宣布离职后仅几个小时就发帖：我辞职了。官宣离职次日，Leike连发十多条帖子，公开解释了离职原因团队分配不到足够的资源：超级对齐团队过去几个月一直在“逆风航行”，在计算上很吃力，完成研究越来越困难；安全并非阿尔特曼的核心优先事项：过去几年，安全文化和流程已经让位于更耀眼的产品。“很长一段时间以来，我与OpenAI领导层对公司核心优先事项的看法一直不合，直到我们终于到了临界点。”这是OpenAI高管级别的人物首次公开承认公司重视产品开发胜过安全。阿尔特曼的回应依旧体面，他表示，自己非常感谢Jan Leike对OpenAI的一致性研究和安全文化所做的贡献，并且很遗憾看到他离开。“他说得对，我们还有很多事情要做，我们致力于做到这一点。我将在未来几天内发布一篇更长的帖子。”投资未来？不 阿尔特曼选择把握现在OpenAI的超级对齐团队于2023年7月成立，由Leike和Sutskever领导，成员为OpenAI前校准部门的科学家和工程师以及来自公司其他机构的研究人员，可以说是一帮技术人员组成的团队。该团队旨在确保人工智能与其制造者的目标保持一致，目标是在未来解决控制超级智能AI的核心技术挑战，“解决如果公司成功构建AGI，实际上会出现不同类型的安全问题。”也就是说，超级对齐团队是在为更强大的AI模型、而非当下的AI模型打造安全罩。正如Leik所说，“我相信我们应该投入更多的精力来为下一代模型做好准备，关注安全性、监控，做好准备、让AI具有对抗性的鲁棒性、（超级）对齐，关注保密性、社会影响等相关主题。这些问题很难做对，我很担心我们没有朝着正确的方向前进。”Leik还指出，虽然目前超智能AI看似遥远，但可能在本十年内出现，管理这些风险需要新的治理机构和对齐技术，从而确保超智能AI系统遵循人类意图。站在阿尔特曼的立场，维护超级对齐团队是一项庞大的开支。OpenAI曾经承诺该团队将获得该公司20%的计算资源，这势必会削弱OpenAI新产品开发的资源，而投资超级对齐团队实际是在投资未来。据OpenAI超级对齐团队的一位人士透露，20%计算资源的承诺被打了折扣，其中一小部分计算的请求经常被拒绝，这阻碍了团队的工作。超级对齐团队解散 然后呢？据《连线》等媒体报道，在Sutskever和Leike相继离职后，OpenAI的超级对齐团队已被解散。其不再是一个专门的团队，而是一个松散的研究小组，分布在整个公司的各个部门。OpenAI的一位发言人将其描述为“更深入地整合（团队）”。有消息称OpenAI的另一位联合创始人约翰•舒尔曼（John Schulman）可能会接手关于与更强大模型相关的风险的研究。这不免让人质疑，Schulman目前的工作任务在于确保OpenAI当前产品的安全，他会重点盯着面向未来的安全团队吗？阿尔特曼另一被人诟病的地方在于“捂嘴”离职员工。自去年11月至今，OpenAI至少有7名注重安全的成员辞职或被开除，但离职员工大多不愿公开谈论此事。据Vox报道，部分原因是OpenAI会让员工在离职时签署带有非贬低条款的协议。如果拒绝签署，就将失去此前拿到的OpenAI的期权，这意味着出来说话的员工可能会损失一笔巨款。一位OpenAI前员工爆料，公司入职文件说明中包含一项：“在离开公司的六十天内，你必须签署一份包含‘一般豁免’的离职文件。如果你没有在60天内完成，你的股权获益将被取消。”阿尔特曼变相承认了此事，他回应称，该公司的离职文件中有一项关于离职员工“潜在股权取消”的条款，但从未付诸实践，“我们从未收回任何人的既得股权。”他还表示，公司正在修改离职协议条款，“如果任何签署了这些旧协议的前雇员对此感到担心，他们可以联系我。”回到OpenAI高层争执的原点，也是这场旷日持久的宫斗的核心矛盾点“保守派”强调先安全再产品，“盈利派”希望尽快落实商业化。OpenAI将如何平衡产品的安全性与商业化？如何挽回愈发糟糕的公众形象？期待阿尔特曼未来几天内的“小作文”。 ... PC版： 手机版：

Anthropic 聘请前 OpenAI 安全负责人领导新团队

Anthropic 聘请前 OpenAI 安全负责人领导新团队 Leike 在 X 上发表文章说，他在 Anthropic 的团队将专注于人工智能安全和安保的各个方面，特别是"可扩展监督"、"弱到强的泛化"和自动对齐研究。一位熟悉内情的消息人士透露，Leike 将直接向 Anthropic 的首席科学官 Jared Kaplan 汇报工作，而 Anthropic 的研究人员目前正在研究可扩展的监督以可预测和理想的方式控制大规模人工智能行为的技术随着 Leike 团队的发展，他们将转而向 Leike 汇报工作。在许多方面，Leike 的团队听起来与 OpenAI最近解散的 Superalignment 团队有着相似的使命。Leike 共同领导的 Superalignment 团队雄心勃勃，目标是在未来四年内解决控制超级智能人工智能的核心技术难题，但经常发现自己受到 OpenAI 领导层的束缚。Anthropic 经常试图将自己定位为比 OpenAI 更注重安全。Anthropic的首席执行官达里奥-阿莫迪（Dario Amodei）曾是OpenAI的研究副总裁，据报道，他在与OpenAI就公司的发展方向（即OpenAI日益增长的商业重心）产生分歧后与OpenAI分道扬镳。阿莫德伊带着许多前OpenAI员工创办了Anthropic公司，其中包括OpenAI的前政策负责人杰克-克拉克（Jack Clark）。 ... PC版： 手机版：

Anthropic 聘请前 OpenAI 安全主管领导新团队

Anthropic 聘请前 OpenAI 安全主管领导新团队 OpenAI 安全团队前联合负责人 Jan Leike 周二在社交平台 X 上宣布，他将加入 OpenAI 的竞争对手 Anthropic，领导超级对齐团队。他本月初以“安全问题”为由从 OpenAI 辞职。在社交平台的帖子中，Leike 表示他的新团队将致力于“可扩展监督”、“弱到强的概括”和自动对齐研究。