此前，OpenAI 解散了致力于解决长期 AI 风险的专门团队（称为“超级对齐团队”）

此前，OpenAI 解散了致力于解决长期 AI 风险的专门团队（称为“超级对齐团队”） Jan Leike，OpenAI 的一位关键研究员，在联合创始人Ilya Sutskever 离职后于本周早些时候辞职。他在周五早上在 X 上发帖称，该公司“安全文化和流程已被华而不实的产品所取代”。 Leike的声明是在《》杂志报道 OpenAI 解散了致力于解决长期 AI 风险的专门团队（称为“超级对齐团队”）之后发表的。Leike曾负责这个超级对齐团队，该团队成立于去年七月，目的是“解决在 OpenAI 开发具有类人推理能力的 AI 时实施安全协议中的核心技术挑战”。 “我们早就应该非常认真地考虑人工通用智能的影响了。我们必须尽我们所能优先准备，”莱克在周五早上关于他辞职的后续帖子中说。“只有这样，我们才能确保人工通用智能惠及全人类。” Leike 的帖子突显了 OpenAI 内部日益增长的紧张氛围。在研究人员争相开发人工通用智能的同时，还要管理像 ChatGPT 和 DALL-E 这样的消费级 AI 产品，像Leike这样的员工则在提出对创造超级智能 AI 模型潜在危险的担忧。Leike表示，他的团队被降低了优先级，无法获得执行“关键”工作所需的计算和其他资源。 标签: #OpenAI 频道: @GodlyNews1 投稿: @GodlyNewsBot

OpenAI成立安全委员会 将开始训练新模型

OpenAI成立安全委员会 将开始训练新模型 OpenAI首席执行官山姆·奥特曼OpenAI在公司博客上表示，董事布雷特·泰勒（Bret Taylor）、亚当·德安吉洛（Adam D'Angelo）和妮可·塞利格曼（Nicole Seligman）也将加入该委员会。值得一提的是，OpenAI致力于防止人工智能失控的“超级对齐”团队刚经历了解散。5月14日，OpenAI联合创始人、首席科学家伊尔亚·苏茨克维（Ilya Sutskever）宣布离职，几小时后，超级对齐团队负责人杨·莱克（Jan Leike）也宣布离职。(作者/周文浩)更多一手新闻，欢迎下载凤凰新闻客户端订阅凤凰网科技。想看深度报道，请微信搜索“凤凰网科技”。 ... PC版： 手机版：

OpenAI 高管 Jan Leike 离职，批判公司内部已不再将“安全”视为优先

OpenAI 高管 Jan Leike 离职，批判公司内部已不再将“安全”视为优先 继 OpenAI 共同创始人 Ilya Sutskever 离职之后，另一名 OpenAI 高管 Jan Leike 在 X 平台发布，宣布他已经在上周离开公司。 Jan Leike 是 OpenAI 旗下 Superalignment（超级对齐）团队的共同主管，他表示最近几年 OpenAI 已经不惜内部文化，忽视安全准则，执意高速推出“吸引眼球”的产品。 OpenAI 在 2023 年 7 月设立 Superalignment 团队，任务是“确保那些具备‘超级智能’、‘比人类还聪明’的 AI 系统能够遵循人类的意图”。当时 OpenAI 承诺在未来的 4 年内投入 20% 的计算能力来保证 AI 模型的安全性，而根据彭博社报道，OpenAI 目前据称已经解散了 Superalignment 团队。来源 ， 频道：@kejiqu 群组：@kejiquchat

OpenAI又上演“权力的游戏”

OpenAI又上演“权力的游戏” 此前，超级对齐团队曾拥有OpenAI20%的算力资源。因此难免让人怀疑，此次OpenAI短时间、大规模的人事变动是否是其发展战略变动的前哨？分歧已久OpenAI内部的分歧存在已久，在去年11月的“宫斗”事件中早已公之于众。此次Ilya Sutskever等一行人的出走，可以看作是历史矛盾的延续。Ilya辞职前，OpenAI内部最大的分歧之一在于对AI安全问题的态度上。科技巨头和初创公司的互卷下，AI技术研发在快车道上一往直前，AGI时代离我们也越来越近。有人认为“OpenAI正在训练更强大的AI系统，目标是最终全面超越人类智能”。未知的全新力量下蕴藏着未知的风险。用前员工的一句话讲，这可能是人类有史以来发生过的最好的事情，但如果我们不小心行事，也可能是最糟糕的事情。当前的AI监管主要集中于“评估风险和采取缓解措施”的组合上，这种组合很容易被大型公司钻空子，最终反而疏于了对最需要被监管的前型AI实验室的监管。超级对齐团队解散前，对于不同时间尺度的AI风险，OpenAI有三个团队来分别应对。“对齐”或“超级对齐”是人工智能领域中使用的术语，指训练人工智能系统在人类需求和优先事项范围内运行的工作。2023年6月5日，超级对齐AI团队首次对外宣布成立。这支团队的使命旨在“解决如果公司成功构建AGI，实际上会出现不同类型的安全问题”也就是AI智能水平不断提高后未来可能出现的安全问题。师从人工智能教父Geoffray Hinton的Ilya是坚持安全第一的安全派。2016年，Ilya以联合创始人、研究总监的身份加入OpenAI，并于2018年担任首席科学家。研发期间，Ilya一直在关注AI大模型的安全问题。Sam Altman则是商业派，致力于开发“更闪亮的产品”，与Google等竞争对手的卯足了劲较量。在他看来，AGI的安全治理问题优先级远远不如推出“闪亮的产品”。虽然Altman在采访中屡次表示对安全问题的重视，但就实际操作而言，算力资源的天平在不断向着研发的一侧倾斜。对于Altman来说，相对于未来态的安全治理，如何加足马力在当前的这场AI竞赛中拔得头筹显然更为重要。对此，OpenAI的前员工、超级对齐成员之一William Saunders在Less Wrong论坛上表示，对OpenAI能否在AGI时代负责任的行动失去了信心。William Saunders并非个例。对OpenAI未来AGI安全部署工作的失望成为超级对其团队不少人离开的关键要素。不少人认为，Ilya出走很可能是已经看到了AGI的安全隐患。OpenAI“权力的游戏”还有几季？在技术驱动的进步面纱下，未来安全团队被迫“重组”。事实上，OpenAI在安全方面的人事一直在不断“跳跃”。2021年，GPT-3的团队负责人Dario和Daniela Amodei因“对安全研究的优先次序”存在分歧而辞职，转身创办了Anthropic。同年，RLHF的发明者兼安全研究主管Dr.Paul Christiano从安全团队中辞职，创办了一个非盈利性的校准研究中心。2023年11月，OpenAI围绕安全问题爆发宫斗，Sam Altman在被撤职100小时后重返OpenAI。2024年，这场“权力的游戏”继续上演。2024年2月15日，安全研究员 William Saunders 在 EA 论坛上总结了自己在 OpenAI 作为超级对齐团队一部分的工作。表示已从OpenAI辞职。3月17日，Jan Leike 离职。Jan Leike参与开发了ChatGPT的核心技术之一人类反馈强化学习RLHF，在其加入OpenAI后，从代码大模型Codex、ChatGPT的前身InstrucGPT，到ChatGPT、GPT-4，他都是重要贡献者。4月，Daniel Kokotajlo在拒绝签署离职协议的情况下辞职，并在此后的媒体采访中公开表示“OpenAI正在训练更强大的AI系统，目标是最终全面超越人类智能。”，自己已经“逐渐对OpenAO领导层以及他们负责地处理AGI的能力失去了信心”。4月11日，安全团队的Leopold Aschenbrenner与推理团队的Pavel Izmailov因涉嫌信息泄密而被开除。安全研究员 Cullen O'Keefe 也离开了OpenAI。5月15日，OpenAI的联合创始人及首席科学家Ilya宣布离职，并在社交平台X上表示自己将开启“接下来的计划这个项目对我个人来说意义重大，我会在适当的时候分享细节。”Ilya宣布离开几小时后，Ilya的同事，OpenAI超级对齐团队联合主管Jan Leike光速宣布辞职，在X上留下两个字母：I resigned。Leike 自2021 年加入 OpenAI，并于2023年开始领导超级对齐团队。在此后几天，Jan Leike陆续在X上揭开此次出走的“内幕”：“我与 OpenAI 领导层在公司的核心优先事项上存在分歧已有一段时间，直到我们最终达到了临界点”“过去几个月，我的团队一直在逆风前行”“建造比人类更聪明的机器本质上是一项危险的工作……但在过去的几年里，安全文化和流程已经让位于闪亮的产品”。他认为OpenAI“应该把更多的精力花在为下一代模型做准备上，包括安全性、监控、准备、安全、对抗鲁棒性、（超级）对齐、保密性、社会影响和相关主题，这些问题很难解决，我担心我们还没有走上正确的轨道。”超级对齐成员之一William Saunders，以及参与过GPT-4对抗性测试的Daniel Kokotajlo，此前两人均已离开OpenAI。在诸多离职的人中，Daniel Kokotajlo和Jan Leike属于敢直接批判OpenAI在安全领域和发展方向存在问题的“特殊群体”。个中原因很可能是OpenAI的“封口协议”。根据OpenAI前员工Kelsey Piper 爆料，OpenAI的员工需签署一份带有非贬低协议的离职协议，如果拒绝签署，其拿到的股权获益将被取消。而Daniel Kokotajlo则拒绝签署这一协议。在Sutskever和Leike 退出后，OpenAI向CNN 证实，最近几周已开始解散其超级对齐团队，转而整合各个研究小组的团队成员。OpenAI的发言人表示，该结构将帮助 OpenAI 更好地实现其超级对齐目标。事实上，该业务线新的领导者John Schulma此前是负责OpenAI现有产品的安全问题。而将纵向超级对齐团队横向合并也意味着，未来安全把关人在一定程度上的消失。浮世新人换旧人，Sam Altman在社交平台X上表达了对于Ilya离开的遗憾，表示“他走后的OpenAI不再和从前一样”，但旋即又在同一条帖子宣布任命了新的首席科学家JakubPachoki。此外，OpenAI近日还聘请了在Google搜索广告业务工作了多年的资深人士Shivakumar Venkataraman。自此，OpenAI的发展战略阶段性地实现了表面一致以“党同伐异”的代价。 ... PC版： 手机版：

Ilya离开OpenAI内幕曝光：奥特曼砍他团队算力 优先搞产品赚钱

Ilya离开OpenAI内幕曝光：奥特曼砍他团队算力 优先搞产品赚钱 访问：NordVPN 立减 75% + 外加 3 个月时长 另有NordPass密码管理器 紧接着，更多的八卦被其他人挖出来。比如OpenAI离职成员都要签一份协议，保证离职后不在外说OpenAI坏话，不签的话视为自动放弃公司股份。但仍然有拒不签署的硬骨头出来放猛料（笑死），说核心领导层对安全问题优先级的分歧由来已久。去年宫斗至今，两派的观念冲突到达了临界点，这才看上去颇为体面地崩了。因此，尽管奥特曼已经派了联合创始人来接管超级对齐团队，仍旧不被外界看好。冲在最一线的Twitter网友们感谢Jan有勇气说出这个惊人大瓜，并感叹：我勒个去，看来OpenAI真的不太注重这个安全性！不过回过头来，如今执掌OpenAI的奥特曼这边，暂时还坐得住。他站出来感谢了Jan对OpenAI超级对齐和安全方面的贡献，表示Jan离开，他其实很难过、很舍不得。当然了，重点其实是这一句：等着，过两天我会发一篇比这更长的推文。承诺的20%算力居然有画大饼成分从去年OpenAI宫斗到现在，灵魂人物、前首席科学家Ilya就几乎不再公开露面、公开发声。在他公开宣称离职前，就已经众说纷纭。很多人认为Ilya看到了一些可怕的事情，比如可能毁灭人类的AI系统啥的。网友：我每天醒来第一件事就是想Ilya看到了啥这次Jan算是摊开了说，核心原因就是技术派和市场派对安全方面的优先等级产生了不同看法。分歧很严重，目前后果嘛……大家也都看到了。据Vox报道，熟悉OpenAI的消息人士透露，更注重安全的员工已经对奥特曼失去了信心，“这是一个信任一点一点崩溃的过程”。但如你所见，在公开平台和场合，没有太多离职员工愿意公开谈论此事。一部分原因是OpenAI一直以来，都有让员工签署带有非贬低协议的离职协议的传统。如果拒绝签署，就等于放弃了此前拿到的OpenAI的期权，这意味着出来说话的员工可能会损失一笔巨款。然而，多米诺骨牌还是一张接一张的倒下了Ilya的辞职加剧了OpenAI近期的离职潮。紧随其后宣布离职的，除了超级对齐团队负责人Jan以外，目前有至少五个安全团队成员离职。其中还有个没签署非贬低协议的硬骨头，Daniel Kokotajlo（以下简称DK哥）。去年DK哥写道，他认为AI发生生存灾难的可能性为70%DK哥在2022年加入OpenAI，在治理团队工作，主要工作内容是引导OpenAI安全部署AI。但他也在近期辞职了，并且对外接受了采访：OpenAI正在训练更强大的AI系统，目标是最终全面超越人类智能。这可能是人类有史以来发生过的最好的事情，但如果我们不小心行事，也可能是最糟糕的事情。DK哥阐述，当年，他加入OpenAI，满怀对安全治理的报复和希望，期望OpenAI越靠近AGI能越负责任。但团队中许多人慢慢意识到，OpenAI不会这样了。“逐渐对OpenAO领导层以及他们负责地处理AGI的能力失去了信心”，这就是DK哥辞职的原因。对未来AGI安全工作的失望，是Ilya加剧的离职潮中众人离开的一部分原因。还有一部分原因，是超级对齐团队，恐怕没有外界想象的那样能资源充沛地进行研究。即便超级对齐团队满负荷工作，团队也只能获得OpenAI承诺的20%的算力。而且团队的一些请求经常被拒绝。当然是因为算力资源对AI公司来说重要至极，每一点都要合理分配；也因为超级对齐团队的工作是“解决如果公司成功构建AGI，实际上会出现不同类型的安全问题”。换句话说，超级对齐团队对应的是OpenAI需要面临的未来的安全问题划重点，是未来的、不知是否会出现的。截至发稿，奥特曼还没有发出他那篇“（比Jan爆料内幕的）更长的推文”。但他简单提到，Jan对安全问题的担忧是对的，“我们还有很多事情要做；我们也致力于这样做。”就这一点，大伙儿可以先办个小板凳等等，到时候咱一起第一时间吃瓜。综上，现在超级对齐团队走了好些人，尤其是Ilya和Jan的离职，让这个风雨之中的团队面临群龙无首的窘况。后续安排，是联合创始人John Schulma来接手，但不再有专门的团队。新的超级对齐团队将是联系更松散的小组，成员分布在整个公司的各个部门，OpenAI发言人将其描述为“更深入地整合”。这一点也为外界所质疑，因为John的原本全职工作是确保目前的OpenAI产品的安全问题。不知道突然多了份责任后，John能不能忙得过来，好好领导关注现在和关注未来安全问题的两个团队？Ilya-Altman之争如果把时间阵线拉长， 其实今天的分崩离析是OpenAI“宫斗”Ilya-Altman之争的续集。时间回溯到去年11月，当时Ilya还在，他同OpenAI董事会合作试图解雇掉奥特曼。当时给出的理由是，他在沟通中不够真诚。换言之，我们不信任他。但最终结果显而易见，奥特曼带着他的“盟友”威胁加入微软，结果董事会屈服，罢免行动失败。Ilya离开董事会。而奥特曼这边，选择了对他更为有利的成员加入董事会。在这之后，Ilya就再也社交平台上消失了，直至前几天官宣离职。而且据说，已经大约6个月没有出现在OpenAI办公室了。当时他还留下一条耐人寻味的推文，但很快就删除了。在过去的一个月里，我吸取了许多教训。其中一个教训是，“在士气提高之前，殴打会一直持续下去 ”这句话比它应有的含义更经常地适用。但据内部人士透露，Ilya一直远程共同领导着超级对齐团队。而在奥特曼这边，员工们对他最大的指控就是言行不一，比如他声称自己想优先考虑安全，但他的行为却很矛盾。除了原本承诺的计算资源没有给到外。还有像前阵子找沙特等筹集资金来造芯。那些注重安全的员工懵了。如果他真的关心以尽可能安全的方式构建和部署人工智能，那么就不会这么疯狂地积累芯片，来加速技术的发展？更早之前，OpenAI还从一家奥特曼投资的一家初创公司订购芯片。金额高达5100万美元（约合人民币3.6亿元）。而当时宫斗那几天OpenAI前员工的举报信中，对于奥特曼的描述似乎也再一次印证。也正因这样从始至终“言行不一”的操作，让员工们逐渐对OpenAI以及奥特曼失去信心。Ilya是这样，Jan Laike是这样，超级对齐团队也是这样。有贴心的网友整理出这几年年间，发生的相关事情的重要节点先来个贴心提示，下文提到的P（doom），指“AI引发世界末日场景的可能性”。2021年，GPT-3团队负责人因“安全”问题离开OpenAI，创立Anthropic；其中一位认为P（doom）为10-25%；2021年，RLHF安全研究负责人离职，P（doom）为50%；2023年，OpenAI董事会解雇奥特曼；2024年，OpenAI解雇两位安全研究员；2024年，一位特别关注安全的OpenAI研究员离职，他认为P（doom）已经在70%。2024年，Ilya、JAN Laike离职。技术派还是市场派？大模型发展至今，“如何实现AGI？”其实可归结为两条路线。技术派希望技术成熟可控再应用；市场派则认为边开放边应用“渐进式”走到终点。这也是Ilya-Altman之争的根本分歧，即OpenAI的使命：是专注于AGI和超级对齐，还是专注于扩展ChatGPT服务？ChatGPT服务规模越大，意味着需要的计算量越大；这也就会占用AGI安全研究的时间。如果OpenAI是个致力于研究的非盈利组织，他们应该将更多时间花费在超级对齐上。而从OpenAI对外的一些举措来看，结果显然不是，他们只是想要在大模型这个竞争中拔得头筹，为企业和消费者提供更多的服务。这在Ilya看来，这是件非常危险的事情。即便我们不清楚随着规模的扩大会发生什么，但在Ilya看来，最好的办法就是安全第一。开放和透明，这样我们人类才能确保安全地构建 AGI，而不是以某种隐秘的方式。但在奥特曼带领... PC版： 手机版：