核心安全团队解散后 OpenAI公布10大安全措施

核心安全团队解散后 OpenAI公布10大安全措施 如何安全地发展人工智能？5月21日周二，为期两天的“AI首尔峰会”以在线视频的方式开幕。本次会议主题主要围绕如何安全地发展AI。世界各地的领导人、科技公司的高管以及国际组织的代表，在会上共同讨论了AI的风险和潜在的好处。在韩国总统尹锡悦和英国首相苏纳克的共同主持下，16家世界领先的AI公司，包括Meta、OpenAI、谷歌、亚马逊、微软等均做出了自愿承诺，保证在开发最前沿的AI技术时注重安全，确保AI系统不会失控并危害人类。如果发现某些极端风险无法控制，他们甚至会选择停止相关AI模型的开发。同时，AI公司们还提出需要制定一些规则和政策框架，来评估和控制AI可能带来的风险。不仅是公司，一些国家的集团（比如G7、欧盟等）也表示支持这个想法，他们同意要把AI的安全和创新放在重要位置。与会者还强调，虽然公司可以自愿承诺要安全使用AI，但也需要有政府出台相关的法律来确保这些承诺能落到实处。被称为“人工智能教父”的计算机科学家Yoshua Bengio称，自愿承诺必须伴随法律监管。目前，全球各地的政府都在努力制定AI相关的法规，例如，联合国已经通过了关于AI系统安全使用的第一项决议，而欧盟的AI法案预计今年晚些时候将生效。对此，网友们纷纷点赞称：“这真是个好消息！很高兴看到欧盟为协调人工智能法规而采取的进步措施。这确实有助于为人工智能道德和安全制定高标准。期待看到该法案的积极影响显现！”虽然AI技术的迅速发展虽然可以造福人类，但同时来带了一些问题，如大批量失业、误导人们、传播错误信息等。牛津大学在X上发帖表示：“全球的AI界正在努力推动AI技术的能力越来越强大，但安全和伦理问题往往是事后才考虑的。科学家们在向世界领导人发出呼吁，要求对AI带来的风险采取行动。他们警告说，自从AI安全峰会以来，在处理这些风险方面的进展还不够。”在核心安全团队解散风波后，OpenAI披露公司安全措施最新情况，消除网友对公司安全问题的担忧例如，在此前OpenAI解散了AI风险团队事件中，该团队负责人Jan Leike离职后吐真言，指责OpenAI在过去几年里将华而不实的产品凌驾于安全之上，并呼吁OpenAl必须成为一家以安全为先的通用人工智能公司。Jan的发言引起了网友的广泛担忧，网友担心OpenAI是否能确保AI技术安全可靠地发展。5月21日，在核心安全团队解散风波后，OpenAI在“AI首尔峰会”上公开分享了公司正在实施的10大安全措施：模型测试与评估：在发布新的AI模型前，OpenAI会进行严格的安全测试，包括内部和外部的评估。如果发现风险超过了他们可接受的“中等”水平，他们会先进行改进，直到风险降低到可以接受的程度。他们还会请外部的专家来帮助评估风险。持续的安全与对齐研究：随着时间的推移，他们的模型在安全性上有了显著改进，这包括减少错误信息的产生和在不利条件下减少有害内容的输出。公司还在投资实用的安全系统和研究，来进一步提高模型的安全性。监控滥用行为：随着越来越强大的语言模型的部署，公司使用了各种工具来监控安全风险和滥用行为。他们与合作伙伴（如微软）共同揭露了技术被滥用的情况，以帮助其他人更好地防范类似风险。系统性的安全措施：公司在模型的每个生命周期阶段实施安全措施，从训练前到部署。他们在数据安全、模型行为控制和监控基础设施方面进行投资。保护儿童：保护儿童是他们工作的重点。公司在其产品中内置了强大的安全措施，以减少对儿童的潜在危害。选举完整性：公司与政府和其他利益相关者合作，以防止AI生成内容的滥用，确保内容透明度，并改善公众获取准确投票信息的途径。影响评估和政策分析投资：公司的影响评估工作对研究、行业规范和政策具有广泛的影响。他们也出版了关于如何管理与语言模型相关的风险的先驱性研究。安全与访问控制措施：公司重视保护客户、知识产权和数据安全。他们控制对AI模型的访问，并投资于网络安全，如内外部渗透测试和悬赏寻找漏洞的计划。与政府合作：公司与全球各地的政府合作，共同制定有效且可适应的AI安全政策。安全决策和董事会监督：公司有一个称为“准备框架”的系统，这个框架AI安全决策提供了指导。公司还有一个跨功能的安全顾问小组，这个小组由来自公司不同部门的成员组成。他们的任务是审查AI模型的性能报告，评估这些模型是否安全，以及在模型正式发布前提出改进建议。尽管有安全顾问小组提供建议和信息，但最终决定权在公司的高层领导手中。在这整个过程中，公司的董事会也会进行监督。最后，OpenAI还计划在未来继续改进这些做法。对此，网友在X上纷纷对OpenAI表示感谢：“很好，感谢更新！安全第一，人工智能第二。”“继续致力于安全。非常感谢！” ... PC版： 手机版：

OpenAI宫斗大戏第二幕 核心安全团队解散 负责人自爆离职内幕

OpenAI宫斗大戏第二幕 核心安全团队解散 负责人自爆离职内幕 访问：NordVPN 立减 75% + 外加 3 个月时长 另有NordPass密码管理器 最新离职的OpenAI高管，超级对齐团队负责人Jan Leike直接撕破脸皮，揭露OpenAI联合创始人兼首席科学家苏茨克维离职内幕阿尔特曼不给资源、力推商业化不顾安全。Leike同时也是OpenAI的联合创始人，属于“保守派”阵营，他在Sutskever宣布离职后仅几个小时就发帖：我辞职了。官宣离职次日，Leike连发十多条帖子，公开解释了离职原因团队分配不到足够的资源：超级对齐团队过去几个月一直在“逆风航行”，在计算上很吃力，完成研究越来越困难；安全并非阿尔特曼的核心优先事项：过去几年，安全文化和流程已经让位于更耀眼的产品。“很长一段时间以来，我与OpenAI领导层对公司核心优先事项的看法一直不合，直到我们终于到了临界点。”这是OpenAI高管级别的人物首次公开承认公司重视产品开发胜过安全。阿尔特曼的回应依旧体面，他表示，自己非常感谢Jan Leike对OpenAI的一致性研究和安全文化所做的贡献，并且很遗憾看到他离开。“他说得对，我们还有很多事情要做，我们致力于做到这一点。我将在未来几天内发布一篇更长的帖子。”投资未来？不 阿尔特曼选择把握现在OpenAI的超级对齐团队于2023年7月成立，由Leike和Sutskever领导，成员为OpenAI前校准部门的科学家和工程师以及来自公司其他机构的研究人员，可以说是一帮技术人员组成的团队。该团队旨在确保人工智能与其制造者的目标保持一致，目标是在未来解决控制超级智能AI的核心技术挑战，“解决如果公司成功构建AGI，实际上会出现不同类型的安全问题。”也就是说，超级对齐团队是在为更强大的AI模型、而非当下的AI模型打造安全罩。正如Leik所说，“我相信我们应该投入更多的精力来为下一代模型做好准备，关注安全性、监控，做好准备、让AI具有对抗性的鲁棒性、（超级）对齐，关注保密性、社会影响等相关主题。这些问题很难做对，我很担心我们没有朝着正确的方向前进。”Leik还指出，虽然目前超智能AI看似遥远，但可能在本十年内出现，管理这些风险需要新的治理机构和对齐技术，从而确保超智能AI系统遵循人类意图。站在阿尔特曼的立场，维护超级对齐团队是一项庞大的开支。OpenAI曾经承诺该团队将获得该公司20%的计算资源，这势必会削弱OpenAI新产品开发的资源，而投资超级对齐团队实际是在投资未来。据OpenAI超级对齐团队的一位人士透露，20%计算资源的承诺被打了折扣，其中一小部分计算的请求经常被拒绝，这阻碍了团队的工作。超级对齐团队解散 然后呢？据《连线》等媒体报道，在Sutskever和Leike相继离职后，OpenAI的超级对齐团队已被解散。其不再是一个专门的团队，而是一个松散的研究小组，分布在整个公司的各个部门。OpenAI的一位发言人将其描述为“更深入地整合（团队）”。有消息称OpenAI的另一位联合创始人约翰•舒尔曼（John Schulman）可能会接手关于与更强大模型相关的风险的研究。这不免让人质疑，Schulman目前的工作任务在于确保OpenAI当前产品的安全，他会重点盯着面向未来的安全团队吗？阿尔特曼另一被人诟病的地方在于“捂嘴”离职员工。自去年11月至今，OpenAI至少有7名注重安全的成员辞职或被开除，但离职员工大多不愿公开谈论此事。据Vox报道，部分原因是OpenAI会让员工在离职时签署带有非贬低条款的协议。如果拒绝签署，就将失去此前拿到的OpenAI的期权，这意味着出来说话的员工可能会损失一笔巨款。一位OpenAI前员工爆料，公司入职文件说明中包含一项：“在离开公司的六十天内，你必须签署一份包含‘一般豁免’的离职文件。如果你没有在60天内完成，你的股权获益将被取消。”阿尔特曼变相承认了此事，他回应称，该公司的离职文件中有一项关于离职员工“潜在股权取消”的条款，但从未付诸实践，“我们从未收回任何人的既得股权。”他还表示，公司正在修改离职协议条款，“如果任何签署了这些旧协议的前雇员对此感到担心，他们可以联系我。”回到OpenAI高层争执的原点，也是这场旷日持久的宫斗的核心矛盾点“保守派”强调先安全再产品，“盈利派”希望尽快落实商业化。OpenAI将如何平衡产品的安全性与商业化？如何挽回愈发糟糕的公众形象？期待阿尔特曼未来几天内的“小作文”。 ... PC版： 手机版：

奥特曼和Brockman回应OpenAI安全团队辞职：未来比过去更艰难

奥特曼和Brockman回应OpenAI安全团队辞职：未来比过去更艰难 访问：NordVPN 立减 75% + 外加 3 个月时长 另有NordPass密码管理器 第二天，OpenAI 首席执行官 Sam Altman 和总裁兼联合创始人 Greg Brockman 回应了 Leike 关于公司不关注安全的说法。除其他外，Leike 还表示，近年来 OpenAI 的安全文化和流程已经让位于闪亮的产品，他的团队很难获得资源来完成安全工作。雷克写道：我们早就应该认真对待 AGI（通用人工智能）的影响了。我们必须优先考虑尽我们所能为他们做好准备。周五， Altman在雷克的转发中首先做出了回应，称雷克是对的，OpenAI 还有很多事情要做，并且致力于这样做。他承诺将会发布更长的帖子。周六，布罗克曼在 X 上发布了他自己和 Altman 的共同回应：在对雷克的工作表示感谢后，布罗克曼和奥尔特曼表示，他们在雷克辞职后收到了一些问题。他们分享了三点，第一是 OpenAI 提高了人们对 AGI 的认识，以便世界能够更好地为此做好准备。他们写道：我们一再证明扩大深度学习规模所带来的巨大可能性，并分析其影响；在 AGI 的国际治理流行之前就呼吁这种呼吁；并帮助开拓评估人工智能系统灾难风险的科学。第二点是，他们正在为这些技术的安全部署奠定基础，并以员工为以安全的方式将ChatGPT-4 带到世界”所做的工作为例。两人声称，自那时以来（OpenAI 于 2023 年 3 月发布了 ChatGPT-4），该公司根据部署中吸取的经验教训，不断改进模型行为和滥用监控。第三点？ “未来将比过去更艰难，”他们写道。 Brock 和 Altman 解释说，OpenAI 在发布新模型时需要不断提升其安全工作，并引用该公司的准备框架作为帮助实现这一目标的一种方式。根据 OpenAI 网站上的页面，该框架预测可能出现的灾难性风险，并寻求减轻这些风险。然后，布罗克曼和奥特曼继续讨论未来，OpenAI 的模型将更加融入世界，更多的人与它们互动。他们认为这是一件有益的事情，并相信可以安全地做到这一点“但这需要大量的基础工作。”因此，该公司可能会推迟发布时间表，以便模型达到其安全标准。“我们知道我们无法想象未来所有可能的情况。”他们说。 “因此，我们需要有一个非常严格的反馈循环、严格的测试、每一步都仔细考虑、世界一流的安全性以及安全性和功能的和谐。”领导人表示，OpenAI 将继续与政府和利益相关者就安全问题进行研究和合作。他们总结道：对于如何走上通用人工智能之路，目前还没有经过验证的剧本。我们认为实证理解可以帮助指明前进的方向。我们相信，既能带来巨大的好处，又能努力减轻严重的风险；我们非常认真地对待我们在这里的角色，并仔细权衡对我们行动的反馈。OpenAI 首席科学家 Ilya Sutskever本周也辞职，这一事实使雷克的辞职和言论变得更加复杂。 #WhatDidIlyaSee成为 X 上的热门话题，标志着人们对 OpenAI 高层领导者所了解的事情的猜测。从布罗克曼和奥特曼今天声明的负面反应 来看，这并没有消除任何这种猜测。截至目前，该公司正在推进下一个版本：语音助手ChatGPT-4o 。 ... PC版： 手机版：

OpenAI“保卫人类”团队分崩离析 Ilya与Altman内讧曝光

OpenAI“保卫人类”团队分崩离析 Ilya与Altman内讧曝光 访问：NordVPN 立减 75% + 外加 3 个月时长 另有NordPass密码管理器 “在OpenAI工作近十年后，我决定离开 。这间公司取得了令人难以置信的进步，我相信在 Sam、Greg、Mira，以及杰出的研究领导者Jakub带领下，OpenAI将构建安全有益的通用人工智能。和各位共事是一种荣幸，我将深深怀念所有人。非常感谢这一切，祝大家一切顺利！我对即将到来的项目感到兴奋这对我来说意义重大，我将在适当的时候分享详细信息。”下面还附上了一张办公室合影，缅怀几人的革命友情。靴子落地，事情走向基本符合大众心理预判。Lex Fridman、Jeff Dean等一众大佬和网友们都在评论区致以祝福，感谢Ilya在OpenAI所做的一切。奥特曼也随即发表了一篇稍显正式的回应，与以往不分大小写的随意风格形成鲜明对比。他表示自己对Ilya 和 OpenAI 即将分道扬镳感到“非常悲伤”，称赞Ilya是”这一代最杰出的人才之一，AI领域的指路明灯，也是一位亲密朋友”。不仅有才华和远见，还有温暖的同情心。“没有他，OpenAI 不会成为今天的样子”。他永远对Ilya怀有感激，并承诺完成他们共同开始的使命。同时，奥特曼宣布曾领导OpenAI推理团队、深度学习科学团队和GPT-4开发的前研究总监Jakub Pachocki接棒Ilya，成为新任首席科学家。然后又转发Ilya的照片说，”feeling the AGI today”。还到IlyaTwitter下面借网友热梗留言打趣，“别告诉他们你看到了什么。”从去年11月的宫斗风波传到现在，终于一切都在看起来欢乐祥和的美好氛围中画上句点。然鹅确实如此吗？咱先别太天真，要真这么平静那就不是OpenAI了。果然，当晚9：43，第一个“离职侠“出现：曾与Ilya共同领导OpenAI“超级对齐团队”的Jan Leike在X发文宣布，”我（也）撤了。”Jan Leike 2021年从GoogleDeepMind团队加入OpenAI，主要研究方向包括强化学习、大语言模型的对齐工程及AGI，属于Ilya阵营的人。他和Ilya的Superalignment团队旨在未来四年内，构建一个能与人类水平相媲美的自动对齐研究器，尽可能将相关工作交由自动系统完成，同时确保人工智能系统的行为与人类价值观和目标保持一致。上月，媒体曾报道过对齐团队的两名员工，也同为Ilya盟友的Leopold Aschenbrenner和Pavel Izmailov因“泄密”而被公司开除，但OpenAI并未提供任何泄密证据。这还不算，刚刚OpenAI内部证实，该团队现在已经被解散了！相应工作将被整合到其他研究小组。熟悉的配方，熟悉的味道，跟上次奥特曼被董事会罢免Greg Brockman甩手走人如出一辙。无怪乎网友摊手：“你们又来了是吧？”（Logan Kilpatrick这则留言也让广大吃瓜群众浮想联翩。）第二天，OpenAI前工程负责人，曾领导过ChatGPT, GPT-4, DALL·E和APIs上线的Evan Morikawa也宣布离开，将与前波士顿动力高级机器人学家Andy Barry和Deep Mind研究科学家Pete Florence 和 Andy Zeng共同开展一个全新项目，并认为“这是在全球范围内实现 AGI 所必需的”。时间来到今天。Jan Leike又出手了，而且是重拳出击。直接公开透露自己与OpenAI高层在公司的核心优先事项上存在“无法调和”的长期分歧，团队在推动项目和争取计算资源时遭遇重大阻碍，严重影响研究的进度和质量。他先是表明昨天是自己在 OpenAI ”作为对齐负责人、超级对齐负责人和高管的最后一天“。肯定了团队过去三年多来取得的显著成绩：推出第一个基于 RLHF 的大语言模型 InstructGPT，发布第一个大规模监督 LLMs 的方法，并开创了自动解释性和从弱到强的泛化。“我爱我的团队。我非常感激能与这么多了不起的人一起工作…OpenAI 拥有如此多的杰出、聪明、善良和高效的人才。”接着话锋一转开轰，自己对OpenAI，终究是错付了。“离开这份工作是我做过的最艰难事情之一，因为我们迫切需要弄清楚如何引导和控制比我们聪明得多的 AI 。我加入OpenAI是因为我以为这里是世界上最适合进行这项研究的地方。然而，我与OpenAI领导层在公司的核心优先事项上长期存在分歧，直到我们最终达到一个临界点。”这是怎么说？Jan Leike继续解释道：“我相信，我们应该将更多的带宽花在为下一代模型做准备上，关注安全、监控、对抗性稳健性、超级对齐、保密性、社会影响等相关话题。这些问题很难解决，我担心我们还没有走上正轨。过去几个月，我的团队一直在逆风前行。有时我们在计算资源方面挣扎，完成这项关键研究变得越来越困难。”“建造比人类更聪明的机器本质上是一项危险的工作。OpenAI 代表全人类肩负着巨大的责任。但在过去几年里，安全文化和流程让位于光鲜亮丽的产品。我们早该认真重视AGI的影响了，必须优先为其做好准备。只有这样才能确保 AGI 造福全人类。OpenAI 必须成为一个安全至上的 AGI 公司。”最后一条，Jan Leike“语重心长”地致所有OpenAI员工：“学会感受 AGI。对你手中正在构建的事物，态度庄重一些。我相信你们可以‘传递’所需的文化变革。我指望着你们。全世界都在指望你们。:openai-heart:（OpenAI员工最常用的爱心表情）”此番言论一出，当然是立刻炸开锅了！所以是OpenAI为了优先发布亮眼的产品，不重视安全实现AGI。让对齐团队坐冷板凳不说，还不分给计算资源，导致根本无法推进项目，这换谁能忍？网友悟了：“这就是Ilya看到的，并且他一直在告诉董事会并试图反对。他要求的只是专注于 AI 安全，现在Jan也证实了这一点。”还有人梳理出了OpenAI有史以来所有安全团队带头大牛们的离职时间线。包括Anthropic联合创始人Amodei兄妹。“这听起来像是OpenAI想继续烧钱商业化，而不是确保前进步骤的安全。他们想成为大亨，而不是英雄。”更有人爆料说，当员工离开OpenAI时，需要签署一个包含“承诺终身不得贬损公司的离职协议”。如果拒签就会失去所有归属股权，意味着可能会损失数百万美元。对Jan Leiker的长文开炮，奥特曼当然是不会就此作罢的了。很快他便发文“反击”，最后也送了一颗小心心：“我非常感谢 Jan Leike 对 OpenAI 对齐研究和安全文化的贡献，也非常难过看到他离开。他说得对，我们还有很多事情要做，我们承诺会做到。我会在接下来的几天里发一篇更长的文章。”网友留言，“别周一见啊，我那天有重要发布。”看来这新的OpenAI保卫战，AKA “OpenAI内斗第二季之杨莱克大战奥特曼”已经打响，接下来双方的小作文比赛马上要开始。这间公司的每个人好像都给自己安排了主角光环，隔一段时间就上演一段大戏的惯例已成。这次如何走向，会不会又来一场员工群体运动？OpenAI算是消停不下来了。 ... PC版： 手机版：

Anthropic 聘请前 OpenAI 安全负责人领导新团队

Anthropic 聘请前 OpenAI 安全负责人领导新团队 Leike 在 X 上发表文章说，他在 Anthropic 的团队将专注于人工智能安全和安保的各个方面，特别是"可扩展监督"、"弱到强的泛化"和自动对齐研究。一位熟悉内情的消息人士透露，Leike 将直接向 Anthropic 的首席科学官 Jared Kaplan 汇报工作，而 Anthropic 的研究人员目前正在研究可扩展的监督以可预测和理想的方式控制大规模人工智能行为的技术随着 Leike 团队的发展，他们将转而向 Leike 汇报工作。在许多方面，Leike 的团队听起来与 OpenAI最近解散的 Superalignment 团队有着相似的使命。Leike 共同领导的 Superalignment 团队雄心勃勃，目标是在未来四年内解决控制超级智能人工智能的核心技术难题，但经常发现自己受到 OpenAI 领导层的束缚。Anthropic 经常试图将自己定位为比 OpenAI 更注重安全。Anthropic的首席执行官达里奥-阿莫迪（Dario Amodei）曾是OpenAI的研究副总裁，据报道，他在与OpenAI就公司的发展方向（即OpenAI日益增长的商业重心）产生分歧后与OpenAI分道扬镳。阿莫德伊带着许多前OpenAI员工创办了Anthropic公司，其中包括OpenAI的前政策负责人杰克-克拉克（Jack Clark）。 ... PC版： 手机版：

Ilya离开OpenAI内幕曝光：奥特曼砍他团队算力 优先搞产品赚钱

Ilya离开OpenAI内幕曝光：奥特曼砍他团队算力 优先搞产品赚钱 访问：NordVPN 立减 75% + 外加 3 个月时长 另有NordPass密码管理器 紧接着，更多的八卦被其他人挖出来。比如OpenAI离职成员都要签一份协议，保证离职后不在外说OpenAI坏话，不签的话视为自动放弃公司股份。但仍然有拒不签署的硬骨头出来放猛料（笑死），说核心领导层对安全问题优先级的分歧由来已久。去年宫斗至今，两派的观念冲突到达了临界点，这才看上去颇为体面地崩了。因此，尽管奥特曼已经派了联合创始人来接管超级对齐团队，仍旧不被外界看好。冲在最一线的Twitter网友们感谢Jan有勇气说出这个惊人大瓜，并感叹：我勒个去，看来OpenAI真的不太注重这个安全性！不过回过头来，如今执掌OpenAI的奥特曼这边，暂时还坐得住。他站出来感谢了Jan对OpenAI超级对齐和安全方面的贡献，表示Jan离开，他其实很难过、很舍不得。当然了，重点其实是这一句：等着，过两天我会发一篇比这更长的推文。承诺的20%算力居然有画大饼成分从去年OpenAI宫斗到现在，灵魂人物、前首席科学家Ilya就几乎不再公开露面、公开发声。在他公开宣称离职前，就已经众说纷纭。很多人认为Ilya看到了一些可怕的事情，比如可能毁灭人类的AI系统啥的。网友：我每天醒来第一件事就是想Ilya看到了啥这次Jan算是摊开了说，核心原因就是技术派和市场派对安全方面的优先等级产生了不同看法。分歧很严重，目前后果嘛……大家也都看到了。据Vox报道，熟悉OpenAI的消息人士透露，更注重安全的员工已经对奥特曼失去了信心，“这是一个信任一点一点崩溃的过程”。但如你所见，在公开平台和场合，没有太多离职员工愿意公开谈论此事。一部分原因是OpenAI一直以来，都有让员工签署带有非贬低协议的离职协议的传统。如果拒绝签署，就等于放弃了此前拿到的OpenAI的期权，这意味着出来说话的员工可能会损失一笔巨款。然而，多米诺骨牌还是一张接一张的倒下了Ilya的辞职加剧了OpenAI近期的离职潮。紧随其后宣布离职的，除了超级对齐团队负责人Jan以外，目前有至少五个安全团队成员离职。其中还有个没签署非贬低协议的硬骨头，Daniel Kokotajlo（以下简称DK哥）。去年DK哥写道，他认为AI发生生存灾难的可能性为70%DK哥在2022年加入OpenAI，在治理团队工作，主要工作内容是引导OpenAI安全部署AI。但他也在近期辞职了，并且对外接受了采访：OpenAI正在训练更强大的AI系统，目标是最终全面超越人类智能。这可能是人类有史以来发生过的最好的事情，但如果我们不小心行事，也可能是最糟糕的事情。DK哥阐述，当年，他加入OpenAI，满怀对安全治理的报复和希望，期望OpenAI越靠近AGI能越负责任。但团队中许多人慢慢意识到，OpenAI不会这样了。“逐渐对OpenAO领导层以及他们负责地处理AGI的能力失去了信心”，这就是DK哥辞职的原因。对未来AGI安全工作的失望，是Ilya加剧的离职潮中众人离开的一部分原因。还有一部分原因，是超级对齐团队，恐怕没有外界想象的那样能资源充沛地进行研究。即便超级对齐团队满负荷工作，团队也只能获得OpenAI承诺的20%的算力。而且团队的一些请求经常被拒绝。当然是因为算力资源对AI公司来说重要至极，每一点都要合理分配；也因为超级对齐团队的工作是“解决如果公司成功构建AGI，实际上会出现不同类型的安全问题”。换句话说，超级对齐团队对应的是OpenAI需要面临的未来的安全问题划重点，是未来的、不知是否会出现的。截至发稿，奥特曼还没有发出他那篇“（比Jan爆料内幕的）更长的推文”。但他简单提到，Jan对安全问题的担忧是对的，“我们还有很多事情要做；我们也致力于这样做。”就这一点，大伙儿可以先办个小板凳等等，到时候咱一起第一时间吃瓜。综上，现在超级对齐团队走了好些人，尤其是Ilya和Jan的离职，让这个风雨之中的团队面临群龙无首的窘况。后续安排，是联合创始人John Schulma来接手，但不再有专门的团队。新的超级对齐团队将是联系更松散的小组，成员分布在整个公司的各个部门，OpenAI发言人将其描述为“更深入地整合”。这一点也为外界所质疑，因为John的原本全职工作是确保目前的OpenAI产品的安全问题。不知道突然多了份责任后，John能不能忙得过来，好好领导关注现在和关注未来安全问题的两个团队？Ilya-Altman之争如果把时间阵线拉长， 其实今天的分崩离析是OpenAI“宫斗”Ilya-Altman之争的续集。时间回溯到去年11月，当时Ilya还在，他同OpenAI董事会合作试图解雇掉奥特曼。当时给出的理由是，他在沟通中不够真诚。换言之，我们不信任他。但最终结果显而易见，奥特曼带着他的“盟友”威胁加入微软，结果董事会屈服，罢免行动失败。Ilya离开董事会。而奥特曼这边，选择了对他更为有利的成员加入董事会。在这之后，Ilya就再也社交平台上消失了，直至前几天官宣离职。而且据说，已经大约6个月没有出现在OpenAI办公室了。当时他还留下一条耐人寻味的推文，但很快就删除了。在过去的一个月里，我吸取了许多教训。其中一个教训是，“在士气提高之前，殴打会一直持续下去 ”这句话比它应有的含义更经常地适用。但据内部人士透露，Ilya一直远程共同领导着超级对齐团队。而在奥特曼这边，员工们对他最大的指控就是言行不一，比如他声称自己想优先考虑安全，但他的行为却很矛盾。除了原本承诺的计算资源没有给到外。还有像前阵子找沙特等筹集资金来造芯。那些注重安全的员工懵了。如果他真的关心以尽可能安全的方式构建和部署人工智能，那么就不会这么疯狂地积累芯片，来加速技术的发展？更早之前，OpenAI还从一家奥特曼投资的一家初创公司订购芯片。金额高达5100万美元（约合人民币3.6亿元）。而当时宫斗那几天OpenAI前员工的举报信中，对于奥特曼的描述似乎也再一次印证。也正因这样从始至终“言行不一”的操作，让员工们逐渐对OpenAI以及奥特曼失去信心。Ilya是这样，Jan Laike是这样，超级对齐团队也是这样。有贴心的网友整理出这几年年间，发生的相关事情的重要节点先来个贴心提示，下文提到的P（doom），指“AI引发世界末日场景的可能性”。2021年，GPT-3团队负责人因“安全”问题离开OpenAI，创立Anthropic；其中一位认为P（doom）为10-25%；2021年，RLHF安全研究负责人离职，P（doom）为50%；2023年，OpenAI董事会解雇奥特曼；2024年，OpenAI解雇两位安全研究员；2024年，一位特别关注安全的OpenAI研究员离职，他认为P（doom）已经在70%。2024年，Ilya、JAN Laike离职。技术派还是市场派？大模型发展至今，“如何实现AGI？”其实可归结为两条路线。技术派希望技术成熟可控再应用；市场派则认为边开放边应用“渐进式”走到终点。这也是Ilya-Altman之争的根本分歧，即OpenAI的使命：是专注于AGI和超级对齐，还是专注于扩展ChatGPT服务？ChatGPT服务规模越大，意味着需要的计算量越大；这也就会占用AGI安全研究的时间。如果OpenAI是个致力于研究的非盈利组织，他们应该将更多时间花费在超级对齐上。而从OpenAI对外的一些举措来看，结果显然不是，他们只是想要在大模型这个竞争中拔得头筹，为企业和消费者提供更多的服务。这在Ilya看来，这是件非常危险的事情。即便我们不清楚随着规模的扩大会发生什么，但在Ilya看来，最好的办法就是安全第一。开放和透明，这样我们人类才能确保安全地构建 AGI，而不是以某种隐秘的方式。但在奥特曼带领... PC版： 手机版：