Ilya离开OpenAI内幕曝光:奥特曼砍他团队算力 优先搞产品赚钱

Ilya离开OpenAI内幕曝光:奥特曼砍他团队算力 优先搞产品赚钱 访问:NordVPN 立减 75% + 外加 3 个月时长 另有NordPass密码管理器 紧接着,更多的八卦被其他人挖出来。比如OpenAI离职成员都要签一份协议,保证离职后不在外说OpenAI坏话,不签的话视为自动放弃公司股份。但仍然有拒不签署的硬骨头出来放猛料(笑死),说核心领导层对安全问题优先级的分歧由来已久。去年宫斗至今,两派的观念冲突到达了临界点,这才看上去颇为体面地崩了。因此,尽管奥特曼已经派了联合创始人来接管超级对齐团队,仍旧不被外界看好。冲在最一线的Twitter网友们感谢Jan有勇气说出这个惊人大瓜,并感叹:我勒个去,看来OpenAI真的不太注重这个安全性!不过回过头来,如今执掌OpenAI的奥特曼这边,暂时还坐得住。他站出来感谢了Jan对OpenAI超级对齐和安全方面的贡献,表示Jan离开,他其实很难过、很舍不得。当然了,重点其实是这一句:等着,过两天我会发一篇比这更长的推文。承诺的20%算力居然有画大饼成分从去年OpenAI宫斗到现在,灵魂人物、前首席科学家Ilya就几乎不再公开露面、公开发声。在他公开宣称离职前,就已经众说纷纭。很多人认为Ilya看到了一些可怕的事情,比如可能毁灭人类的AI系统啥的。网友:我每天醒来第一件事就是想Ilya看到了啥这次Jan算是摊开了说,核心原因就是技术派和市场派对安全方面的优先等级产生了不同看法。分歧很严重,目前后果嘛……大家也都看到了。据Vox报道,熟悉OpenAI的消息人士透露,更注重安全的员工已经对奥特曼失去了信心,“这是一个信任一点一点崩溃的过程”。但如你所见,在公开平台和场合,没有太多离职员工愿意公开谈论此事。一部分原因是OpenAI一直以来,都有让员工签署带有非贬低协议的离职协议的传统。如果拒绝签署,就等于放弃了此前拿到的OpenAI的期权,这意味着出来说话的员工可能会损失一笔巨款。然而,多米诺骨牌还是一张接一张的倒下了Ilya的辞职加剧了OpenAI近期的离职潮。紧随其后宣布离职的,除了超级对齐团队负责人Jan以外,目前有至少五个安全团队成员离职。其中还有个没签署非贬低协议的硬骨头,Daniel Kokotajlo(以下简称DK哥)。去年DK哥写道,他认为AI发生生存灾难的可能性为70%DK哥在2022年加入OpenAI,在治理团队工作,主要工作内容是引导OpenAI安全部署AI。但他也在近期辞职了,并且对外接受了采访:OpenAI正在训练更强大的AI系统,目标是最终全面超越人类智能。这可能是人类有史以来发生过的最好的事情,但如果我们不小心行事,也可能是最糟糕的事情。DK哥阐述,当年,他加入OpenAI,满怀对安全治理的报复和希望,期望OpenAI越靠近AGI能越负责任。但团队中许多人慢慢意识到,OpenAI不会这样了。“逐渐对OpenAO领导层以及他们负责地处理AGI的能力失去了信心”,这就是DK哥辞职的原因。对未来AGI安全工作的失望,是Ilya加剧的离职潮中众人离开的一部分原因。还有一部分原因,是超级对齐团队,恐怕没有外界想象的那样能资源充沛地进行研究。即便超级对齐团队满负荷工作,团队也只能获得OpenAI承诺的20%的算力。而且团队的一些请求经常被拒绝。当然是因为算力资源对AI公司来说重要至极,每一点都要合理分配;也因为超级对齐团队的工作是“解决如果公司成功构建AGI,实际上会出现不同类型的安全问题”。换句话说,超级对齐团队对应的是OpenAI需要面临的未来的安全问题划重点,是未来的、不知是否会出现的。截至发稿,奥特曼还没有发出他那篇“(比Jan爆料内幕的)更长的推文”。但他简单提到,Jan对安全问题的担忧是对的,“我们还有很多事情要做;我们也致力于这样做。”就这一点,大伙儿可以先办个小板凳等等,到时候咱一起第一时间吃瓜。综上,现在超级对齐团队走了好些人,尤其是Ilya和Jan的离职,让这个风雨之中的团队面临群龙无首的窘况。后续安排,是联合创始人John Schulma来接手,但不再有专门的团队。新的超级对齐团队将是联系更松散的小组,成员分布在整个公司的各个部门,OpenAI发言人将其描述为“更深入地整合”。这一点也为外界所质疑,因为John的原本全职工作是确保目前的OpenAI产品的安全问题。不知道突然多了份责任后,John能不能忙得过来,好好领导关注现在和关注未来安全问题的两个团队?Ilya-Altman之争如果把时间阵线拉长, 其实今天的分崩离析是OpenAI“宫斗”Ilya-Altman之争的续集。时间回溯到去年11月,当时Ilya还在,他同OpenAI董事会合作试图解雇掉奥特曼。当时给出的理由是,他在沟通中不够真诚。换言之,我们不信任他。但最终结果显而易见,奥特曼带着他的“盟友”威胁加入微软,结果董事会屈服,罢免行动失败。Ilya离开董事会。而奥特曼这边,选择了对他更为有利的成员加入董事会。在这之后,Ilya就再也社交平台上消失了,直至前几天官宣离职。而且据说,已经大约6个月没有出现在OpenAI办公室了。当时他还留下一条耐人寻味的推文,但很快就删除了。在过去的一个月里,我吸取了许多教训。其中一个教训是,“在士气提高之前,殴打会一直持续下去 ”这句话比它应有的含义更经常地适用。但据内部人士透露,Ilya一直远程共同领导着超级对齐团队。而在奥特曼这边,员工们对他最大的指控就是言行不一,比如他声称自己想优先考虑安全,但他的行为却很矛盾。除了原本承诺的计算资源没有给到外。还有像前阵子找沙特等筹集资金来造芯。那些注重安全的员工懵了。如果他真的关心以尽可能安全的方式构建和部署人工智能,那么就不会这么疯狂地积累芯片,来加速技术的发展?更早之前,OpenAI还从一家奥特曼投资的一家初创公司订购芯片。金额高达5100万美元(约合人民币3.6亿元)。而当时宫斗那几天OpenAI前员工的举报信中,对于奥特曼的描述似乎也再一次印证。也正因这样从始至终“言行不一”的操作,让员工们逐渐对OpenAI以及奥特曼失去信心。Ilya是这样,Jan Laike是这样,超级对齐团队也是这样。有贴心的网友整理出这几年年间,发生的相关事情的重要节点先来个贴心提示,下文提到的P(doom),指“AI引发世界末日场景的可能性”。2021年,GPT-3团队负责人因“安全”问题离开OpenAI,创立Anthropic;其中一位认为P(doom)为10-25%;2021年,RLHF安全研究负责人离职,P(doom)为50%;2023年,OpenAI董事会解雇奥特曼;2024年,OpenAI解雇两位安全研究员;2024年,一位特别关注安全的OpenAI研究员离职,他认为P(doom)已经在70%。2024年,Ilya、JAN Laike离职。技术派还是市场派?大模型发展至今,“如何实现AGI?”其实可归结为两条路线。技术派希望技术成熟可控再应用;市场派则认为边开放边应用“渐进式”走到终点。这也是Ilya-Altman之争的根本分歧,即OpenAI的使命:是专注于AGI和超级对齐,还是专注于扩展ChatGPT服务?ChatGPT服务规模越大,意味着需要的计算量越大;这也就会占用AGI安全研究的时间。如果OpenAI是个致力于研究的非盈利组织,他们应该将更多时间花费在超级对齐上。而从OpenAI对外的一些举措来看,结果显然不是,他们只是想要在大模型这个竞争中拔得头筹,为企业和消费者提供更多的服务。这在Ilya看来,这是件非常危险的事情。即便我们不清楚随着规模的扩大会发生什么,但在Ilya看来,最好的办法就是安全第一。开放和透明,这样我们人类才能确保安全地构建 AGI,而不是以某种隐秘的方式。但在奥特曼带领... PC版: 手机版:

相关推荐

封面图片

OpenAI“保卫人类”团队分崩离析 Ilya与Altman内讧曝光

OpenAI“保卫人类”团队分崩离析 Ilya与Altman内讧曝光 访问:NordVPN 立减 75% + 外加 3 个月时长 另有NordPass密码管理器 “在OpenAI工作近十年后,我决定离开 。这间公司取得了令人难以置信的进步,我相信在 Sam、Greg、Mira,以及杰出的研究领导者Jakub带领下,OpenAI将构建安全有益的通用人工智能。和各位共事是一种荣幸,我将深深怀念所有人。非常感谢这一切,祝大家一切顺利!我对即将到来的项目感到兴奋这对我来说意义重大,我将在适当的时候分享详细信息。”下面还附上了一张办公室合影,缅怀几人的革命友情。靴子落地,事情走向基本符合大众心理预判。Lex Fridman、Jeff Dean等一众大佬和网友们都在评论区致以祝福,感谢Ilya在OpenAI所做的一切。奥特曼也随即发表了一篇稍显正式的回应,与以往不分大小写的随意风格形成鲜明对比。他表示自己对Ilya 和 OpenAI 即将分道扬镳感到“非常悲伤”,称赞Ilya是”这一代最杰出的人才之一,AI领域的指路明灯,也是一位亲密朋友”。不仅有才华和远见,还有温暖的同情心。“没有他,OpenAI 不会成为今天的样子”。他永远对Ilya怀有感激,并承诺完成他们共同开始的使命。同时,奥特曼宣布曾领导OpenAI推理团队、深度学习科学团队和GPT-4开发的前研究总监Jakub Pachocki接棒Ilya,成为新任首席科学家。然后又转发Ilya的照片说,”feeling the AGI today”。还到IlyaTwitter下面借网友热梗留言打趣,“别告诉他们你看到了什么。”从去年11月的宫斗风波传到现在,终于一切都在看起来欢乐祥和的美好氛围中画上句点。然鹅确实如此吗?咱先别太天真,要真这么平静那就不是OpenAI了。果然,当晚9:43,第一个“离职侠“出现:曾与Ilya共同领导OpenAI“超级对齐团队”的Jan Leike在X发文宣布,”我(也)撤了。”Jan Leike 2021年从GoogleDeepMind团队加入OpenAI,主要研究方向包括强化学习、大语言模型的对齐工程及AGI,属于Ilya阵营的人。他和Ilya的Superalignment团队旨在未来四年内,构建一个能与人类水平相媲美的自动对齐研究器,尽可能将相关工作交由自动系统完成,同时确保人工智能系统的行为与人类价值观和目标保持一致。上月,媒体曾报道过对齐团队的两名员工,也同为Ilya盟友的Leopold Aschenbrenner和Pavel Izmailov因“泄密”而被公司开除,但OpenAI并未提供任何泄密证据。这还不算,刚刚OpenAI内部证实,该团队现在已经被解散了!相应工作将被整合到其他研究小组。熟悉的配方,熟悉的味道,跟上次奥特曼被董事会罢免Greg Brockman甩手走人如出一辙。无怪乎网友摊手:“你们又来了是吧?”(Logan Kilpatrick这则留言也让广大吃瓜群众浮想联翩。)第二天,OpenAI前工程负责人,曾领导过ChatGPT, GPT-4, DALL·E和APIs上线的Evan Morikawa也宣布离开,将与前波士顿动力高级机器人学家Andy Barry和Deep Mind研究科学家Pete Florence 和 Andy Zeng共同开展一个全新项目,并认为“这是在全球范围内实现 AGI 所必需的”。时间来到今天。Jan Leike又出手了,而且是重拳出击。直接公开透露自己与OpenAI高层在公司的核心优先事项上存在“无法调和”的长期分歧,团队在推动项目和争取计算资源时遭遇重大阻碍,严重影响研究的进度和质量。他先是表明昨天是自己在 OpenAI ”作为对齐负责人、超级对齐负责人和高管的最后一天“。肯定了团队过去三年多来取得的显著成绩:推出第一个基于 RLHF 的大语言模型 InstructGPT,发布第一个大规模监督 LLMs 的方法,并开创了自动解释性和从弱到强的泛化。“我爱我的团队。我非常感激能与这么多了不起的人一起工作…OpenAI 拥有如此多的杰出、聪明、善良和高效的人才。”接着话锋一转开轰,自己对OpenAI,终究是错付了。“离开这份工作是我做过的最艰难事情之一,因为我们迫切需要弄清楚如何引导和控制比我们聪明得多的 AI 。我加入OpenAI是因为我以为这里是世界上最适合进行这项研究的地方。然而,我与OpenAI领导层在公司的核心优先事项上长期存在分歧,直到我们最终达到一个临界点。”这是怎么说?Jan Leike继续解释道:“我相信,我们应该将更多的带宽花在为下一代模型做准备上,关注安全、监控、对抗性稳健性、超级对齐、保密性、社会影响等相关话题。这些问题很难解决,我担心我们还没有走上正轨。过去几个月,我的团队一直在逆风前行。有时我们在计算资源方面挣扎,完成这项关键研究变得越来越困难。”“建造比人类更聪明的机器本质上是一项危险的工作。OpenAI 代表全人类肩负着巨大的责任。但在过去几年里,安全文化和流程让位于光鲜亮丽的产品。我们早该认真重视AGI的影响了,必须优先为其做好准备。只有这样才能确保 AGI 造福全人类。OpenAI 必须成为一个安全至上的 AGI 公司。”最后一条,Jan Leike“语重心长”地致所有OpenAI员工:“学会感受 AGI。对你手中正在构建的事物,态度庄重一些。我相信你们可以‘传递’所需的文化变革。我指望着你们。全世界都在指望你们。:openai-heart:(OpenAI员工最常用的爱心表情)”此番言论一出,当然是立刻炸开锅了!所以是OpenAI为了优先发布亮眼的产品,不重视安全实现AGI。让对齐团队坐冷板凳不说,还不分给计算资源,导致根本无法推进项目,这换谁能忍?网友悟了:“这就是Ilya看到的,并且他一直在告诉董事会并试图反对。他要求的只是专注于 AI 安全,现在Jan也证实了这一点。”还有人梳理出了OpenAI有史以来所有安全团队带头大牛们的离职时间线。包括Anthropic联合创始人Amodei兄妹。“这听起来像是OpenAI想继续烧钱商业化,而不是确保前进步骤的安全。他们想成为大亨,而不是英雄。”更有人爆料说,当员工离开OpenAI时,需要签署一个包含“承诺终身不得贬损公司的离职协议”。如果拒签就会失去所有归属股权,意味着可能会损失数百万美元。对Jan Leiker的长文开炮,奥特曼当然是不会就此作罢的了。很快他便发文“反击”,最后也送了一颗小心心:“我非常感谢 Jan Leike 对 OpenAI 对齐研究和安全文化的贡献,也非常难过看到他离开。他说得对,我们还有很多事情要做,我们承诺会做到。我会在接下来的几天里发一篇更长的文章。”网友留言,“别周一见啊,我那天有重要发布。”看来这新的OpenAI保卫战,AKA “OpenAI内斗第二季之杨莱克大战奥特曼”已经打响,接下来双方的小作文比赛马上要开始。这间公司的每个人好像都给自己安排了主角光环,隔一段时间就上演一段大戏的惯例已成。这次如何走向,会不会又来一场员工群体运动?OpenAI算是消停不下来了。 ... PC版: 手机版:

封面图片

OpenAI 高管 Jan Leike 离职,批判公司内部已不再将“安全”视为优先

OpenAI 高管 Jan Leike 离职,批判公司内部已不再将“安全”视为优先 继 OpenAI 共同创始人 Ilya Sutskever 离职之后,另一名 OpenAI 高管 Jan Leike 在 X 平台发布,宣布他已经在上周离开公司。 Jan Leike 是 OpenAI 旗下 Superalignment(超级对齐)团队的共同主管,他表示最近几年 OpenAI 已经不惜内部文化,忽视安全准则,执意高速推出“吸引眼球”的产品。 OpenAI 在 2023 年 7 月设立 Superalignment 团队,任务是“确保那些具备‘超级智能’、‘比人类还聪明’的 AI 系统能够遵循人类的意图”。当时 OpenAI 承诺在未来的 4 年内投入 20% 的计算能力来保证 AI 模型的安全性,而根据彭博社报道,OpenAI 目前据称已经解散了 Superalignment 团队。来源 , 频道:@kejiqu 群组:@kejiquchat

封面图片

GPT-5倒计时 奥特曼踢走Ilya得逞 宫斗惊人内幕再曝光

GPT-5倒计时 奥特曼踢走Ilya得逞 宫斗惊人内幕再曝光 今天,奥特曼领衔的OpenAI全新的“安全与保障委员会”官宣成立。不仅如此,OpenAI预计,正在训练的下一代旗舰模型,将带领他们通往AGI的道路上迈向新的水平。OpenAI研究科学家,德扑之父发帖确认了新模型训练的消息。安全委员会的成立,下一代模型的布局,一切说明了OpenAI已非常接近AGI。虽然这是板上钉钉的官方实锤,但只是含糊不清地用了一句“前沿模型”,并没有确认会不会是GPT-5或者其他型号。模型官宣引起的讨论完全抢走了新成立安全委员会的风头(不知道是不是奥特曼故意安排的)。下一代模型全网大猜想GPT-4之后,全网对于OpenAI发布的下一代旗舰模型臆测了很久。不过,这一次,他们提到的前沿模型,究竟是什么?几天前,巴黎VivaTech科技活动上,OpenAI开发者体验负责人暗示了,今年一定会发新模型“GPT Next”,而且网友猜测预计在11月发布。大多数网友纷纷认定,这次可能就是GPT-5了。不过,又有人指出,在今年4月的时候,GPT-5早已开始了红队测试。这完全说明了GPT-5的训练早已完成,OpenAI正在研究的下一代前沿模型绝不可能是GPT-5。因此,他们训的是GPT-6无疑了。另一位爆料人Flowers更加确认了这一点,OpenAI当然没有刚开始训练GPT-5。同时,他还坚持表示,也不会有GPT-6。当有人问道,为什么这么确信OpenAI没有GPT-6时,Flowers首次透露出一个新奇的点子:“因为大模型的发展已经接近它们的极限”。尽管可以通过使用工具、增加功能、提升多模态能力,扩展上下文等方式来改进LLM,但这终将不是长久之计。但Reddit上有人发帖否认了GPT-5的猜想,甚至新模型应该不属于GPT家族,而是Q*,理由如下:- GPT-5从12月/1月就开始训练,大致是目前GPT-4o的底层架构,不可能再发布一次- 如果扩展到GPT-6,则需要储备更多的算力- 要真正实现LLM的逻辑推理和长期任务规划能力,就需要训练一个新模型来操作LLM,而OpenAI一直在研究Q*来解决这个问题楼主还提出了Q*方法的大致原理:- 先提出一个复杂的Agent任务- 让GPT生成数百万个潜在解决方案,以树状结构表达,树中每一个节点代表Agent推理的一个步骤- 让GPT对每个解决方案评分在已经有一个强大GPT模型的基础上,重复这个过程就能创建出一个庞大的数据集,用来训练新模型指导LLM完成长期的推理或规划任务。这种猜想甚至比GPT-5更激动人心,评论区就有人回复说“像Q*这样的东西即使不大,也能改变整个游戏”。也有评论力挺这种说法,因为OpenAI经常谈到Agent。现在可能无法使用内置的逻辑推理Agent来训练LLM,但用外置的新模型对LLM进行“指导”是可行的。算力体量有多大?下一代前沿模型虽未知,不过微软Build大会上,CTO Kevin Scott表示,微软正在为OpenAI打造“鲸鱼”级别的超算。当时训练GPT-3使用的是“鲨鱼”级的算力,GPT-4则用上了“虎鲸”级的算力。90天倒计时开始,全力打造AGI除了奥特曼本人,“安全与保障委员会”的董事会成员还有主席Bret Taylor、Adam D'Angelo、Nicole Seligman,共四个人。“安全与保障委员会”的首要任务将是,在接下来的90天内,评估改进OpenAI现有的AI安全和保障的流程措施。90天期满后,他们将与全体董事会提交一份报告。经过董事会的审查之后,OpenAI将公开分享所采纳的改进措施。因此,有理由得出结论,无论下一代“前沿模型”是什么,至少它在90天内不会发布。委员会中,除了董事会成员,还包括:OpenAI的技术和政策专家Aleksander Madry(Preparedness团队的负责人)、Lilian Weng(安全系统负责人)、John Schulman(对齐科学负责人)、Matt Knight(安全负责人)和Jakub Pachocki(首席科学家)。此外,OpenAI还聘请了外部网络安全和技术专家,比如Rob Joyce、John Carlin,来提供咨询意见。不搞“超级智能”奥特曼此前,曾对外公开宣称,OpenAI终极目标是打造一种比人类先进的“超级智能”。他甚至表示,2023年自己有一半的时间都在研究“如何打造超智能”。如今这一说法,却被另一位高管否认。OpenAI负责全球事务的副总Anna Makanju在接受FT采访中提到:我们的使命是打造AGI,并非是“超级智能”。因为超级智能是一种比地球上人类高出多个数量级的技术。不过,她还补充道,“AGI还不存在,我们在确保其安全前,不会发布这样的技术”。委员会并非独立一些人批评到,新的委员会完全由OpenAI的“自己的高管”组成,这意味着对该公司安全措施的评估,将不会是独立的。还有网友调侃道,这不都是由奥特曼本人组成的安全委员会。之所以出现这样的声音,是因为OpenAI董事会去年发动的政变,成为一直以来争议的来源。2023年11月,奥特曼被董事会解雇,理由是“他并不坦诚”。而最近,由两名前董事会成员在TIME期刊上撰写的文章中,更是对奥特曼对OpenAI的治理提出了严厉的批评。她们表示,Ilya和其他安全对齐团队人员的离开,预示着OpenAI“自治实验”的前景不妙。团队重组在Ilya Sutskever和负责人Jan Leike离职后,许多人愈加担忧,OpenAI如何管理类AGI技术的潜在危险。彭博称,Ilya走后,OpenAI将他原先团队中剩余的成员,整合到了更大的研究部门,而不是保留独立的形式。与此同时,OpenAI联创John Schulman也在负责监管超级对齐研究。作为职务的扩展,他被授予了一个新头衔对齐科学负责人(Head of Alignment Science)。OpenAI宫斗内幕曝光与此同时,针对奥特曼的舆论还在持续发酵。前董事会成员Helen Toner在最近的播客频道TED AI Show上揭露了一些2023年底OpenAI“宫斗风波”的情况。她解释了董事会决定罢免奥特曼的原因隐瞒信息,歪曲事实,公然向董事会撒谎。比如2022年底ChatGPT发布时,董事会完全没有得到消息,而是在Twitter上才第一次看到。此外,他一直宣称自己在公司中没有任何经济利益,从没有告知董事会他拥有OpenAI启动基金。奥特曼在AI安全方面的表现也让Toner不安,因为他只会向董事会透露“关于公司正在实施安全流程的少量、不准确的信息”。这意味着,董事会没有办法获知这些流程的真实情况,更无从实行有效的监督和指导。而且,当她的论文中包含了对奥特曼的负面评价时,他开始不择手段,试图将Toner赶出董事会。结合此前Twitter网友历数的“七宗罪”,奥特曼带领下的安全团队,真的能让下一代模型安全可靠吗? ... PC版: 手机版:

封面图片

OpenAI又上演“权力的游戏”

OpenAI又上演“权力的游戏” 此前,超级对齐团队曾拥有OpenAI20%的算力资源。因此难免让人怀疑,此次OpenAI短时间、大规模的人事变动是否是其发展战略变动的前哨?分歧已久OpenAI内部的分歧存在已久,在去年11月的“宫斗”事件中早已公之于众。此次Ilya Sutskever等一行人的出走,可以看作是历史矛盾的延续。Ilya辞职前,OpenAI内部最大的分歧之一在于对AI安全问题的态度上。科技巨头和初创公司的互卷下,AI技术研发在快车道上一往直前,AGI时代离我们也越来越近。有人认为“OpenAI正在训练更强大的AI系统,目标是最终全面超越人类智能”。未知的全新力量下蕴藏着未知的风险。用前员工的一句话讲,这可能是人类有史以来发生过的最好的事情,但如果我们不小心行事,也可能是最糟糕的事情。当前的AI监管主要集中于“评估风险和采取缓解措施”的组合上,这种组合很容易被大型公司钻空子,最终反而疏于了对最需要被监管的前型AI实验室的监管。超级对齐团队解散前,对于不同时间尺度的AI风险,OpenAI有三个团队来分别应对。“对齐”或“超级对齐”是人工智能领域中使用的术语,指训练人工智能系统在人类需求和优先事项范围内运行的工作。2023年6月5日,超级对齐AI团队首次对外宣布成立。这支团队的使命旨在“解决如果公司成功构建AGI,实际上会出现不同类型的安全问题”也就是AI智能水平不断提高后未来可能出现的安全问题。师从人工智能教父Geoffray Hinton的Ilya是坚持安全第一的安全派。2016年,Ilya以联合创始人、研究总监的身份加入OpenAI,并于2018年担任首席科学家。研发期间,Ilya一直在关注AI大模型的安全问题。Sam Altman则是商业派,致力于开发“更闪亮的产品”,与Google等竞争对手的卯足了劲较量。在他看来,AGI的安全治理问题优先级远远不如推出“闪亮的产品”。虽然Altman在采访中屡次表示对安全问题的重视,但就实际操作而言,算力资源的天平在不断向着研发的一侧倾斜。对于Altman来说,相对于未来态的安全治理,如何加足马力在当前的这场AI竞赛中拔得头筹显然更为重要。对此,OpenAI的前员工、超级对齐成员之一William Saunders在Less Wrong论坛上表示,对OpenAI能否在AGI时代负责任的行动失去了信心。William Saunders并非个例。对OpenAI未来AGI安全部署工作的失望成为超级对其团队不少人离开的关键要素。不少人认为,Ilya出走很可能是已经看到了AGI的安全隐患。OpenAI“权力的游戏”还有几季?在技术驱动的进步面纱下,未来安全团队被迫“重组”。事实上,OpenAI在安全方面的人事一直在不断“跳跃”。2021年,GPT-3的团队负责人Dario和Daniela Amodei因“对安全研究的优先次序”存在分歧而辞职,转身创办了Anthropic。同年,RLHF的发明者兼安全研究主管Dr.Paul Christiano从安全团队中辞职,创办了一个非盈利性的校准研究中心。2023年11月,OpenAI围绕安全问题爆发宫斗,Sam Altman在被撤职100小时后重返OpenAI。2024年,这场“权力的游戏”继续上演。2024年2月15日,安全研究员 William Saunders 在 EA 论坛上总结了自己在 OpenAI 作为超级对齐团队一部分的工作。表示已从OpenAI辞职。3月17日,Jan Leike 离职。Jan Leike参与开发了ChatGPT的核心技术之一人类反馈强化学习RLHF,在其加入OpenAI后,从代码大模型Codex、ChatGPT的前身InstrucGPT,到ChatGPT、GPT-4,他都是重要贡献者。4月,Daniel Kokotajlo在拒绝签署离职协议的情况下辞职,并在此后的媒体采访中公开表示“OpenAI正在训练更强大的AI系统,目标是最终全面超越人类智能。”,自己已经“逐渐对OpenAO领导层以及他们负责地处理AGI的能力失去了信心”。4月11日,安全团队的Leopold Aschenbrenner与推理团队的Pavel Izmailov因涉嫌信息泄密而被开除。安全研究员 Cullen O'Keefe 也离开了OpenAI。5月15日,OpenAI的联合创始人及首席科学家Ilya宣布离职,并在社交平台X上表示自己将开启“接下来的计划这个项目对我个人来说意义重大,我会在适当的时候分享细节。”Ilya宣布离开几小时后,Ilya的同事,OpenAI超级对齐团队联合主管Jan Leike光速宣布辞职,在X上留下两个字母:I resigned。Leike 自2021 年加入 OpenAI,并于2023年开始领导超级对齐团队。在此后几天,Jan Leike陆续在X上揭开此次出走的“内幕”:“我与 OpenAI 领导层在公司的核心优先事项上存在分歧已有一段时间,直到我们最终达到了临界点”“过去几个月,我的团队一直在逆风前行”“建造比人类更聪明的机器本质上是一项危险的工作……但在过去的几年里,安全文化和流程已经让位于闪亮的产品”。他认为OpenAI“应该把更多的精力花在为下一代模型做准备上,包括安全性、监控、准备、安全、对抗鲁棒性、(超级)对齐、保密性、社会影响和相关主题,这些问题很难解决,我担心我们还没有走上正确的轨道。”超级对齐成员之一William Saunders,以及参与过GPT-4对抗性测试的Daniel Kokotajlo,此前两人均已离开OpenAI。在诸多离职的人中,Daniel Kokotajlo和Jan Leike属于敢直接批判OpenAI在安全领域和发展方向存在问题的“特殊群体”。个中原因很可能是OpenAI的“封口协议”。根据OpenAI前员工Kelsey Piper 爆料,OpenAI的员工需签署一份带有非贬低协议的离职协议,如果拒绝签署,其拿到的股权获益将被取消。而Daniel Kokotajlo则拒绝签署这一协议。在Sutskever和Leike 退出后,OpenAI向CNN 证实,最近几周已开始解散其超级对齐团队,转而整合各个研究小组的团队成员。OpenAI的发言人表示,该结构将帮助 OpenAI 更好地实现其超级对齐目标。事实上,该业务线新的领导者John Schulma此前是负责OpenAI现有产品的安全问题。而将纵向超级对齐团队横向合并也意味着,未来安全把关人在一定程度上的消失。浮世新人换旧人,Sam Altman在社交平台X上表达了对于Ilya离开的遗憾,表示“他走后的OpenAI不再和从前一样”,但旋即又在同一条帖子宣布任命了新的首席科学家JakubPachoki。此外,OpenAI近日还聘请了在Google搜索广告业务工作了多年的资深人士Shivakumar Venkataraman。自此,OpenAI的发展战略阶段性地实现了表面一致以“党同伐异”的代价。 ... PC版: 手机版:

封面图片

OpenAI成立安全委员会 将开始训练新模型

OpenAI成立安全委员会 将开始训练新模型 OpenAI首席执行官山姆·奥特曼OpenAI在公司博客上表示,董事布雷特·泰勒(Bret Taylor)、亚当·德安吉洛(Adam D'Angelo)和妮可·塞利格曼(Nicole Seligman)也将加入该委员会。值得一提的是,OpenAI致力于防止人工智能失控的“超级对齐”团队刚经历了解散。5月14日,OpenAI联合创始人、首席科学家伊尔亚·苏茨克维(Ilya Sutskever)宣布离职,几小时后,超级对齐团队负责人杨·莱克(Jan Leike)也宣布离职。(作者/周文浩)更多一手新闻,欢迎下载凤凰新闻客户端订阅凤凰网科技。想看深度报道,请微信搜索“凤凰网科技”。 ... PC版: 手机版:

封面图片

OpenAI宫斗大戏第二幕 核心安全团队解散 负责人自爆离职内幕

OpenAI宫斗大戏第二幕 核心安全团队解散 负责人自爆离职内幕 访问:NordVPN 立减 75% + 外加 3 个月时长 另有NordPass密码管理器 最新离职的OpenAI高管,超级对齐团队负责人Jan Leike直接撕破脸皮,揭露OpenAI联合创始人兼首席科学家苏茨克维离职内幕阿尔特曼不给资源、力推商业化不顾安全。Leike同时也是OpenAI的联合创始人,属于“保守派”阵营,他在Sutskever宣布离职后仅几个小时就发帖:我辞职了。官宣离职次日,Leike连发十多条帖子,公开解释了离职原因团队分配不到足够的资源:超级对齐团队过去几个月一直在“逆风航行”,在计算上很吃力,完成研究越来越困难;安全并非阿尔特曼的核心优先事项:过去几年,安全文化和流程已经让位于更耀眼的产品。“很长一段时间以来,我与OpenAI领导层对公司核心优先事项的看法一直不合,直到我们终于到了临界点。”这是OpenAI高管级别的人物首次公开承认公司重视产品开发胜过安全。阿尔特曼的回应依旧体面,他表示,自己非常感谢Jan Leike对OpenAI的一致性研究和安全文化所做的贡献,并且很遗憾看到他离开。“他说得对,我们还有很多事情要做,我们致力于做到这一点。我将在未来几天内发布一篇更长的帖子。”投资未来?不 阿尔特曼选择把握现在OpenAI的超级对齐团队于2023年7月成立,由Leike和Sutskever领导,成员为OpenAI前校准部门的科学家和工程师以及来自公司其他机构的研究人员,可以说是一帮技术人员组成的团队。该团队旨在确保人工智能与其制造者的目标保持一致,目标是在未来解决控制超级智能AI的核心技术挑战,“解决如果公司成功构建AGI,实际上会出现不同类型的安全问题。”也就是说,超级对齐团队是在为更强大的AI模型、而非当下的AI模型打造安全罩。正如Leik所说,“我相信我们应该投入更多的精力来为下一代模型做好准备,关注安全性、监控,做好准备、让AI具有对抗性的鲁棒性、(超级)对齐,关注保密性、社会影响等相关主题。这些问题很难做对,我很担心我们没有朝着正确的方向前进。”Leik还指出,虽然目前超智能AI看似遥远,但可能在本十年内出现,管理这些风险需要新的治理机构和对齐技术,从而确保超智能AI系统遵循人类意图。站在阿尔特曼的立场,维护超级对齐团队是一项庞大的开支。OpenAI曾经承诺该团队将获得该公司20%的计算资源,这势必会削弱OpenAI新产品开发的资源,而投资超级对齐团队实际是在投资未来。据OpenAI超级对齐团队的一位人士透露,20%计算资源的承诺被打了折扣,其中一小部分计算的请求经常被拒绝,这阻碍了团队的工作。超级对齐团队解散 然后呢?据《连线》等媒体报道,在Sutskever和Leike相继离职后,OpenAI的超级对齐团队已被解散。其不再是一个专门的团队,而是一个松散的研究小组,分布在整个公司的各个部门。OpenAI的一位发言人将其描述为“更深入地整合(团队)”。有消息称OpenAI的另一位联合创始人约翰•舒尔曼(John Schulman)可能会接手关于与更强大模型相关的风险的研究。这不免让人质疑,Schulman目前的工作任务在于确保OpenAI当前产品的安全,他会重点盯着面向未来的安全团队吗?阿尔特曼另一被人诟病的地方在于“捂嘴”离职员工。自去年11月至今,OpenAI至少有7名注重安全的成员辞职或被开除,但离职员工大多不愿公开谈论此事。据Vox报道,部分原因是OpenAI会让员工在离职时签署带有非贬低条款的协议。如果拒绝签署,就将失去此前拿到的OpenAI的期权,这意味着出来说话的员工可能会损失一笔巨款。一位OpenAI前员工爆料,公司入职文件说明中包含一项:“在离开公司的六十天内,你必须签署一份包含‘一般豁免’的离职文件。如果你没有在60天内完成,你的股权获益将被取消。”阿尔特曼变相承认了此事,他回应称,该公司的离职文件中有一项关于离职员工“潜在股权取消”的条款,但从未付诸实践,“我们从未收回任何人的既得股权。”他还表示,公司正在修改离职协议条款,“如果任何签署了这些旧协议的前雇员对此感到担心,他们可以联系我。”回到OpenAI高层争执的原点,也是这场旷日持久的宫斗的核心矛盾点“保守派”强调先安全再产品,“盈利派”希望尽快落实商业化。OpenAI将如何平衡产品的安全性与商业化?如何挽回愈发糟糕的公众形象?期待阿尔特曼未来几天内的“小作文”。 ... PC版: 手机版:

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人