OpenAI研究员辞职 声称安全问题已被改进后的产品所解决

OpenAI研究员辞职 声称安全问题已被改进后的产品所解决 访问:NordVPN 立减 75% + 外加 3 个月时长 另有NordPass密码管理器 雷克的声明是在《连线》报道OpenAI 已经解散了专门负责解决长期人工智能风险的团队(称为"超级对齐团队")之后发表的。莱克一直负责管理Superalignment团队,该团队于去年7月成立,目的是在OpenAI开发出能像人类一样推理的人工智能时,"解决实施安全协议的核心技术挑战"。OpenAI 最初的想法是向公众公开提供他们的模型,这也是该组织名称的由来,但由于该公司声称允许任何人访问如此强大的模型可能具有潜在的破坏性,因此这些模型已经成为专有知识。"我们早该认真对待 AGI 的影响。我们必须优先为其做好准备,"莱克在周五上午关于他辞职的后续推文中说。"只有这样,我们才能确保 AGI 造福全人类。"在去年不成功的董事会政变中支持 Altman 的另一位 OpenAI 联合创始人约翰-舒尔曼(John Schulman)将接替 Leike 的职责。在针对山姆-奥特曼(Sam Altman)的臭名昭著的失败政变中扮演关键角色的苏茨克沃周二宣布离职。莱克的帖子凸显了 OpenAI 内部日益紧张的关系。随着研究人员在管理 ChatGPT 和 DALL-E 等消费级人工智能产品的同时竞相开发人工通用智能,像莱克这样的员工开始担心创建超级智能人工智能模型的潜在危险。莱克说,他的团队被剥夺了优先权,无法获得计算和其他资源来完成"关键"工作。莱克写道:"我之所以加入,是因为我认为 OpenAI 将是世界上从事这项研究的最佳场所。然而,我与 OpenAI 领导层就公司的核心优先事项产生分歧已经有一段时间了,直到我们最终达到了一个爆发点。" ... PC版: 手机版:

相关推荐

封面图片

离职高级研究员:OPENAI 将“闪亮产品”置于安全之上

离职高级研究员:OPENAI 将“闪亮产品”置于安全之上 扬•雷克(Jan Leike)曾领导 OpenAI 引导和控制超级强大的人工智能工具的工作,他表示,由于与上级在初创公司投入这些工作的时间和资源上产生分歧,他于周四辞职。雷克在社交媒体网站 X 上的周五帖子中写道:“过去几年里,安全文化和流程已经被闪亮的产品所取代。”“我们迫切需要找出如何引导和控制比我们更聪明的 AI 系统,”雷克写道。“我之所以加入 OpenAI,是因为我认为这是世界上进行这项研究的最佳场所。然而,我与 OpenAI 领导层在公司的核心优先事项上的分歧已经持续了相当长的一段时间,直到我们最终达到了一个决裂点。”雷克表示,超级对齐团队难以获取计算资源,这些资源正在被用于开发新的面向消费者的模型,例如 OpenAI 在周一发布的最新模型 GPT-4o。“在过去的几个月里,我的团队一直在逆风中奋进。有时我们为了计算资源而苦苦挣扎,这使得完成这项至关重要的研究变得越来越困难,”他写道。

封面图片

奥特曼和Brockman回应OpenAI安全团队辞职:未来比过去更艰难

奥特曼和Brockman回应OpenAI安全团队辞职:未来比过去更艰难 访问:NordVPN 立减 75% + 外加 3 个月时长 另有NordPass密码管理器 第二天,OpenAI 首席执行官 Sam Altman 和总裁兼联合创始人 Greg Brockman 回应了 Leike 关于公司不关注安全的说法。除其他外,Leike 还表示,近年来 OpenAI 的安全文化和流程已经让位于闪亮的产品,他的团队很难获得资源来完成安全工作。雷克写道:我们早就应该认真对待 AGI(通用人工智能)的影响了。我们必须优先考虑尽我们所能为他们做好准备。周五, Altman在雷克的转发中首先做出了回应,称雷克是对的,OpenAI 还有很多事情要做,并且致力于这样做。他承诺将会发布更长的帖子。周六,布罗克曼在 X 上发布了他自己和 Altman 的共同回应:在对雷克的工作表示感谢后,布罗克曼和奥尔特曼表示,他们在雷克辞职后收到了一些问题。他们分享了三点,第一是 OpenAI 提高了人们对 AGI 的认识,以便世界能够更好地为此做好准备。他们写道:我们一再证明扩大深度学习规模所带来的巨大可能性,并分析其影响;在 AGI 的国际治理流行之前就呼吁这种呼吁;并帮助开拓评估人工智能系统灾难风险的科学。第二点是,他们正在为这些技术的安全部署奠定基础,并以员工为以安全的方式将ChatGPT-4 带到世界”所做的工作为例。两人声称,自那时以来(OpenAI 于 2023 年 3 月发布了 ChatGPT-4),该公司根据部署中吸取的经验教训,不断改进模型行为和滥用监控。第三点? “未来将比过去更艰难,”他们写道。 Brock 和 Altman 解释说,OpenAI 在发布新模型时需要不断提升其安全工作,并引用该公司的准备框架作为帮助实现这一目标的一种方式。根据 OpenAI 网站上的页面,该框架预测可能出现的灾难性风险,并寻求减轻这些风险。然后,布罗克曼和奥特曼继续讨论未来,OpenAI 的模型将更加融入世界,更多的人与它们互动。他们认为这是一件有益的事情,并相信可以安全地做到这一点“但这需要大量的基础工作。”因此,该公司可能会推迟发布时间表,以便模型达到其安全标准。“我们知道我们无法想象未来所有可能的情况。”他们说。 “因此,我们需要有一个非常严格的反馈循环、严格的测试、每一步都仔细考虑、世界一流的安全性以及安全性和功能的和谐。”领导人表示,OpenAI 将继续与政府和利益相关者就安全问题进行研究和合作。他们总结道:对于如何走上通用人工智能之路,目前还没有经过验证的剧本。我们认为实证理解可以帮助指明前进的方向。我们相信,既能带来巨大的好处,又能努力减轻严重的风险;我们非常认真地对待我们在这里的角色,并仔细权衡对我们行动的反馈。OpenAI 首席科学家 Ilya Sutskever本周也辞职,这一事实使雷克的辞职和言论变得更加复杂。 #WhatDidIlyaSee成为 X 上的热门话题,标志着人们对 OpenAI 高层领导者所了解的事情的猜测。从布罗克曼和奥特曼今天声明的负面反应 来看,这并没有消除任何这种猜测。截至目前,该公司正在推进下一个版本:语音助手ChatGPT-4o 。 ... PC版: 手机版:

封面图片

OpenAI聘请前Nextdoor CEP担任首席财务官 并任命新的产品主管

OpenAI聘请前Nextdoor CEP担任首席财务官 并任命新的产品主管 高层团队的扩大正值OpenAI的重要时刻。该公司正努力通过向企业客户销售服务来提高其人工智能产品的收入,同时还在其消费者聊天机器人应用中增加了增强语音功能等功能。OpenAI还开始训练一个更强大的人工智能模型,这可以帮助它在越来越多资金雄厚的竞争对手面前保持领先地位,这些对手都在争夺同样的用户和业务。OpenAI首席执行官萨姆-阿尔特曼(Sam Altman)在宣布聘任的博客文章中说:"萨拉和凯文带来的丰富经验将帮助OpenAI扩大运营规模,制定下一阶段的发展战略,并确保我们的团队拥有继续蓬勃发展所需的资源。"弗里尔也是沃尔玛公司(Walmart)董事会成员,曾任金融科技公司Square的首席财务官,他将帮助OpenAI继续投资人工智能研究,同时发展其全球业务。Weil 曾任卫星图像服务公司 Planet Labs PBC 的产品和业务总裁,他将领导一个产品团队,致力于将 OpenAI 的研究成果应用于服务该公司的消费者和企业用户。OpenAI 的领导层目前正面临着新的担忧,即他们将人工智能的商业化置于确保其安全性之上。这家初创公司解散了一个备受瞩目的安全小组,该小组的工作重点是应对人工智能的长期风险。安全相关团队的员工也相继离职。OpenAI 则强调了其对安全、负责任地开发人工智能的承诺。威尔在一份声明中说:"OpenAI 的产品团队在突破性创新和人工智能产品的周到部署方面都已经迈开了步伐。我很高兴能成为下一阶段发展的一部分,我们将继续安全、负责任地向 AGI 迈进。" ... PC版: 手机版:

封面图片

首席科学家离开后 OpenAI又一高管辞职

首席科学家离开后 OpenAI又一高管辞职     莱克共同领导了OpenAI的超级对齐团队,该团队专注于使其人工智能系统与人类利益保持一致。去年9月,莱克被《时代》杂志评为人工智能领域100位最具影响力人物之一。与苏茨克沃的充满感情的告别帖子不同,莱克的帖子非常简单,只有几个字“我辞职了”,这肯定会引发人们对他和苏茨克沃下一步行动的猜测。OpenAI首席执行官萨姆·奥特曼没有立即就莱克的离开发表评论。这是OpenAI管理层近期动荡的一部分。此前据The Information报道,两名高管戴安·尹(Diane Yoon)和克里斯·克拉克(Chris Clark)几周前辞职。尹是OpenAI人力部副总裁,克拉克是非营利和战略计划负责人。The Information上个月还报道说,OpenAI已经与研究人员Leopold Aschenbrenner和Pavel Izmailov分道扬镳。他们都曾在超级对齐团队工作过。此外,上周有报道称,近几个月来,两名负责安全和治理的员工辞职。Daniel Kokotajlo上个月离职,William Saunders今年2月离开OpenAI。 ... PC版: 手机版:

封面图片

OpenAI网友明年最期待产品排行:AGI、智能体、升级版Sora位列前三

OpenAI网友明年最期待产品排行:AGI、智能体、升级版Sora位列前三 奥特曼公布OpenAI2025年的产品技术“目标”。当地时间12月31日,人工智能巨头OpenAI CEO山姆·奥特曼(Sam Altman)在X(推特)公布了为期约一周征集的网友对于新产品技术的期待排行,分别是:AGI(通用人工智能)、Agents(智能体)、更好的升级版GPT-4o、更好的记忆存储、更好的上下文窗口、…… - 电报频道 - #娟姐新闻: @juanjienews

封面图片

OpenAI 首席技术官:没将产品优先程度置于安全之前

OpenAI 首席技术官:没将产品优先程度置于安全之前 近日,OpenAI 首席技术官米拉・穆拉蒂(Mira Murati)在一次访谈中再次谈起 AI(人工智能)安全,并对 “超级对齐” 安全团队解散、ChatGPT 斯嘉丽语音风波、公司面临监管审查等问题作出回应。穆拉蒂回应称:“超级对齐是 OpenAI 非常重要的安全团队,但只是团队之一,公司有很多人负责安全工作。” 她表示并不认同 “公司把产品放在安全之前” 这一观点,并称这一论调有点过于愤世嫉俗。

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人