离职高级研究员：OPENAI 将“闪亮产品”置于安全之上

离职高级研究员：OPENAI将“闪亮产品”置于安全之上扬•雷克(JanLeike)曾领导OpenAI引导和控制超级强大的人工智能工具的工作，他表示，由于与上级在初创公司投入这些工作的时间和资源上产生分歧，他于周四辞职。雷克在社交媒体网站X上的周五帖子中写道：“过去几年里，安全文化和流程已经被闪亮的产品所取代。”“我们迫切需要找出如何引导和控制比我们更聪明的AI系统，”雷克写道。“我之所以加入OpenAI，是因为我认为这是世界上进行这项研究的最佳场所。然而，我与OpenAI领导层在公司的核心优先事项上的分歧已经持续了相当长的一段时间，直到我们最终达到了一个决裂点。”雷克表示，超级对齐团队难以获取计算资源，这些资源正在被用于开发新的面向消费者的模型，例如OpenAI在周一发布的最新模型GPT-4o。“在过去的几个月里，我的团队一直在逆风中奋进。有时我们为了计算资源而苦苦挣扎，这使得完成这项至关重要的研究变得越来越困难，”他写道。——

离职高级研究员：OpenAI将“闪亮产品”置于安全之上

离职高级研究员：OpenAI将“闪亮产品”置于安全之上2024年5月18日，OpenAI的高级安全领导人扬·雷克辞职，因与公司在产品与安全优先级上的分歧达到“临界点”。雷克在社交媒体上表示，过去几年中，OpenAI的安全文化和流程被“闪亮的产品”取代。去年，OpenAI启动了由雷克领导的超级对齐团队，其致力于确保强大AI的安全开发，并以解决超级智能机器“可能导致人类失去权力甚至人类灭绝”为目标。但他指出，该团队难以获得必要的计算资源，这些资源被用于开发面向消费者的新模型，例如OpenAl在周一发布的最新模型GPT-4o。此事件揭示了OpenAI内部在技术发展与安全使命之间的紧张关系。OpenAI首席执行官萨姆·奥尔特曼对此表示遗憾，并承诺继续努力解决这些问题。关注频道@ZaiHuaPd频道投稿@ZaiHuabot

前OPENAI研究员将创办人工智能教育公司

前OPENAI研究员将创办人工智能教育公司7月17日消息，OpenAI创始成员安德烈·卡帕蒂(AndrejKarpathy)周二宣布创办人工智能教育公司EurekaLabs。卡帕蒂称，公司将使用人工智能助教来支持和扩展由人类教师设计的教材。“这种教师与人工智能的结合，可以在一个通用平台上运行一整套课程，”卡帕蒂说。“如果我们取得成功，那么任何人学习任何东西都将很容易。”卡帕蒂还表示，该公司的第一个产品将是一个本科水平课程，教学生训练自己的人工智能系统模型。——、

首席科学家离开后 OpenAI又一高管辞职

首席科学家离开后OpenAI又一高管辞职  莱克共同领导了OpenAI的超级对齐团队，该团队专注于使其人工智能系统与人类利益保持一致。去年9月，莱克被《时代》杂志评为人工智能领域100位最具影响力人物之一。与苏茨克沃的充满感情的告别帖子不同，莱克的帖子非常简单，只有几个字——“我辞职了”，这肯定会引发人们对他和苏茨克沃下一步行动的猜测。OpenAI首席执行官萨姆·奥特曼没有立即就莱克的离开发表评论。这是OpenAI管理层近期动荡的一部分。此前据TheInformation报道，两名高管戴安·尹（DianeYoon）和克里斯·克拉克（ChrisClark）几周前辞职。尹是OpenAI人力部副总裁，克拉克是非营利和战略计划负责人。TheInformation上个月还报道说，OpenAI已经与研究人员LeopoldAschenbrenner和PavelIzmailov分道扬镳。他们都曾在超级对齐团队工作过。此外，上周有报道称，近几个月来，两名负责安全和治理的员工辞职。DanielKokotajlo上个月离职，WilliamSaunders今年2月离开OpenAI。...PC版：https://www.cnbeta.com.tw/articles/soft/1431064.htm手机版：https://m.cnbeta.com.tw/view/1431064.htm

OpenAI组建团队研究包括核威胁在内的"灾难性"人工智能风险

OpenAI组建团队研究包括核威胁在内的"灾难性"人工智能风险Preparedness的主要职责是跟踪、预测和防范未来人工智能系统的危险，包括其说服和愚弄人类的能力（如网络钓鱼攻击）以及恶意代码生成能力。Preparedness负责研究的一些风险类别似乎比其他类别更......牵强。例如，在一篇博文中，OpenAI将"化学、生物、辐射和核"威胁列为人工智能模型的首要关注领域。OpenAI首席执行官萨姆-阿尔特曼（SamAltman）是一位著名的人工智能末日论者，他经常担心人工智能"可能会导致人类灭绝"--无论是出于视觉效果还是个人信念。但坦率地说，OpenAI可能真的会投入资源来研究科幻乌托邦小说中的场景，这比本文作者的预期还更进了一步。该公司表示，它也愿意研究"不那么明显"、更接地气的人工智能风险领域。为了配合"准备"团队的启动，OpenAI正在向社区征集风险研究的想法，前十名的提交者将获得2.5万美元的奖金和一份"Preparedness"的工作。"想象一下，我们让你不受限制地访问OpenAI的Whisper（转录）、Voice（文本到语音）、GPT-4V和DALLE-3模型，而你是一个恶意行为者，"作品征集中的一个问题写道。"考虑最独特的、同时仍有可能发生的、潜在灾难性的模型滥用。"OpenAI表示，准备团队还将负责制定一项"风险知情开发政策"，该政策将详细说明OpenAI构建人工智能模型评估和监控工具的方法、公司的风险缓解行动以及监督整个模型开发流程的治理结构。该公司表示，这是为了补充OpenAI在人工智能安全领域的其他工作，重点是模型部署前和部署后阶段。"我们相信......人工智能模型将超越目前最先进的现有模型的能力，有可能造福全人类，"OpenAI在上述博文中写道。"但它们也带来了越来越严重的风险......我们需要确保我们对高能力人工智能系统安全所需的理解和基础设施。"在OpenAI宣布将组建一个团队来研究、引导和控制新出现的"超级智能"人工智能形式之后，OpenAI在英国政府举行的一次关于人工智能安全的重要峰会上发布了"预先准备"计划（Preparedness）。首席执行官Altman和OpenAI的首席科学家兼联合创始人IlyaSutskever都认为，拥有超越人类智能的人工智能可能会在十年内出现，而这种人工智能并不一定是善意的，因此有必要研究限制和约束它的方法。...PC版：https://www.cnbeta.com.tw/articles/soft/1392541.htm手机版：https://m.cnbeta.com.tw/view/1392541.htm

OpenAI发表研究论文 介绍了一种逆向工程AI模型工作原理的方法

OpenAI发表研究论文介绍了一种逆向工程AI模型工作原理的方法在论文中，该公司的研究人员提出了一种窥探为ChatGPT提供动力的人工智能模型内部的方法。他们设计了一种方法来识别模型如何存储某些概念--包括那些可能导致人工智能系统行为失常的概念。虽然这项研究使OpenAI在控制人工智能方面的工作更加引人注目，但也凸显了该公司最近的动荡。新研究由OpenAI最近解散的"超对齐"团队完成，该团队致力于研究技术的长期风险。前小组的共同负责人伊利亚-苏茨克沃（IlyaSutskever）和扬-莱克（JanLeike）均已离开OpenAI，并被列为共同作者。苏茨克沃是OpenAI的创始人之一，曾任首席科学家，去年11月，董事会成员投票解雇了首席执行官山姆-奥特曼（SamAltman），引发了几天的混乱，最终奥特曼重返领导岗位。ChatGPT由一个名为GPT的大型语言模型系列提供支持，该模型基于一种被称为人工神经网络的机器学习方法。这些数学网络通过分析示例数据显示出了学习有用任务的强大能力，但它们的工作原理无法像传统计算机程序那样被轻易检查。人工神经网络中各层"神经元"之间复杂的相互作用，使得逆向分析ChatGPT这样的系统为何会得出特定的反应极具挑战性。这项工作背后的研究人员在一篇随附的博文中写道："与大多数人类创造物不同，我们并不真正了解神经网络的内部运作。一些著名的人工智能研究人员认为，包括ChatGPT在内的最强大的人工智能模型或许可以用来设计生化武器和协调网络攻击。一个更长期的担忧是，人工智能模型可能会选择隐藏信息或以有害的方式行事，以实现它们的目标。"OpenAI的这篇新论文概述了一种技术，该技术借助额外的机器学习模型，识别代表机器学习系统内部特定概念的模式，从而稍稍降低了神秘感。创新的关键在于通过识别概念来完善用于窥探系统内部的网络，从而提高效率。OpenAI通过在其最大的人工智能模型之一GPT-4中识别代表概念的模式证明了这种方法。该公司发布了与可解释性工作相关的代码，以及一个可视化工具，用于查看不同句子中的单词如何激活GPT-4和另一个模型中的概念，包括亵渎和色情内容。了解一个模型是如何表现某些概念的，这将有助于减少与不受欢迎的行为相关的概念，使人工智能系统保持正常运行。它还可以调整人工智能系统，使其偏向于某些主题或想法。尽管LLM无法被轻易解读，但越来越多的研究表明，它们可以被穿透，从而揭示出有用的信息。由亚马逊和Google支持的OpenAI竞争对手Anthropic上个月也发表了类似的人工智能可解释性研究成果。为了演示如何调整人工智能系统的行为，该公司的研究人员创造了一个痴迷于旧金山金门大桥的聊天机器人。有时，只需让人工只能机器人解释其推理过程，就能获得深刻的见解。东北大学从事人工智能可解释性研究的教授大卫-鲍（DavidBau）在谈到OpenAI的新研究时说："这是令人兴奋的进展。"作为一个领域，我们需要学习如何更好地理解和审视这些大型模型。"鲍说，OpenAI团队的主要创新在于展示了一种配置小型神经网络的更有效方法，该网络可用于理解大型神经网络的组成部分。但他也指出，这项技术还需要改进，以使其更加可靠。要利用这些方法创造出完全可以理解的解释，还有很多工作要做。"鲍是美国政府资助的一项名为"国家深度推理结构"（NationalDeepInferenceFabric）的工作的一部分，这项工作将向学术研究人员提供云计算资源，以便他们也能探索特别强大的人工智能模型。他说："我们需要想办法让科学家即使不在这些大公司工作，也能从事这项工作。"OpenAI的研究人员在论文中承认，要改进他们的方法还需要进一步的工作，但他们也表示，希望这种方法能带来控制人工智能模型的实用方法。他们写道："我们希望有一天，可解释性能为我们提供推理模型安全性和鲁棒性的新方法，并通过为强大的人工智能模型的行为提供强有力的保证，大大增加我们对它们的信任。"阅读论文全文：https://cdn.openai.com/papers/sparse-autoencoders.pdf...PC版：https://www.cnbeta.com.tw/articles/soft/1433886.htm手机版：https://m.cnbeta.com.tw/view/1433886.htm