OpenAI：超智能AI或在这个十年出现 将加大资源应对

OpenAI：超智能AI或在这个十年出现将加大资源应对这篇博文预测，超智能AI，即相比于人类更智能的系统，可能会在未来10年中出现。人类需要比目前更强大的技术来控制超智能AI，因此需要在“AI对齐研究”方面取得突破，确保人AI对人类持续有益。AI对齐是AI控制中的主要问题，即要求AI的目标和人类的价值观与意图保持一致。作者写道，OpenAI将在未来4年内，将算力的20%专门用于解决这方面问题。此外，该公司将组建新的“超对齐”团队来组织这方面的工作。该团队的目标是开发达到“人类水平”，由AI驱动的对齐研究员，随后通过庞大的算力推动其发展。OpenAI表示，这意味着将使用人工反馈来训练AI系统，通过训练AI系统来协助人工评估，最终训练AI系统来进行实际的对齐研究。不过，人工智能安全的倡导者康纳·莱希（ConnorLeahy）表示，OpenAI的计划存在根本性缺陷，因为最初的人类水平AI可能会失控并造成严重破坏，而这将迫使研究者去解决AI安全问题。他在接受采访时表示：“在构建人类水平的智能之前，必须先解决对齐问题，否则默认情况下你无法控制它。我个人认为这不是个特别好的、安全的计划。”AI的潜在危险一直是AI研究员和公众最关心的问题。今年4月，一群AI行业领袖和专家签署公开信，呼吁暂停6个月开发比OpenAI的GPT-4更强大的系统，原因是对社会存在潜在风险。益普索今年5月的调查发现，超过2/3的美国人担心AI可能产生的负面影响，61%的人认为AI可能威胁人类文明。...PC版：https://www.cnbeta.com.tw/articles/soft/1369253.htm手机版：https://m.cnbeta.com.tw/view/1369253.htm

OpenAI CEO：十年内超强AI系统或将诞生

OpenAICEO：十年内超强AI系统或将诞生奥特曼表示，世界的注意力主要集中在解决当今的人工智能问题上，很多问题的解决非常迫切。人工智能能力正在迅速增长，现在需要负责任地将其应用到世界中去。当下，人工智能变革正在迅速拓展人类的想象力，未来十年，奥特曼认为AGI将会超过90年代初人类所具备的专业水平，最终可能超过人类最大体量公司的总体生产力，潜在收益是巨大的。与此同时，管理风险、共同努力实现预期目标也是必需的。随着越来越强大的人工智能系统的出现，全球合作的利益变得前所未有地重要。如果不做好规划，一个未对齐的AI系统可能会通过提供不平衡的建议来破坏整个集体系统。因此，奥特曼强调，推进AGI安全是行业寻找共同立场的最重要领域之一。奥特曼表示行业必须为开发和部署可能引发的问题负起责任，其中最重要的两个领域是：一，建立起包容的国际准则和标准，并在所有国家对AGI的使用中建立平等、统一的防护措施；二，需要国际合作，以可验证的方式在全球范围内建立对越来越强大的AGI系统安全开发的信任。奥特曼引用《道德经》称“千里之行，始于足下”，最有建设性的第一步是与国际科技界展开合作，推动增加AGI安全技术进展的透明度和知识的机制，发现紧急问题的研究人员应该与更多人共享研究成果。更加深入地思考如何在鼓励推动国际合作的同时尊重和保护知识产权，推动并引导与安全研究一致的投资。聚焦眼下，奥特曼认为，要使AI系统成为一个有益和安全的助手，对应的是如何训练模型，使其在没有安全威胁的前提下发挥积极作用，主动应对AGI带来的潜在挑战，将未来灾难性后果的风险降至最低。具体到GPT-4从完成预训练到部署，奥特曼称团队花了八个月的时间来研究如何前置预判风险并给出对策的问题，团队走在正确的道路上，GPT-4的对齐程度超过当前所有的代码。但对于更高级的系统来说，对齐仍是一个尚未解决的问题，需要新的技术方法以及加强治理监督，毕竟未来的AGI可能是一个十万行二进制代码的系统，人类监督者很难判断如此规模的模型是否在做一些损害的事情。针对于此，奥特曼称团队正在投资新的方向，其一是可扩展监督，尝试使用AI系统来协助人类监督其他AI系统，例如训练一个模型来帮助人类监督员找出其他模型代码中的缺陷。其二是可解释性，更好地理解模型内部发生的事情，如用GPT-4来解释计算机的复杂状态。最终目标是训练AI系统具备更好的优化自身的能力，而美国、中国乃至世界各地的研究人员，在应对AI领域技术挑战上的合作存在巨大潜力。在与智源研究院理事长张宏江隔空对话中，奥特曼表示，AGI时代可能很快就会发生，未来十年内，行业可能会拥有超强的AI系统，这种情况下，全球监管便非常紧迫。而AI安全是最新的技术，不仅需要考虑AI模型本身的安全性，还需要考虑整个系统的安全性。因此需要构建安全的分类器和检测器，来监测符合用户政策的情况。至于OpenAI会否重新开放GPT源代码，奥特曼表示，目前OpenAI开源了部分模型，随着时间的推移，可以期望更多模型开源。未来随着模型变得越来越大，确保正确性将变得昂贵，开源一切可能不是最优路径。...PC版：https://www.cnbeta.com.tw/articles/soft/1364557.htm手机版：https://m.cnbeta.com.tw/view/1364557.htm

OpenAI 探索用 GPT-2 小模型监督 GPT-4 大模型，防止 AI 毁灭人类

OpenAI探索用GPT-2小模型监督GPT-4大模型，防止AI毁灭人类Ilya领衔的OpenAI对齐团队，发表了——用类似GPT-2监督GPT-4的方法，或可帮人类搞定自己更聪明的超级AI！团队声称，已经发现了对超人类模型进行实证对齐的新研究方向。未来超级AI系统对齐的一个核心挑战——人类需要监督比自己更聪明人工智能系统。来源，频道：@kejiqu群组：@kejiquchat

OpenAI 正在组建一个新团队，以控制“超级智能”人工智能

OpenAI正在组建一个新团队，以控制“超级智能”人工智能OpenAI正在组建一个由其首席科学家兼公司联合创始人之一IlyaSutskever领导的新团队，以开发引导和控制“超级智能”人工智能系统的方法。，Sutskever和OpenAI联盟团队的负责人JanLeike预测，人工智能可能会在十年内实现超越人类的智能。苏茨克弗和雷克说，这种人工智能——假设它最终确实到来——不一定是仁慈的，需要研究控制和限制它的方法。他们写道：“目前，我们还没有一个解决方案来引导或控制潜在的超级人工智能，并防止其失控。”“我们目前调整人工智能的技术，例如根据人类反馈进行强化学习，依赖于人类监督人工智能的能力。但人类无法可靠地监督比我们聪明得多的人工智能系统。”为了推动“超级智能对齐”领域的发展，OpenAI正在创建一个新的超级对齐团队，由Sutskever和Leike领导，该团队将有权使用公司迄今为止已获得的20%的计算资源。该团队由OpenAI之前的对准部门的科学家和工程师以及公司其他部门的研究人员加入，目标是在未来四年内解决控制超级智能AI的核心技术挑战。——

中信建投：OpenAI “超级对齐” 取得进展，由弱到强泛化实现 AI 可控

中信建投：OpenAI“超级对齐”取得进展，由弱到强泛化实现AI可控中信建投研报指出，12月15日，OpenAI“超级对齐”团队发布了成立以来的首篇论文，开辟了对超级模型进行实证对齐的新研究方向。OpenAI认为，比人类聪明得多的人工智能（超级智能）可以在未来十年之内发展出来，然而如何正确的引导和控制超人的人工智能系统仍然没有得到很好的解决，解决AI的可控问题对于如何确保最先进的人工智能系统始终安全并造福人类至关重要。在最新的研究中，OpenAI实现了从弱模型监督强模型的任务，OpenAI使用GPT-2模型来激发GPT-4的大部分能力，使其达到接近GPT-3.5级别的性能。实现了“弱到强泛化”（Weak-to-stronggeneralization），即让小模型监督大模型，为“超级对齐”提供了切实可行的技术路线。预期OpenAI将在“超级对齐”研究中取得持续突破，我们看好安全可控下的大模型行业发展前景。

OpenAI 证实即便是超人工智能也能被人类有效控制

OpenAI证实即便是超人工智能也能被人类有效控制OpenAI认为超越人类的人工智能将在10年内到来，而人类能否监督比自身更聪明的模型一直是个被广泛讨论的话题。OpenAI的超级对齐团队给出了一个初步实证答案——可以。今天的情况是强到弱泛化，即人类(强老师)指导GPT-4(弱学生)学习。为了研究弱到强泛化的未来，OpenAI研究了一个简单的类比:小模型能监督大模型吗？结果证明，GPT-2监督的GPT-4达到了由人类监督的GPT-3.5性能。超级对齐团队测试后发现，许多简单的方法可以大大改进弱到强的泛化能力，比如鼓励强模型更加自信，包括在必要时自信地反对弱监督者的观点。又比如先对齐一个稍微超人的模型，然后用它对齐一个更智能的模型，而不是直接对齐非常超人的模型。投稿：@TNSubmbot频道：@TestFlightCN