OpenAI 正在组建一个新团队，以控制“超级智能”人工智能

OpenAI 正在组建一个新团队，以控制“超级智能”人工智能 OpenAI 正在组建一个由其首席科学家兼公司联合创始人之一 Ilya Sutskever 领导的新团队，以开发引导和控制“超级智能”人工智能系统的方法。 ，Sutskever 和 OpenAI 联盟团队的负责人 Jan Leike 预测，人工智能可能会在十年内实现超越人类的智能。苏茨克弗和雷克说，这种人工智能假设它最终确实到来不一定是仁慈的，需要研究控制和限制它的方法。 他们写道：“目前，我们还没有一个解决方案来引导或控制潜在的超级人工智能，并防止其失控。” “我们目前调整人工智能的技术，例如根据人类反馈进行强化学习，依赖于人类监督人工智能的能力。但人类无法可靠地监督比我们聪明得多的人工智能系统。” 为了推动“超级智能对齐”领域的发展，OpenAI 正在创建一个新的超级对齐团队，由 Sutskever 和 Leike 领导，该团队将有权使用公司迄今为止已获得的 20% 的计算资源。该团队由 OpenAI 之前的对准部门的科学家和工程师以及公司其他部门的研究人员加入，目标是在未来四年内解决控制超级智能 AI 的核心技术挑战。

专家建议在降低AI风险方面进行大量投资 并制定更严格的全球法规以防止滥用

专家建议在降低AI风险方面进行大量投资 并制定更严格的全球法规以防止滥用 这些风险包括社会和经济影响、恶意使用以及人类可能失去对自主人工智能系统的控制。他们提出了积极主动的适应性治理措施，以降低这些风险。作者敦促大型技术公司和公共资助者加大投入，至少将三分之一的预算用于评估和降低这些风险。他们还呼吁全球法律机构和政府执行防止滥用人工智能的标准。这些挑战包括以下方面：监督与诚信能力更强的人工智能系统可以更好地利用技术监督和测试方面的弱点，例如，产生虚假但令人信服的输出。鲁棒性人工智能系统在新情况下的表现难以预测。随着模型规模的扩大，鲁棒性的某些方面会得到改善，而其他方面则不会，甚至会变得更糟。可解释性和透明度人工智能决策是不透明的，规模更大、能力更强的模型解释起来更加复杂。到目前为止，我们只能通过试错来测试大型模型。我们需要学习了解它们的内部运作。包容性的人工智能发展人工智能的发展需要有方法来减少偏见，并整合其将影响的众多人群的价值观（见 SM）。应对新出现的挑战 未来的人工智能系统可能会出现我们迄今为止仅在理论或实验室实验中见过的失效模式，例如人工智能系统控制了训练奖励-提供渠道，或利用我们安全目标和关闭机制中的弱点来推进特定目标。第二类研发挑战需要取得进展，以实现有效的风险调整治理，或在安全和治理失效时减少危害。评估危险能力 随着人工智能开发人员对系统进行扩展，不可预见的能力会在没有明确编程的情况下自发出现（见 SM）。它们往往在部署后才被发现（见 SM）。我们需要严格的方法来激发和评估人工智能能力，并在训练前对其进行预测。这既包括在世界上实现宏伟目标的通用能力（如长期规划和执行），也包括基于威胁模型的特定危险能力（如社会操纵或黑客攻击）。目前对危险能力的人工智能前沿模型的评估是各种人工智能政策框架的关键，但这些评估仅限于抽查和在特定环境下的尝试性演示（见 SM）。这些评估有时可以展示危险能力，但无法可靠地排除危险能力：在测试中缺乏某些能力的人工智能系统，很可能在稍有不同的环境中或经过后期训练增强后显示出这些能力。因此，依赖于人工智能系统不跨越任何红线的决策需要很大的安全系数。改进评估工具可以降低遗漏危险能力的几率，从而允许更小的安全系数。评估人工智能调整 如果人工智能继续发展，人工智能系统最终将拥有高度危险的能力。在训练和部署这些系统之前，我们需要一些方法来评估它们使用这些能力的倾向。对于先进的人工智能系统来说，纯粹的行为评估可能会失败：与人类类似，它们可能会在评估中表现出不同的行为，伪造一致性。风险评估 我们不仅要学会评估危险的能力，还要学会评估社会背景下的风险，以及复杂的相互作用和脆弱性。对前沿人工智能系统进行严格的风险评估仍然是一个公开的挑战，因为这些系统具有广泛的能力，而且在不同的应用领域中普遍部署。复原力 不可避免的是，有些人会滥用或肆意使用人工智能。我们需要一些工具来检测和防御人工智能带来的威胁，如大规模影响行动、生物风险和网络攻击。然而，随着人工智能系统的能力越来越强，它们最终将能够规避人类制造的防御系统。为了实现更强大的基于人工智能的防御，我们首先需要学习如何使人工智能系统安全并保持一致。"为了引导人工智能取得积极成果，远离灾难，我们需要调整方向。有一条负责任的道路只要我们有智慧去走它，"作者写道。它们突显了全球科技公司竞相开发通用人工智能系统的情况，这些系统在许多关键领域的能力可能与人类不相上下，甚至超过人类。然而，这种快速进步也带来了社会规模的风险，可能会加剧社会不公、破坏社会稳定，并导致大规模网络犯罪、自动化战争、定制化大规模操纵和无孔不入的监控。重点关注的问题之一是，自主人工智能系统有可能失去控制，这将使人类的干预变得无效。专家认为，人类尚未做好充分准备来应对这些潜在的人工智能风险。他们指出，与提高人工智能能力的努力相比，在确保安全和合乎道德地开发和部署这些技术方面投入的资源少之又少。为了弥补这一差距，作者概述了人工智能研究、开发和治理的当务之急。DOI: 10.1126/science.adn0117 ... PC版： 手机版：

中国工程院院士高文：要严格控制人工智能的底层价值取向

中国工程院院士高文：要严格控制人工智能的底层价值取向 2024 世界人工智能大会（WAIC 2024）期间，中国工程院院士，鹏城实验室主任，北京大学博雅讲席教授高文认为，如果强人工智能时代到来，可能存在三大安全风险，即模型的不可解释性、算法和硬件的不可靠性、自主意识的不可控性。高文认为，首先，AI 技术需要完善理论基础验证，并实现模型的可解释性；其次，要严格控制人工智能的底层价值取向，实现技术的标准化；在应用阶段，需要预防人为造成的人工智能安全问题，对人工智能进行动机选择。他同时指出，应对强人工智能，必须加强国际合作。（新浪科技）

薛澜：AI 可能带来几方面风险 要重视风险防控

薛澜：AI 可能带来几方面风险 要重视风险防控 在今日上午举行的 2024 世界人工智能大会暨人工智能全球治理高级别会议开幕式全体会议上，清华大学苏世民书院院长薛澜谈到人工智能发展带来的收益时举例， 2015 年全世界 193 个国家在联合国共同签署了 SDGs（人类可持续发展目标），希望到 2030 年能够推动人类社会更好地发展。193 个国家所签署的 SDG 一共有 17 个目标，下面有 169 个具体的指标。总体来讲，人工智能会对 169 个指标里面 134 个带来积极促进作用，也有可能对其中 59 个产生不利影响。他举例道，目前，人工智能可能带来一些风险。第一：技术内在问题，包括所谓幻觉，另外自主人工智能系统长远来讲，受到自主发展的可能对人类社会的威胁；第二：基于技术开发带来风险，包括数据安全问题、算法歧视、能源环境等问题；第三：技术应用，包括误用或者滥用，长远对社会就业带来影响。这些问题都是不可忽视的。

超人类作家预测2045年将出现人工超级智能与永生的奇点

超人类作家预测2045年将出现人工超级智能与永生的奇点 在最近接受《卫报》采访时，库兹韦尔介绍了他的新书《奇点临近》，这是他 2005 年的畅销书《奇点临近》的续集：当人类超越生物学》的续篇。库兹韦尔预测，人工智能将在 2029 年达到人类水平的智能，而计算机与人类的融合（奇点）将在 2045 年实现。如今，人工智能已成为人们谈论最多的话题，但他认为自己的预测仍然有效。库兹韦尔认为，五年后，机器学习将在几乎所有领域拥有与最熟练的人类相同的能力。少数能够写出奥斯卡级别剧本或构思出新的深刻哲学见解的"顶尖人类"仍将能够击败人工智能，但当人工通用智能（AGI）最终在所有领域都超越人类时，一切都将改变。要将大型语言模型（LLM）提升到更高水平，只需要更强的计算能力。库兹韦尔指出，我们今天的计算模式"基本上是完美的"，随着时间的推移，它只会越来越好。作者并不认为量子计算会颠覆世界。他说，有太多方法可以继续改进现代芯片，比如 3D 和垂直堆叠设计。库兹韦尔预测，机器学习工程师最终将通过在更多数据基础上训练出的更先进的算法，解决幻觉、人工智能生成的不可思议的图像以及其他人工智能异常现象所带来的问题，一旦人们开始将大脑与云融合，奇点就会到来。脑机接口（BCIs）的进步已经出现。这些 BCIs 最终将由通过毛细血管"无创"进入大脑的纳米机器人组成，它们将使人类拥有自然智能和控制论智能的结合。库兹韦尔作为一名图书作者和热情的超人类主义者，他的想象力是显而易见的。科学界仍未找到将药物直接送入大脑的有效方法，因为人类的生理机能并不像这位未来学家所想的那样。不过，他仍然坚信，在未来二十年内，纳米机器人将使人类的智能提高"一百万倍"。库兹韦尔承认，人工智能将从根本上改变社会，并创造全球自动化经济。人们将失去工作，但也将适应先进技术带来的新的就业角色和机会。全民基本收入也将减轻人们的痛苦。他预计，第一批切实可行的变革计划将在 2030 年代出现。不可避免的"奇点"将使人类长生不老，或无限期地延长我们的寿命。技术甚至可以通过人工智能化身和虚拟现实让死者复活。库兹韦尔说，人们对人工智能的担忧是错误的："这不会是我们与人工智能的对决：人工智能正在进入我们的内部。它将让我们创造出以前无法实现的新事物。这将是一个非常美妙的未来。" ... PC版： 手机版：

OpenAI今天宣布推出总额为1000万美元的“超对齐快速资助计划”，旨在支持针对超人工智能系统的对齐和安全性的技术研究。该计划

OpenAI今天宣布推出总额为1000万美元的“超对齐快速资助计划”，旨在支持针对超人工智能系统的对齐和安全性的技术研究。该计划将重点支持弱到强泛化、可解释性、可扩展监督等方面的研究。 OpenAI相信超级智能有可能在未来10年内诞生。这些人工智能系统将具有广泛的能力，可能带来巨大的益处，但也可能带来巨大的风险。目前，我们通过人类反馈的强化学习来确保AI系统的安全。然而，对齐未来的超人工智能系统将面临根本性的新挑战。超人工智能系统将能够展现出人类无法完全理解的复杂和创造性行为。例如，如果一个超人工智能模型生成了一百万行极其复杂的代码，人们将无法可靠地评估这些代码的安全性和危险性。依赖于人类监督的现有对齐技术，如强化学习，可能不再足够。这带来了一个基本性的挑战：人类如何引导和信任比他们聪明得多的AI系统？这是世界上最重要的尚未解决的技术问题之一。但我们认为，通过共同的努力，这个问题是可以解决的。目前有许多有希望的方法和令人兴奋的方向，以及许多唾手可得的成果。我们认为，今天机器学习研究社区和个人研究者在解决这个问题上有巨大的机会。 作为我们的“超对齐”项目的一部分，我们希望汇聚世界上最优秀的研究人员和工程师，迎接这一挑战，我们对能够吸引新的人才进入该领域尤为兴奋。 在与Eric Schmidt的合作下，我们推出了一个总额为1000万美元的资助计划，以支持针对确保超人工智能系统对齐和安全的技术研究。我们将向学术实验室、非营利组织和个人研究者提供10万美元至200万美元不等的资助。对于研究生学生，我们将提供为期一年的OpenAI超对齐奖学金，总额为15万美元，其中包括7.5万美元的生活津贴和7.5万美元的计算资源和研究经费。申请者不需要有对齐方面的先前经验，我们积极寻找首次从事对齐研究的研究者。我们的申请流程简单，并将在申请截止后的四个星期内回复申请者。请在2月18日前提交申请。 通过这些资助计划，我们特别关注以下研究方向： 从弱到强的概括：相对于超人工智能模型，人类将是弱监督者。我们能否理解和控制强模型如何从弱监督中的泛化能力？ 可解释性：我们如何理解模型的内部结构？我们可以用它来构建人工智能测谎仪吗？ 可扩展的监督：我们如何使用人工智能系统来帮助人类评估其他人工智能系统在复杂任务上的输出？ 许多其他研究方向，包括但不限于：诚实、思想链忠实性、对抗性鲁棒性、评估和测试平台等。 via 匿名 标签: #OpenAI #AI 频道: @GodlyNews1 投稿: @GodlyNewsBot