OpenAI 正在组建一个新团队，以控制“超级智能”人工智能

OpenAI 正在组建一个新团队，以控制“超级智能”人工智能 OpenAI 正在组建一个由其首席科学家兼公司联合创始人之一 Ilya Sutskever 领导的新团队，以开发引导和控制“超级智能”人工智能系统的方法。 ，Sutskever 和 OpenAI 联盟团队的负责人 Jan Leike 预测，人工智能可能会在十年内实现超越人类的智能。苏茨克弗和雷克说，这种人工智能假设它最终确实到来不一定是仁慈的，需要研究控制和限制它的方法。 他们写道：“目前，我们还没有一个解决方案来引导或控制潜在的超级人工智能，并防止其失控。” “我们目前调整人工智能的技术，例如根据人类反馈进行强化学习，依赖于人类监督人工智能的能力。但人类无法可靠地监督比我们聪明得多的人工智能系统。” 为了推动“超级智能对齐”领域的发展，OpenAI 正在创建一个新的超级对齐团队，由 Sutskever 和 Leike 领导，该团队将有权使用公司迄今为止已获得的 20% 的计算资源。该团队由 OpenAI 之前的对准部门的科学家和工程师以及公司其他部门的研究人员加入，目标是在未来四年内解决控制超级智能 AI 的核心技术挑战。

专家建议在降低AI风险方面进行大量投资 并制定更严格的全球法规以防止滥用

专家建议在降低AI风险方面进行大量投资 并制定更严格的全球法规以防止滥用 这些风险包括社会和经济影响、恶意使用以及人类可能失去对自主人工智能系统的控制。他们提出了积极主动的适应性治理措施，以降低这些风险。作者敦促大型技术公司和公共资助者加大投入，至少将三分之一的预算用于评估和降低这些风险。他们还呼吁全球法律机构和政府执行防止滥用人工智能的标准。这些挑战包括以下方面：监督与诚信能力更强的人工智能系统可以更好地利用技术监督和测试方面的弱点，例如，产生虚假但令人信服的输出。鲁棒性人工智能系统在新情况下的表现难以预测。随着模型规模的扩大，鲁棒性的某些方面会得到改善，而其他方面则不会，甚至会变得更糟。可解释性和透明度人工智能决策是不透明的，规模更大、能力更强的模型解释起来更加复杂。到目前为止，我们只能通过试错来测试大型模型。我们需要学习了解它们的内部运作。包容性的人工智能发展人工智能的发展需要有方法来减少偏见，并整合其将影响的众多人群的价值观（见 SM）。应对新出现的挑战 未来的人工智能系统可能会出现我们迄今为止仅在理论或实验室实验中见过的失效模式，例如人工智能系统控制了训练奖励-提供渠道，或利用我们安全目标和关闭机制中的弱点来推进特定目标。第二类研发挑战需要取得进展，以实现有效的风险调整治理，或在安全和治理失效时减少危害。评估危险能力 随着人工智能开发人员对系统进行扩展，不可预见的能力会在没有明确编程的情况下自发出现（见 SM）。它们往往在部署后才被发现（见 SM）。我们需要严格的方法来激发和评估人工智能能力，并在训练前对其进行预测。这既包括在世界上实现宏伟目标的通用能力（如长期规划和执行），也包括基于威胁模型的特定危险能力（如社会操纵或黑客攻击）。目前对危险能力的人工智能前沿模型的评估是各种人工智能政策框架的关键，但这些评估仅限于抽查和在特定环境下的尝试性演示（见 SM）。这些评估有时可以展示危险能力，但无法可靠地排除危险能力：在测试中缺乏某些能力的人工智能系统，很可能在稍有不同的环境中或经过后期训练增强后显示出这些能力。因此，依赖于人工智能系统不跨越任何红线的决策需要很大的安全系数。改进评估工具可以降低遗漏危险能力的几率，从而允许更小的安全系数。评估人工智能调整 如果人工智能继续发展，人工智能系统最终将拥有高度危险的能力。在训练和部署这些系统之前，我们需要一些方法来评估它们使用这些能力的倾向。对于先进的人工智能系统来说，纯粹的行为评估可能会失败：与人类类似，它们可能会在评估中表现出不同的行为，伪造一致性。风险评估 我们不仅要学会评估危险的能力，还要学会评估社会背景下的风险，以及复杂的相互作用和脆弱性。对前沿人工智能系统进行严格的风险评估仍然是一个公开的挑战，因为这些系统具有广泛的能力，而且在不同的应用领域中普遍部署。复原力 不可避免的是，有些人会滥用或肆意使用人工智能。我们需要一些工具来检测和防御人工智能带来的威胁，如大规模影响行动、生物风险和网络攻击。然而，随着人工智能系统的能力越来越强，它们最终将能够规避人类制造的防御系统。为了实现更强大的基于人工智能的防御，我们首先需要学习如何使人工智能系统安全并保持一致。"为了引导人工智能取得积极成果，远离灾难，我们需要调整方向。有一条负责任的道路只要我们有智慧去走它，"作者写道。它们突显了全球科技公司竞相开发通用人工智能系统的情况，这些系统在许多关键领域的能力可能与人类不相上下，甚至超过人类。然而，这种快速进步也带来了社会规模的风险，可能会加剧社会不公、破坏社会稳定，并导致大规模网络犯罪、自动化战争、定制化大规模操纵和无孔不入的监控。重点关注的问题之一是，自主人工智能系统有可能失去控制，这将使人类的干预变得无效。专家认为，人类尚未做好充分准备来应对这些潜在的人工智能风险。他们指出，与提高人工智能能力的努力相比，在确保安全和合乎道德地开发和部署这些技术方面投入的资源少之又少。为了弥补这一差距，作者概述了人工智能研究、开发和治理的当务之急。DOI: 10.1126/science.adn0117 ... PC版： 手机版：

超人类作家预测2045年将出现人工超级智能与永生的奇点

超人类作家预测2045年将出现人工超级智能与永生的奇点 在最近接受《卫报》采访时，库兹韦尔介绍了他的新书《奇点临近》，这是他 2005 年的畅销书《奇点临近》的续集：当人类超越生物学》的续篇。库兹韦尔预测，人工智能将在 2029 年达到人类水平的智能，而计算机与人类的融合（奇点）将在 2045 年实现。如今，人工智能已成为人们谈论最多的话题，但他认为自己的预测仍然有效。库兹韦尔认为，五年后，机器学习将在几乎所有领域拥有与最熟练的人类相同的能力。少数能够写出奥斯卡级别剧本或构思出新的深刻哲学见解的"顶尖人类"仍将能够击败人工智能，但当人工通用智能（AGI）最终在所有领域都超越人类时，一切都将改变。要将大型语言模型（LLM）提升到更高水平，只需要更强的计算能力。库兹韦尔指出，我们今天的计算模式"基本上是完美的"，随着时间的推移，它只会越来越好。作者并不认为量子计算会颠覆世界。他说，有太多方法可以继续改进现代芯片，比如 3D 和垂直堆叠设计。库兹韦尔预测，机器学习工程师最终将通过在更多数据基础上训练出的更先进的算法，解决幻觉、人工智能生成的不可思议的图像以及其他人工智能异常现象所带来的问题，一旦人们开始将大脑与云融合，奇点就会到来。脑机接口（BCIs）的进步已经出现。这些 BCIs 最终将由通过毛细血管"无创"进入大脑的纳米机器人组成，它们将使人类拥有自然智能和控制论智能的结合。库兹韦尔作为一名图书作者和热情的超人类主义者，他的想象力是显而易见的。科学界仍未找到将药物直接送入大脑的有效方法，因为人类的生理机能并不像这位未来学家所想的那样。不过，他仍然坚信，在未来二十年内，纳米机器人将使人类的智能提高"一百万倍"。库兹韦尔承认，人工智能将从根本上改变社会，并创造全球自动化经济。人们将失去工作，但也将适应先进技术带来的新的就业角色和机会。全民基本收入也将减轻人们的痛苦。他预计，第一批切实可行的变革计划将在 2030 年代出现。不可避免的"奇点"将使人类长生不老，或无限期地延长我们的寿命。技术甚至可以通过人工智能化身和虚拟现实让死者复活。库兹韦尔说，人们对人工智能的担忧是错误的："这不会是我们与人工智能的对决：人工智能正在进入我们的内部。它将让我们创造出以前无法实现的新事物。这将是一个非常美妙的未来。" ... PC版： 手机版：

OpenAI今天宣布推出总额为1000万美元的“超对齐快速资助计划”，旨在支持针对超人工智能系统的对齐和安全性的技术研究。该计划

OpenAI今天宣布推出总额为1000万美元的“超对齐快速资助计划”，旨在支持针对超人工智能系统的对齐和安全性的技术研究。该计划将重点支持弱到强泛化、可解释性、可扩展监督等方面的研究。 OpenAI相信超级智能有可能在未来10年内诞生。这些人工智能系统将具有广泛的能力，可能带来巨大的益处，但也可能带来巨大的风险。目前，我们通过人类反馈的强化学习来确保AI系统的安全。然而，对齐未来的超人工智能系统将面临根本性的新挑战。超人工智能系统将能够展现出人类无法完全理解的复杂和创造性行为。例如，如果一个超人工智能模型生成了一百万行极其复杂的代码，人们将无法可靠地评估这些代码的安全性和危险性。依赖于人类监督的现有对齐技术，如强化学习，可能不再足够。这带来了一个基本性的挑战：人类如何引导和信任比他们聪明得多的AI系统？这是世界上最重要的尚未解决的技术问题之一。但我们认为，通过共同的努力，这个问题是可以解决的。目前有许多有希望的方法和令人兴奋的方向，以及许多唾手可得的成果。我们认为，今天机器学习研究社区和个人研究者在解决这个问题上有巨大的机会。 作为我们的“超对齐”项目的一部分，我们希望汇聚世界上最优秀的研究人员和工程师，迎接这一挑战，我们对能够吸引新的人才进入该领域尤为兴奋。 在与Eric Schmidt的合作下，我们推出了一个总额为1000万美元的资助计划，以支持针对确保超人工智能系统对齐和安全的技术研究。我们将向学术实验室、非营利组织和个人研究者提供10万美元至200万美元不等的资助。对于研究生学生，我们将提供为期一年的OpenAI超对齐奖学金，总额为15万美元，其中包括7.5万美元的生活津贴和7.5万美元的计算资源和研究经费。申请者不需要有对齐方面的先前经验，我们积极寻找首次从事对齐研究的研究者。我们的申请流程简单，并将在申请截止后的四个星期内回复申请者。请在2月18日前提交申请。 通过这些资助计划，我们特别关注以下研究方向： 从弱到强的概括：相对于超人工智能模型，人类将是弱监督者。我们能否理解和控制强模型如何从弱监督中的泛化能力？ 可解释性：我们如何理解模型的内部结构？我们可以用它来构建人工智能测谎仪吗？ 可扩展的监督：我们如何使用人工智能系统来帮助人类评估其他人工智能系统在复杂任务上的输出？ 许多其他研究方向，包括但不限于：诚实、思想链忠实性、对抗性鲁棒性、评估和测试平台等。 via 匿名 标签: #OpenAI #AI 频道: @GodlyNews1 投稿: @GodlyNewsBot

美国和英国将合作测试人工智能安全威胁模型

美国和英国将合作测试人工智能安全威胁模型 两国人工智能安全研究所之间的协议立即生效。美国商务部长吉娜-雷蒙多（Gina Raimondo）表示，美国政府"致力于与其他国家发展类似的伙伴关系，在全球范围内促进人工智能安全"。雷蒙多在一份声明中说："这种合作关系将加速我们两家机构在各种风险方面的工作，无论是对我们的国家安全还是对我们更广泛的社会面。"通过该协议，两国承诺在技术研究、人员交流和信息共享方面开展合作。美国和英国的一个潜在合作伙伴是欧盟，欧盟通过了自己的人工智能系统使用全面法规。欧盟的人工智能法要求运行强大的人工智能模型的公司遵守安全标准。英国的人工智能安全研究所是在 11 月的全球人工智能峰会前夕成立的，包括美国副总统卡马拉-哈里斯在内的多位世界领导人在峰会上讨论了如何利用并在可能的情况下对该技术进行跨境监管。英国已经开始对一些模型进行安全测试，但目前还不清楚它是否能获得最近发布的版本。一些人工智能公司敦促英国人工智能安全研究所进一步明确时间表，以及在发现模型存在风险时的下一步措施。 ... PC版： 手机版：

当地时间周二 OpenAI 首席执行官萨姆・阿尔特曼（Sam Altman）表示，达到人类水平级别的人工智能即将出现，但它对世界

当地时间周二 OpenAI 首席执行官萨姆・阿尔特曼（Sam Altman）表示，达到人类水平级别的人工智能即将出现，但它对世界的影响远没有我们想象的那么大。 阿尔特曼表示，人们总担心人工智能有朝一日会变得很强大，会极大重塑和颠覆世界，实际上这种担忧是被夸大了。 阿尔特曼在瑞士达沃斯世界经济论坛上表示：“它（AI）给世界带来的变化比我们想象的要小得多，给工作带来的变化也比我们想象的要小得多。” 阿尔特曼特别提到了通用人工智能（AGI）。他说，通用人工智能可能会在“相当近的将来”开发出来。 阿尔特曼领导的公司在 2022 年底公开发布 ChatGPT 聊天机器人后迅速进入主流，他一直在试图缓解怀疑论者对人工智能技术如何接管社会的担忧。 去年 3 月份 OpenAI 发布 GPT-4 大语言模型之前，阿尔特曼警告技术人员不要对模型的潜力过于兴奋，他说人们可能会感到“失望”。 今年 1 月份阿尔特曼在接受采访时表示：“人们总希望失望，他们也的确会失望。”“我们没有真正的通用人工智能，在某种程度上这只是期望。” OpenAI 成立于 2015 年，使命就是实现通用人工智能。公司得到了微软的投资和支持，在私人市场的估值接近 1000 亿美元。 阿尔特曼说，人工智能还没有像许多经济学家担心的那样大规模地取代工作。他补充说，这项技术在提高生产力方面已经成为“一个不可思议的工具”。 去年 11 月份，阿尔特曼曾遭到 OpenAI 董事会解雇，主要原因就是公司董事会对人工智能安全和 OpenAI 在保护人工智能方面所扮演角色的担忧，并表示对阿尔特曼的领导失去了信心。在遭到 OpenAI 员工和投资者的强烈反对后，阿尔特曼迅速恢复首席执行官的职位。在他回归公司后，微软也获得了 OpenAI 无投票权的董事会观察员席位。 via 匿名 标签: #OpenAI #ChatGPT #AI 频道: @GodlyNews1 投稿: @GodlyNewsBot