OpenAI 探索用 GPT-2 小模型监督 GPT-4 大模型，防止 AI 毁灭人类

OpenAI 探索用 GPT-2 小模型监督 GPT-4 大模型，防止 AI 毁灭人类 Ilya 领衔的 OpenAI 对齐团队，发表了 用类似 GPT-2 监督 GPT-4 的方法，或可帮人类搞定自己更聪明的超级 AI！ 团队声称，已经发现了对超人类模型进行实证对齐的新研究方向。未来超级 AI 系统对齐的一个核心挑战 人类需要监督比自己更聪明人工智能系统。 来源， 频道：@kejiqu 群组：@kejiquchat

OpenAI 正在组建一个新团队，以控制“超级智能”人工智能

OpenAI 正在组建一个新团队，以控制“超级智能”人工智能 OpenAI 正在组建一个由其首席科学家兼公司联合创始人之一 Ilya Sutskever 领导的新团队，以开发引导和控制“超级智能”人工智能系统的方法。 ，Sutskever 和 OpenAI 联盟团队的负责人 Jan Leike 预测，人工智能可能会在十年内实现超越人类的智能。苏茨克弗和雷克说，这种人工智能假设它最终确实到来不一定是仁慈的，需要研究控制和限制它的方法。 他们写道：“目前，我们还没有一个解决方案来引导或控制潜在的超级人工智能，并防止其失控。” “我们目前调整人工智能的技术，例如根据人类反馈进行强化学习，依赖于人类监督人工智能的能力。但人类无法可靠地监督比我们聪明得多的人工智能系统。” 为了推动“超级智能对齐”领域的发展，OpenAI 正在创建一个新的超级对齐团队，由 Sutskever 和 Leike 领导，该团队将有权使用公司迄今为止已获得的 20% 的计算资源。该团队由 OpenAI 之前的对准部门的科学家和工程师以及公司其他部门的研究人员加入，目标是在未来四年内解决控制超级智能 AI 的核心技术挑战。

OpenAI今天宣布推出总额为1000万美元的“超对齐快速资助计划”，旨在支持针对超人工智能系统的对齐和安全性的技术研究。该计划

OpenAI今天宣布推出总额为1000万美元的“超对齐快速资助计划”，旨在支持针对超人工智能系统的对齐和安全性的技术研究。该计划将重点支持弱到强泛化、可解释性、可扩展监督等方面的研究。 OpenAI相信超级智能有可能在未来10年内诞生。这些人工智能系统将具有广泛的能力，可能带来巨大的益处，但也可能带来巨大的风险。目前，我们通过人类反馈的强化学习来确保AI系统的安全。然而，对齐未来的超人工智能系统将面临根本性的新挑战。超人工智能系统将能够展现出人类无法完全理解的复杂和创造性行为。例如，如果一个超人工智能模型生成了一百万行极其复杂的代码，人们将无法可靠地评估这些代码的安全性和危险性。依赖于人类监督的现有对齐技术，如强化学习，可能不再足够。这带来了一个基本性的挑战：人类如何引导和信任比他们聪明得多的AI系统？这是世界上最重要的尚未解决的技术问题之一。但我们认为，通过共同的努力，这个问题是可以解决的。目前有许多有希望的方法和令人兴奋的方向，以及许多唾手可得的成果。我们认为，今天机器学习研究社区和个人研究者在解决这个问题上有巨大的机会。 作为我们的“超对齐”项目的一部分，我们希望汇聚世界上最优秀的研究人员和工程师，迎接这一挑战，我们对能够吸引新的人才进入该领域尤为兴奋。 在与Eric Schmidt的合作下，我们推出了一个总额为1000万美元的资助计划，以支持针对确保超人工智能系统对齐和安全的技术研究。我们将向学术实验室、非营利组织和个人研究者提供10万美元至200万美元不等的资助。对于研究生学生，我们将提供为期一年的OpenAI超对齐奖学金，总额为15万美元，其中包括7.5万美元的生活津贴和7.5万美元的计算资源和研究经费。申请者不需要有对齐方面的先前经验，我们积极寻找首次从事对齐研究的研究者。我们的申请流程简单，并将在申请截止后的四个星期内回复申请者。请在2月18日前提交申请。 通过这些资助计划，我们特别关注以下研究方向： 从弱到强的概括：相对于超人工智能模型，人类将是弱监督者。我们能否理解和控制强模型如何从弱监督中的泛化能力？ 可解释性：我们如何理解模型的内部结构？我们可以用它来构建人工智能测谎仪吗？ 可扩展的监督：我们如何使用人工智能系统来帮助人类评估其他人工智能系统在复杂任务上的输出？ 许多其他研究方向，包括但不限于：诚实、思想链忠实性、对抗性鲁棒性、评估和测试平台等。 via 匿名 标签: #OpenAI #AI 频道: @GodlyNews1 投稿: @GodlyNewsBot

现在，Jan Leike 将为 OpenAI 的一个竞争对手从事类似的 AI 监督工作。

现在，Jan Leike 将为 OpenAI 的一个竞争对手从事类似的 AI 监督工作。 Jan Leike, 一位关键的 OpenAI 研究员，因为“安全顾虑”在本月早些时候辞职，现已加入竞争对手 Anthropic（代表产品Claude） ，根据莱克在 X 上的帖子，他将“致力于可扩展的监督、从弱到强的泛化以及自动化对齐研究”。 标签: #OpenAI #Anthropic 频道: @GodlyNews1 投稿: @GodlyNewsBot

OpenAI首席技术官：预计几年内“博士级智能”的AI就会出现

OpenAI首席技术官：预计几年内“博士级智能”的AI就会出现 当被问及ChatGPT的智能进展时，穆拉蒂表示：“这些系统在特定任务中已经达到了人类的水平，当然在很多任务中，它们还没有达到。”她接着说，像GPT-3这样的模型表现出与蹒跚学步的孩子相似的智力。相比之下，像GPT-4这样的系统所展示的智力堪比聪明的高中生。“然后在接下来的几年里，我们将着眼于特定任务的博士级智能。所以情况正在迅速改变和提高。”在另一次采访中，穆拉蒂表示，OpenAI实验室正在开发的AI模型并不比公众可用的模型先进多少。“我们最近做的事情是发布GPT-4o，这是我们的全能模型。我们让每个人都可以免费使用它，”她接着说，“在实验室里，我们有这些功能强大的模型，它们与公众免费使用的模型相比并不那么遥遥领先。” ... PC版： 手机版：

AI十年内取代人类！ 比尔盖茨预言剩3职业幸存：医生、老师也不保

AI十年内取代人类！ 比尔盖茨预言剩3职业幸存：医生、老师也不保 人工智能（AI）近年快速发展并被广泛应用，微软共同创办人比尔盖茨（Bill Gates）近日表示，未来十年内人工智能的进步将使得世界上「大多数事情」不再需要人类，除了三个类型的职业外，包括医师、教师等仰赖人类专家的工作都会被取代。 盖茨也预言AI将冲击众多职业，仅「程序员、生物学家、能源专家」3种职业因需要人类作来控制决策和推动AI，可能得以幸存。 #AI #科技 #人工智能 #比尔盖茨