OpenAI今天宣布推出总额为1000万美元的“超对齐快速资助计划”,旨在支持针对超人工智能系统的对齐和安全性的技术研究。该计划

OpenAI今天宣布推出总额为1000万美元的“超对齐快速资助计划”,旨在支持针对超人工智能系统的对齐和安全性的技术研究。该计划将重点支持弱到强泛化、可解释性、可扩展监督等方面的研究。 OpenAI相信超级智能有可能在未来10年内诞生。这些人工智能系统将具有广泛的能力,可能带来巨大的益处,但也可能带来巨大的风险。目前,我们通过人类反馈的强化学习来确保AI系统的安全。然而,对齐未来的超人工智能系统将面临根本性的新挑战。超人工智能系统将能够展现出人类无法完全理解的复杂和创造性行为。例如,如果一个超人工智能模型生成了一百万行极其复杂的代码,人们将无法可靠地评估这些代码的安全性和危险性。依赖于人类监督的现有对齐技术,如强化学习,可能不再足够。这带来了一个基本性的挑战:人类如何引导和信任比他们聪明得多的AI系统?这是世界上最重要的尚未解决的技术问题之一。但我们认为,通过共同的努力,这个问题是可以解决的。目前有许多有希望的方法和令人兴奋的方向,以及许多唾手可得的成果。我们认为,今天机器学习研究社区和个人研究者在解决这个问题上有巨大的机会。 作为我们的“超对齐”项目的一部分,我们希望汇聚世界上最优秀的研究人员和工程师,迎接这一挑战,我们对能够吸引新的人才进入该领域尤为兴奋。 在与Eric Schmidt的合作下,我们推出了一个总额为1000万美元的资助计划,以支持针对确保超人工智能系统对齐和安全的技术研究。我们将向学术实验室、非营利组织和个人研究者提供10万美元至200万美元不等的资助。对于研究生学生,我们将提供为期一年的OpenAI超对齐奖学金,总额为15万美元,其中包括7.5万美元的生活津贴和7.5万美元的计算资源和研究经费。申请者不需要有对齐方面的先前经验,我们积极寻找首次从事对齐研究的研究者。我们的申请流程简单,并将在申请截止后的四个星期内回复申请者。请在2月18日前提交申请。 通过这些资助计划,我们特别关注以下研究方向: 从弱到强的概括:相对于超人工智能模型,人类将是弱监督者。我们能否理解和控制强模型如何从弱监督中的泛化能力? 可解释性:我们如何理解模型的内部结构?我们可以用它来构建人工智能测谎仪吗? 可扩展的监督:我们如何使用人工智能系统来帮助人类评估其他人工智能系统在复杂任务上的输出? 许多其他研究方向,包括但不限于:诚实、思想链忠实性、对抗性鲁棒性、评估和测试平台等。 via 匿名 标签: #OpenAI #AI 频道: @GodlyNews1 投稿: @GodlyNewsBot

相关推荐

封面图片

OpenAI 正在组建一个新团队,以控制“超级智能”人工智能

OpenAI 正在组建一个新团队,以控制“超级智能”人工智能 OpenAI 正在组建一个由其首席科学家兼公司联合创始人之一 Ilya Sutskever 领导的新团队,以开发引导和控制“超级智能”人工智能系统的方法。 ,Sutskever 和 OpenAI 联盟团队的负责人 Jan Leike 预测,人工智能可能会在十年内实现超越人类的智能。苏茨克弗和雷克说,这种人工智能假设它最终确实到来不一定是仁慈的,需要研究控制和限制它的方法。 他们写道:“目前,我们还没有一个解决方案来引导或控制潜在的超级人工智能,并防止其失控。” “我们目前调整人工智能的技术,例如根据人类反馈进行强化学习,依赖于人类监督人工智能的能力。但人类无法可靠地监督比我们聪明得多的人工智能系统。” 为了推动“超级智能对齐”领域的发展,OpenAI 正在创建一个新的超级对齐团队,由 Sutskever 和 Leike 领导,该团队将有权使用公司迄今为止已获得的 20% 的计算资源。该团队由 OpenAI 之前的对准部门的科学家和工程师以及公司其他部门的研究人员加入,目标是在未来四年内解决控制超级智能 AI 的核心技术挑战。

封面图片

【OpenAI将启动总计100万美元的资助计划,以推动ChatGPT民主进程】

【OpenAI将启动总计100万美元的资助计划,以推动ChatGPT民主进程】 5月26日消息,OpenAI将启动一项资助计划,以推动ChatGPT的民主进程并管理人工智能的负面因素,预计将从现有基金中拨出100万美元。该计划将分为10个等额的资助份额,每份10万美元。OpenAI希望通过此举促进人工智能的健康发展,并通过制定有效措施来遏制偏见等问题。 OpenAI首席执行官Sam Altman表示,人工智能系统应该造福全人类,并具有更大的包容性。这项资助计划是朝着这一目标迈出的第一步。他还表示,其中的10万美元将捐赠给那些提出相关治理框架的个人和组织,以期望能够有更多方案来管理人工智能的发展。

封面图片

OpenAI 和 Meta 准备推出具有“推理”能力的新人工智能模型

OpenAI 和 Meta 准备推出具有“推理”能力的新人工智能模型 OpenAI 和 Meta 即将发布新的人工智能模型,他们表示这些模型将具备推理和规划的能力,这是在机器中实现超人认知的关键步骤。本周,OpenAI 和 Meta 的高管表示,他们正准备推出其大型语言模型的下一个版本。Meta 表示将在未来几周内开始推出 Llama 3,而微软支持的 OpenAI 表示,其下一个模型 GPT-5 将“很快”推出。Meta 人工智能研究副总裁乔尔•皮诺表示:“我们正在努力研究如何让这些模型不仅能说话,还能真正推理、规划……拥有记忆”。OpenAI 首席运营官布拉德•莱特卡普在接受记者采访时表示,下一代 GPT 将在解决推理等“难题”方面取得进展。他说:“我们将开始看到人工智能能够以更复杂的方式完成更复杂的任务。”“我认为,我们才刚刚开始触及这些模型推理能力的表面。” ()

封面图片

OpenAI 已解散长期人工智能风险团队

OpenAI 已解散长期人工智能风险团队 去年 7 月,OpenAI 宣布成立一个新的研究团队,为通用人工智能的到来做准备。OpenAI 首席科学家、公司联合创始人之一 Ilya Sutskever 被任命为这个新团队的联合负责人。OpenAI 表示,该团队将获得 20% 的计算能力。 现在 OpenAI 证实,“超级对齐团队”已不复存在。此前多位相关研究人员离职,该团队的两名研究人员 Leopold Aschenbrenner 和 Pavel Izmailov 因泄露公司机密而被解雇,周二 Sutskever 宣布将离开公司,该团队的另一位联合负责人也辞职了。该小组的工作将被纳入 OpenAI 的其他研究工作中。

封面图片

MIT CSAIL最新研究表明 人工智能不会抢走那么多工作岗位

MIT CSAIL最新研究表明 人工智能不会抢走那么多工作岗位 高盛估计,在未来几年内,人工智能将使整个劳动力市场的 25% 实现自动化。麦肯锡称,到 2055 年,近一半的工作将由人工智能驱动。宾夕法尼亚大学、纽约大学和普林斯顿大学的一项调查发现,仅 ChatGPT 一项就可能影响约 80% 的工作。职业介绍公司 Challenger, Gray & Christmas 的一份报告显示,人工智能已经取代了成千上万的工人。但是,在他们的研究中,麻省理工学院的研究人员试图超越他们所说的"基于任务"的比较,评估人工智能扮演某些角色的可行性有多大,以及企业真正用人工智能技术取代工人的可能性有多大。与人们的预期相反,麻省理工学院的研究人员发现,大多数之前被认为有可能被人工智能取代的工作,事实上并没有实现自动化的"经济效益"至少目前是这样。这项研究的共同作者、麻省理工学院 CSAIL 研究科学家尼尔-汤普森(Neil Thompson)说,这项研究的主要启示是,即将到来的人工智能颠覆可能会比一些评论家所说的发生得更慢,也不那么引人注目。"与最近的许多研究一样,我们发现人工智能在自动化任务方面具有巨大潜力,"汤普森在接受 TechCrunch 电子邮件采访时说。"但我们能够证明,其中许多任务的自动化尚不具备吸引力。"需要注意的是,这项研究只研究了需要进行视觉分析的工作,即涉及在生产线末端检查产品质量等任务的工作。研究人员没有调查文本和图像生成模式(如 ChatGPT 和 Midjourney)对工人和经济的潜在影响;他们把这个问题留给了后续研究。在进行这项研究时,研究人员对工人进行了调查,以了解人工智能系统要完全取代他们的工作,需要完成哪些任务。然后,他们模拟了建立一个能够完成所有这些任务的人工智能系统的成本,并模拟了企业特别是美国的"非农"企业是否愿意为这样一个系统支付前期和运营费用。在研究初期,研究人员举了一个面包师的例子。根据美国劳工统计局的数据,面包师大约要花 6% 的时间来检查食品质量,而人工智能可以(并且正在)自动完成这项任务。一家拥有五名面包师、年薪 4.8 万美元的面包店,如果能实现食品质量检测自动化,就能节省 1.4 万美元。但根据该研究的估算,要完成这项任务,一个简单的、从零开始的人工智能系统的部署成本为 16.5 万美元,每年的维护成本为 12.284 万美元......这只是低端成本。"我们发现,在人类从事视觉任务所支付的工资中,只有23%的工资在经济上对人工智能自动化具有吸引力,"汤普森说。"人类仍然是从事这些工作的更好经济选择。"现在,这项研究考虑到了通过 OpenAI 等供应商销售的自助托管型人工智能系统,这些系统只需要针对特定任务进行微调,而不是从头开始训练。但据研究人员称,即使系统成本仅为1000美元,也有很多工作尽管是低工资和依赖多任务处理的工作对于企业来说,实现自动化是没有经济意义的。研究人员在研究报告中写道:"即使我们只考虑计算机视觉对视觉任务的影响,我们也会发现,工作岗位的流失率低于经济中已经出现的流失率。即使成本以每年 20% 的速度快速下降,计算机视觉任务仍然需要数十年的时间才能变得对企业具有经济效益"。研究人员承认,这项研究存在一些局限性。例如,它没有考虑人工智能可以增强 而非取代人类劳动的情况(如分析运动员的高尔夫挥杆),也没有考虑创造以前不存在的新任务和工作(如维护人工智能系统)的情况。此外,它也没有考虑到像 GPT-4 这样的预训练模型可能带来的所有成本节约。我们不禁要问,研究人员是否感受到了研究支持者麻省理工学院-IBM 沃森人工智能实验室(MIT-IBM Watson AI Lab)为得出某些结论而施加的压力。麻省理工学院-IBM 沃森人工智能实验室由 IBM 出资 2.4 亿美元创建,为期 10 年。但研究人员断言事实并非如此。汤普森说:"我们的动机是,人工智能的主要形式深度学习在许多任务中取得了巨大成功,我们希望了解这对人类工作自动化意味着什么。对于政策制定者来说,我们的研究结果应能强化为人工智能工作自动化做好准备的重要性......但我们的研究结果也揭示出,这一过程将需要数年甚至数十年的时间才能展开,因此有时间将政策措施落实到位。对于人工智能研究人员和开发人员来说,这项工作表明了降低人工智能部署成本和扩大其部署范围的重要性。这些对于使人工智能在经济上对企业自动化具有吸引力非常重要"。 ... PC版: 手机版:

封面图片

软银计划向人工智能项目投入651亿元

软银计划向人工智能项目投入651亿元 软银首席财务官后藤义光向英国《金融时报》表示:原则上,我们将保持同样的投资节奏。从现在开始,我们希望加大对人工智能公司的投资。他补充道: 我们一直将资产负债表保持在非常安全的水平,是 因为我们 希望做好准备,如果有任何我们想采取的行动,我们希望能够灵活应对。去年,软银首席执行官 孙正义预测,到本世纪末,通用人工智能(AGI),即能够匹敌甚至超越人类思维和推理能力的计算机系统,将比全人类强大 10 倍 。孙正义说道:要充分利用这个机会,否则就会落后。报道称,软银在人工智能领域面临着激烈的竞争,因为微软、亚马逊和 谷歌等科技巨头已投资数十亿美元 与初创公司合作 开发人工智能模型。此外,顶级 风险投资公司 希望与开发人工智能产品和应用程序的公司开展业务。事实上, 上周有报道称, 微软 和 亚马逊今年 已经 为全球人工智能相关和数据中心项目拨款 400 多亿美元。据《华尔街日报》报道,对于微软来说,这意味着计划在法国、德国、日本、马来西亚、西班牙和印度尼西亚等多个国家投资超过 160 亿美元。与此同时,亚马逊已在日本投资 150 亿美元,在新加坡投资 90 亿美元,在墨西哥投资 50 亿美元,在法国投资 13 亿美元。在海外大力投资人工智能基础设施的举措源于希望满足全球对人工智能技术日益增长的需求,以及需要在云计算转变的地区建立数据中心,以确保处理时间更快,同时保证数据的安全和私密。 ... PC版: 手机版:

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人