OpenAI今天宣布推出总额为1000万美元的“超对齐快速资助计划”,旨在支持针对超人工智能系统的对齐和安全性的技术研究。该计划

OpenAI今天宣布推出总额为1000万美元的“超对齐快速资助计划”,旨在支持针对超人工智能系统的对齐和安全性的技术研究。该计划将重点支持弱到强泛化、可解释性、可扩展监督等方面的研究。 OpenAI相信超级智能有可能在未来10年内诞生。这些人工智能系统将具有广泛的能力,可能带来巨大的益处,但也可能带来巨大的风险。目前,我们通过人类反馈的强化学习来确保AI系统的安全。然而,对齐未来的超人工智能系统将面临根本性的新挑战。超人工智能系统将能够展现出人类无法完全理解的复杂和创造性行为。例如,如果一个超人工智能模型生成了一百万行极其复杂的代码,人们将无法可靠地评估这些代码的安全性和危险性。依赖于人类监督的现有对齐技术,如强化学习,可能不再足够。这带来了一个基本性的挑战:人类如何引导和信任比他们聪明得多的AI系统?这是世界上最重要的尚未解决的技术问题之一。但我们认为,通过共同的努力,这个问题是可以解决的。目前有许多有希望的方法和令人兴奋的方向,以及许多唾手可得的成果。我们认为,今天机器学习研究社区和个人研究者在解决这个问题上有巨大的机会。 作为我们的“超对齐”项目的一部分,我们希望汇聚世界上最优秀的研究人员和工程师,迎接这一挑战,我们对能够吸引新的人才进入该领域尤为兴奋。 在与Eric Schmidt的合作下,我们推出了一个总额为1000万美元的资助计划,以支持针对确保超人工智能系统对齐和安全的技术研究。我们将向学术实验室、非营利组织和个人研究者提供10万美元至200万美元不等的资助。对于研究生学生,我们将提供为期一年的OpenAI超对齐奖学金,总额为15万美元,其中包括7.5万美元的生活津贴和7.5万美元的计算资源和研究经费。申请者不需要有对齐方面的先前经验,我们积极寻找首次从事对齐研究的研究者。我们的申请流程简单,并将在申请截止后的四个星期内回复申请者。请在2月18日前提交申请。 通过这些资助计划,我们特别关注以下研究方向: 从弱到强的概括:相对于超人工智能模型,人类将是弱监督者。我们能否理解和控制强模型如何从弱监督中的泛化能力? 可解释性:我们如何理解模型的内部结构?我们可以用它来构建人工智能测谎仪吗? 可扩展的监督:我们如何使用人工智能系统来帮助人类评估其他人工智能系统在复杂任务上的输出? 许多其他研究方向,包括但不限于:诚实、思想链忠实性、对抗性鲁棒性、评估和测试平台等。 via 匿名 标签: #OpenAI #AI 频道: @GodlyNews1 投稿: @GodlyNewsBot

相关推荐

封面图片

OpenAI 正在组建一个新团队,以控制“超级智能”人工智能

OpenAI 正在组建一个新团队,以控制“超级智能”人工智能 OpenAI 正在组建一个由其首席科学家兼公司联合创始人之一 Ilya Sutskever 领导的新团队,以开发引导和控制“超级智能”人工智能系统的方法。 ,Sutskever 和 OpenAI 联盟团队的负责人 Jan Leike 预测,人工智能可能会在十年内实现超越人类的智能。苏茨克弗和雷克说,这种人工智能假设它最终确实到来不一定是仁慈的,需要研究控制和限制它的方法。 他们写道:“目前,我们还没有一个解决方案来引导或控制潜在的超级人工智能,并防止其失控。” “我们目前调整人工智能的技术,例如根据人类反馈进行强化学习,依赖于人类监督人工智能的能力。但人类无法可靠地监督比我们聪明得多的人工智能系统。” 为了推动“超级智能对齐”领域的发展,OpenAI 正在创建一个新的超级对齐团队,由 Sutskever 和 Leike 领导,该团队将有权使用公司迄今为止已获得的 20% 的计算资源。该团队由 OpenAI 之前的对准部门的科学家和工程师以及公司其他部门的研究人员加入,目标是在未来四年内解决控制超级智能 AI 的核心技术挑战。

封面图片

【OpenAI将启动总计100万美元的资助计划,以推动ChatGPT民主进程】

【OpenAI将启动总计100万美元的资助计划,以推动ChatGPT民主进程】 5月26日消息,OpenAI将启动一项资助计划,以推动ChatGPT的民主进程并管理人工智能的负面因素,预计将从现有基金中拨出100万美元。该计划将分为10个等额的资助份额,每份10万美元。OpenAI希望通过此举促进人工智能的健康发展,并通过制定有效措施来遏制偏见等问题。 OpenAI首席执行官Sam Altman表示,人工智能系统应该造福全人类,并具有更大的包容性。这项资助计划是朝着这一目标迈出的第一步。他还表示,其中的10万美元将捐赠给那些提出相关治理框架的个人和组织,以期望能够有更多方案来管理人工智能的发展。

封面图片

OpenAI 和 Meta 准备推出具有“推理”能力的新人工智能模型

OpenAI 和 Meta 准备推出具有“推理”能力的新人工智能模型 OpenAI 和 Meta 即将发布新的人工智能模型,他们表示这些模型将具备推理和规划的能力,这是在机器中实现超人认知的关键步骤。本周,OpenAI 和 Meta 的高管表示,他们正准备推出其大型语言模型的下一个版本。Meta 表示将在未来几周内开始推出 Llama 3,而微软支持的 OpenAI 表示,其下一个模型 GPT-5 将“很快”推出。Meta 人工智能研究副总裁乔尔•皮诺表示:“我们正在努力研究如何让这些模型不仅能说话,还能真正推理、规划……拥有记忆”。OpenAI 首席运营官布拉德•莱特卡普在接受记者采访时表示,下一代 GPT 将在解决推理等“难题”方面取得进展。他说:“我们将开始看到人工智能能够以更复杂的方式完成更复杂的任务。”“我认为,我们才刚刚开始触及这些模型推理能力的表面。” ()

封面图片

OpenAI 已解散长期人工智能风险团队

OpenAI 已解散长期人工智能风险团队 去年 7 月,OpenAI 宣布成立一个新的研究团队,为通用人工智能的到来做准备。OpenAI 首席科学家、公司联合创始人之一 Ilya Sutskever 被任命为这个新团队的联合负责人。OpenAI 表示,该团队将获得 20% 的计算能力。 现在 OpenAI 证实,“超级对齐团队”已不复存在。此前多位相关研究人员离职,该团队的两名研究人员 Leopold Aschenbrenner 和 Pavel Izmailov 因泄露公司机密而被解雇,周二 Sutskever 宣布将离开公司,该团队的另一位联合负责人也辞职了。该小组的工作将被纳入 OpenAI 的其他研究工作中。

封面图片

软银计划向人工智能项目投入651亿元

软银计划向人工智能项目投入651亿元 软银首席财务官后藤义光向英国《金融时报》表示:原则上,我们将保持同样的投资节奏。从现在开始,我们希望加大对人工智能公司的投资。他补充道: 我们一直将资产负债表保持在非常安全的水平,是 因为我们 希望做好准备,如果有任何我们想采取的行动,我们希望能够灵活应对。去年,软银首席执行官 孙正义预测,到本世纪末,通用人工智能(AGI),即能够匹敌甚至超越人类思维和推理能力的计算机系统,将比全人类强大 10 倍 。孙正义说道:要充分利用这个机会,否则就会落后。报道称,软银在人工智能领域面临着激烈的竞争,因为微软、亚马逊和 谷歌等科技巨头已投资数十亿美元 与初创公司合作 开发人工智能模型。此外,顶级 风险投资公司 希望与开发人工智能产品和应用程序的公司开展业务。事实上, 上周有报道称, 微软 和 亚马逊今年 已经 为全球人工智能相关和数据中心项目拨款 400 多亿美元。据《华尔街日报》报道,对于微软来说,这意味着计划在法国、德国、日本、马来西亚、西班牙和印度尼西亚等多个国家投资超过 160 亿美元。与此同时,亚马逊已在日本投资 150 亿美元,在新加坡投资 90 亿美元,在墨西哥投资 50 亿美元,在法国投资 13 亿美元。在海外大力投资人工智能基础设施的举措源于希望满足全球对人工智能技术日益增长的需求,以及需要在云计算转变的地区建立数据中心,以确保处理时间更快,同时保证数据的安全和私密。 ... PC版: 手机版:

封面图片

阿联酋发布“猎鹰”人工智能模型挑战 Meta、OpenAI

阿联酋发布“猎鹰”人工智能模型挑战 Meta、OpenAI Falcon 是一个大型语言模型,类似于 OpenAI 的 GPT 和Google的双子座(Gemini)为聊天机器人、图像生成器和其他生成式人工智能工具提供动力的计算系统。Falcon 于 2023 年首次推出,它是开源的,这意味着它的代码可以广泛共享。据猎鹰背后的阿布扎比集团技术创新研究所(TII)称,猎鹰的新版本猎鹰2 11B比Meta Platforms公司最新推出的同类开源模型更强大,在某些指标上与双子座不相上下。先进技术研究委员会(TII 的出资政府实体)秘书长费萨尔-班奈(Faisal Al Bannai)在接受采访时说:"我们能够实现比许多大公司更高的性能。而我们的计算能力和团队规模只是他们的一小部分。"阿拉伯联合酋长国正在自上而下齐心协力地推动人工智能的发展,将这项技术视为继石油之后的下一个经济支柱。这个海湾国家推出了一系列新业务和一个可能达到 1000 亿美元的人工智能投资工具。虽然阿联酋和沙特阿拉伯已经宣布了雄心勃勃的人工智能投资计划,但这两个海湾国家不得不引进大量的工程专业知识,并且刚刚开始将生成式人工智能工具应用到企业中。去年秋天,TII 称其第一版 Falcon 的下载量超过 1200 万次。Meta 公司表示,其最新的 Llama 模型获得了 1.7 亿次下载。去年 11 月,先进技术研究委员会(Advanced Technology Research Council)宣布成立 AI71 公司,这是一家致力于将 Falcon 商业化的新公司。Al Bannai 说,AI71 已经开始与阿联酋的合作伙伴一起在医院、律师事务所和呼叫中心试用这项技术,并计划很快扩展到国外。他拒绝透露政府为开发 Falcon 投入了多少资金,但他说,一个由大约 60 名研究人员组成的团队正在为 TII 开发几项人工智能服务。据 TII 称,新版 Falcon 支持五种欧洲语言和"视觉转语言功能"一种能让计算机将图像流畅地转换成文本的工具。据 Al Bannai 称,这种能力是阿布扎比为 Falcon 设计的某些商业应用的关键。他说:"分析某人胸部的 X 光片、分析教育文件、分析建筑文件我们正试图将重点放在能够产生重大影响的非常明确的企业用例上。"这位官员说,今后,人工智能系统的开发将由一个新组织负责,名为猎鹰基金会(Falcon Foundation),以非营利性软件机构 Linux 基金会为蓝本。阿尔-班奈说,这将包括一个章程,以确保猎鹰"永远保持开源"。他说,该模型的另一个版本将在未来两个月内发布。本周一早些时候,阿布扎比人工智能公司G42(该公司的支持者之一是微软公司)为其阿拉伯语人工智能聊天机器人Jais发布了一款新应用。 ... PC版: 手机版:

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人