OpenAI今天宣布推出总额为1000万美元的“超对齐快速资助计划”,旨在支持针对超人工智能系统的对齐和安全性的技术研究。该计划

OpenAI今天宣布推出总额为1000万美元的“超对齐快速资助计划”,旨在支持针对超人工智能系统的对齐和安全性的技术研究。该计划将重点支持弱到强泛化、可解释性、可扩展监督等方面的研究。 OpenAI相信超级智能有可能在未来10年内诞生。这些人工智能系统将具有广泛的能力,可能带来巨大的益处,但也可能带来巨大的风险。目前,我们通过人类反馈的强化学习来确保AI系统的安全。然而,对齐未来的超人工智能系统将面临根本性的新挑战。超人工智能系统将能够展现出人类无法完全理解的复杂和创造性行为。例如,如果一个超人工智能模型生成了一百万行极其复杂的代码,人们将无法可靠地评估这些代码的安全性和危险性。依赖于人类监督的现有对齐技术,如强化学习,可能不再足够。这带来了一个基本性的挑战:人类如何引导和信任比他们聪明得多的AI系统?这是世界上最重要的尚未解决的技术问题之一。但我们认为,通过共同的努力,这个问题是可以解决的。目前有许多有希望的方法和令人兴奋的方向,以及许多唾手可得的成果。我们认为,今天机器学习研究社区和个人研究者在解决这个问题上有巨大的机会。 作为我们的“超对齐”项目的一部分,我们希望汇聚世界上最优秀的研究人员和工程师,迎接这一挑战,我们对能够吸引新的人才进入该领域尤为兴奋。 在与Eric Schmidt的合作下,我们推出了一个总额为1000万美元的资助计划,以支持针对确保超人工智能系统对齐和安全的技术研究。我们将向学术实验室、非营利组织和个人研究者提供10万美元至200万美元不等的资助。对于研究生学生,我们将提供为期一年的OpenAI超对齐奖学金,总额为15万美元,其中包括7.5万美元的生活津贴和7.5万美元的计算资源和研究经费。申请者不需要有对齐方面的先前经验,我们积极寻找首次从事对齐研究的研究者。我们的申请流程简单,并将在申请截止后的四个星期内回复申请者。请在2月18日前提交申请。 通过这些资助计划,我们特别关注以下研究方向: 从弱到强的概括:相对于超人工智能模型,人类将是弱监督者。我们能否理解和控制强模型如何从弱监督中的泛化能力? 可解释性:我们如何理解模型的内部结构?我们可以用它来构建人工智能测谎仪吗? 可扩展的监督:我们如何使用人工智能系统来帮助人类评估其他人工智能系统在复杂任务上的输出? 许多其他研究方向,包括但不限于:诚实、思想链忠实性、对抗性鲁棒性、评估和测试平台等。 via 匿名 标签: #OpenAI #AI 频道: @GodlyNews1 投稿: @GodlyNewsBot

相关推荐

封面图片

OpenAI 正在组建一个新团队,以控制“超级智能”人工智能

OpenAI 正在组建一个新团队,以控制“超级智能”人工智能 OpenAI 正在组建一个由其首席科学家兼公司联合创始人之一 Ilya Sutskever 领导的新团队,以开发引导和控制“超级智能”人工智能系统的方法。 ,Sutskever 和 OpenAI 联盟团队的负责人 Jan Leike 预测,人工智能可能会在十年内实现超越人类的智能。苏茨克弗和雷克说,这种人工智能假设它最终确实到来不一定是仁慈的,需要研究控制和限制它的方法。 他们写道:“目前,我们还没有一个解决方案来引导或控制潜在的超级人工智能,并防止其失控。” “我们目前调整人工智能的技术,例如根据人类反馈进行强化学习,依赖于人类监督人工智能的能力。但人类无法可靠地监督比我们聪明得多的人工智能系统。” 为了推动“超级智能对齐”领域的发展,OpenAI 正在创建一个新的超级对齐团队,由 Sutskever 和 Leike 领导,该团队将有权使用公司迄今为止已获得的 20% 的计算资源。该团队由 OpenAI 之前的对准部门的科学家和工程师以及公司其他部门的研究人员加入,目标是在未来四年内解决控制超级智能 AI 的核心技术挑战。

封面图片

OpenAI宣布“漏洞赏金计划”:最高奖励2万美元

OpenAI宣布“漏洞赏金计划”:最高奖励2万美元 OpenAI旗下的生成式AI机器人ChatGPT正红得发紫,但其中不少漏洞也让监管部门、投资者和用户充满担忧。 为了解决其中的漏洞,4月11日周二,OpenAI宣布,将公开悬赏200至2万美元的赏金,以帮助该公司查找其人工智能系统中的错误,例如广受欢迎的ChatGPT聊天机器人。赏金的多少将按照用户发现的bug的重要性来决定,如果想要得到2万美元的赏金,那么必须是公司认定的“特殊发现”。 OpenAI的安全主管 Matthew Knight 说:这一举措是我们致力于开发安全和先进人工智能的重要组成部分。在我们创造安全、可靠和值得信赖的技术和服务时,我们需要您的帮助。 来自:雷锋 频道:@kejiqu 群组:@kejiquchat 投稿:@kejiqubot

封面图片

OpenAI 和 Meta 准备推出具有“推理”能力的新人工智能模型

OpenAI 和 Meta 准备推出具有“推理”能力的新人工智能模型 OpenAI 和 Meta 即将发布新的人工智能模型,他们表示这些模型将具备推理和规划的能力,这是在机器中实现超人认知的关键步骤。本周,OpenAI 和 Meta 的高管表示,他们正准备推出其大型语言模型的下一个版本。Meta 表示将在未来几周内开始推出 Llama 3,而微软支持的 OpenAI 表示,其下一个模型 GPT-5 将“很快”推出。Meta 人工智能研究副总裁乔尔•皮诺表示:“我们正在努力研究如何让这些模型不仅能说话,还能真正推理、规划……拥有记忆”。OpenAI 首席运营官布拉德•莱特卡普在接受记者采访时表示,下一代 GPT 将在解决推理等“难题”方面取得进展。他说:“我们将开始看到人工智能能够以更复杂的方式完成更复杂的任务。”“我认为,我们才刚刚开始触及这些模型推理能力的表面。” ()

封面图片

OpenAI 已解散长期人工智能风险团队

OpenAI 已解散长期人工智能风险团队 去年 7 月,OpenAI 宣布成立一个新的研究团队,为通用人工智能的到来做准备。OpenAI 首席科学家、公司联合创始人之一 Ilya Sutskever 被任命为这个新团队的联合负责人。OpenAI 表示,该团队将获得 20% 的计算能力。 现在 OpenAI 证实,“超级对齐团队”已不复存在。此前多位相关研究人员离职,该团队的两名研究人员 Leopold Aschenbrenner 和 Pavel Izmailov 因泄露公司机密而被解雇,周二 Sutskever 宣布将离开公司,该团队的另一位联合负责人也辞职了。该小组的工作将被纳入 OpenAI 的其他研究工作中。

封面图片

MIT CSAIL最新研究表明 人工智能不会抢走那么多工作岗位

MIT CSAIL最新研究表明 人工智能不会抢走那么多工作岗位 高盛估计,在未来几年内,人工智能将使整个劳动力市场的 25% 实现自动化。麦肯锡称,到 2055 年,近一半的工作将由人工智能驱动。宾夕法尼亚大学、纽约大学和普林斯顿大学的一项调查发现,仅 ChatGPT 一项就可能影响约 80% 的工作。职业介绍公司 Challenger, Gray & Christmas 的一份报告显示,人工智能已经取代了成千上万的工人。但是,在他们的研究中,麻省理工学院的研究人员试图超越他们所说的"基于任务"的比较,评估人工智能扮演某些角色的可行性有多大,以及企业真正用人工智能技术取代工人的可能性有多大。与人们的预期相反,麻省理工学院的研究人员发现,大多数之前被认为有可能被人工智能取代的工作,事实上并没有实现自动化的"经济效益"至少目前是这样。这项研究的共同作者、麻省理工学院 CSAIL 研究科学家尼尔-汤普森(Neil Thompson)说,这项研究的主要启示是,即将到来的人工智能颠覆可能会比一些评论家所说的发生得更慢,也不那么引人注目。"与最近的许多研究一样,我们发现人工智能在自动化任务方面具有巨大潜力,"汤普森在接受 TechCrunch 电子邮件采访时说。"但我们能够证明,其中许多任务的自动化尚不具备吸引力。"需要注意的是,这项研究只研究了需要进行视觉分析的工作,即涉及在生产线末端检查产品质量等任务的工作。研究人员没有调查文本和图像生成模式(如 ChatGPT 和 Midjourney)对工人和经济的潜在影响;他们把这个问题留给了后续研究。在进行这项研究时,研究人员对工人进行了调查,以了解人工智能系统要完全取代他们的工作,需要完成哪些任务。然后,他们模拟了建立一个能够完成所有这些任务的人工智能系统的成本,并模拟了企业特别是美国的"非农"企业是否愿意为这样一个系统支付前期和运营费用。在研究初期,研究人员举了一个面包师的例子。根据美国劳工统计局的数据,面包师大约要花 6% 的时间来检查食品质量,而人工智能可以(并且正在)自动完成这项任务。一家拥有五名面包师、年薪 4.8 万美元的面包店,如果能实现食品质量检测自动化,就能节省 1.4 万美元。但根据该研究的估算,要完成这项任务,一个简单的、从零开始的人工智能系统的部署成本为 16.5 万美元,每年的维护成本为 12.284 万美元......这只是低端成本。"我们发现,在人类从事视觉任务所支付的工资中,只有23%的工资在经济上对人工智能自动化具有吸引力,"汤普森说。"人类仍然是从事这些工作的更好经济选择。"现在,这项研究考虑到了通过 OpenAI 等供应商销售的自助托管型人工智能系统,这些系统只需要针对特定任务进行微调,而不是从头开始训练。但据研究人员称,即使系统成本仅为1000美元,也有很多工作尽管是低工资和依赖多任务处理的工作对于企业来说,实现自动化是没有经济意义的。研究人员在研究报告中写道:"即使我们只考虑计算机视觉对视觉任务的影响,我们也会发现,工作岗位的流失率低于经济中已经出现的流失率。即使成本以每年 20% 的速度快速下降,计算机视觉任务仍然需要数十年的时间才能变得对企业具有经济效益"。研究人员承认,这项研究存在一些局限性。例如,它没有考虑人工智能可以增强 而非取代人类劳动的情况(如分析运动员的高尔夫挥杆),也没有考虑创造以前不存在的新任务和工作(如维护人工智能系统)的情况。此外,它也没有考虑到像 GPT-4 这样的预训练模型可能带来的所有成本节约。我们不禁要问,研究人员是否感受到了研究支持者麻省理工学院-IBM 沃森人工智能实验室(MIT-IBM Watson AI Lab)为得出某些结论而施加的压力。麻省理工学院-IBM 沃森人工智能实验室由 IBM 出资 2.4 亿美元创建,为期 10 年。但研究人员断言事实并非如此。汤普森说:"我们的动机是,人工智能的主要形式深度学习在许多任务中取得了巨大成功,我们希望了解这对人类工作自动化意味着什么。对于政策制定者来说,我们的研究结果应能强化为人工智能工作自动化做好准备的重要性......但我们的研究结果也揭示出,这一过程将需要数年甚至数十年的时间才能展开,因此有时间将政策措施落实到位。对于人工智能研究人员和开发人员来说,这项工作表明了降低人工智能部署成本和扩大其部署范围的重要性。这些对于使人工智能在经济上对企业自动化具有吸引力非常重要"。 ... PC版: 手机版:

封面图片

阿联酋发布“猎鹰”人工智能模型挑战 Meta、OpenAI

阿联酋发布“猎鹰”人工智能模型挑战 Meta、OpenAI Falcon 是一个大型语言模型,类似于 OpenAI 的 GPT 和Google的双子座(Gemini)为聊天机器人、图像生成器和其他生成式人工智能工具提供动力的计算系统。Falcon 于 2023 年首次推出,它是开源的,这意味着它的代码可以广泛共享。据猎鹰背后的阿布扎比集团技术创新研究所(TII)称,猎鹰的新版本猎鹰2 11B比Meta Platforms公司最新推出的同类开源模型更强大,在某些指标上与双子座不相上下。先进技术研究委员会(TII 的出资政府实体)秘书长费萨尔-班奈(Faisal Al Bannai)在接受采访时说:"我们能够实现比许多大公司更高的性能。而我们的计算能力和团队规模只是他们的一小部分。"阿拉伯联合酋长国正在自上而下齐心协力地推动人工智能的发展,将这项技术视为继石油之后的下一个经济支柱。这个海湾国家推出了一系列新业务和一个可能达到 1000 亿美元的人工智能投资工具。虽然阿联酋和沙特阿拉伯已经宣布了雄心勃勃的人工智能投资计划,但这两个海湾国家不得不引进大量的工程专业知识,并且刚刚开始将生成式人工智能工具应用到企业中。去年秋天,TII 称其第一版 Falcon 的下载量超过 1200 万次。Meta 公司表示,其最新的 Llama 模型获得了 1.7 亿次下载。去年 11 月,先进技术研究委员会(Advanced Technology Research Council)宣布成立 AI71 公司,这是一家致力于将 Falcon 商业化的新公司。Al Bannai 说,AI71 已经开始与阿联酋的合作伙伴一起在医院、律师事务所和呼叫中心试用这项技术,并计划很快扩展到国外。他拒绝透露政府为开发 Falcon 投入了多少资金,但他说,一个由大约 60 名研究人员组成的团队正在为 TII 开发几项人工智能服务。据 TII 称,新版 Falcon 支持五种欧洲语言和"视觉转语言功能"一种能让计算机将图像流畅地转换成文本的工具。据 Al Bannai 称,这种能力是阿布扎比为 Falcon 设计的某些商业应用的关键。他说:"分析某人胸部的 X 光片、分析教育文件、分析建筑文件我们正试图将重点放在能够产生重大影响的非常明确的企业用例上。"这位官员说,今后,人工智能系统的开发将由一个新组织负责,名为猎鹰基金会(Falcon Foundation),以非营利性软件机构 Linux 基金会为蓝本。阿尔-班奈说,这将包括一个章程,以确保猎鹰"永远保持开源"。他说,该模型的另一个版本将在未来两个月内发布。本周一早些时候,阿布扎比人工智能公司G42(该公司的支持者之一是微软公司)为其阿拉伯语人工智能聊天机器人Jais发布了一款新应用。 ... PC版: 手机版:

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人