OpenAI公布大模型新训练方法:阻止ChatGPT“一本正经地胡说八道”

OpenAI公布大模型新训练方法:阻止ChatGPT“一本正经地胡说八道” OpenAI公司的研究人员表示,即使是最先进的人工智能模型也会杜撰虚假信息,尤其是在拿不准的时候,它们往往倾向于编造事实。在要求多步骤推理的领域,人工智能胡编的后果尤为严重,因为一个单一的逻辑错误会导致整个解决方案“翻车”。 OpenAI准备采用新战略,防止人工智能胡编。比如在过去,一旦提供一个正确的最终答案,模型会获得某种鼓励,但是以后,在每一个单一的逻辑推理环节如果表现正确,就将获得鼓励反馈。这种模式也被称之为“过程监督”(以往的模式术语“结果监督”)。 研究人员表示,“过程监督”模式有助于产生更加清晰合理的回答,它将会鼓励生成式人工智能能够像人类一样,在推理思考中做到“环环相扣”。 OpenAI公司“随机生成数学”研究专家卡尔·柯比(Karl Cobbe)表示,发现并且减少人工智能模型的逻辑错误,也就是“AI幻觉”,是构建“通用人工智能”的关键一步。另外,“过程监督”模式并非OpenAI公司发明,但是该公司正在加以推广普及。 来源 , 来自:雷锋 频道:@kejiqu 群组:@kejiquchat 投稿:@kejiqubot

相关推荐

封面图片

OpenAI 和 Meta 准备推出具有“推理”能力的新人工智能模型

OpenAI 和 Meta 准备推出具有“推理”能力的新人工智能模型 OpenAI 和 Meta 即将发布新的人工智能模型,他们表示这些模型将具备推理和规划的能力,这是在机器中实现超人认知的关键步骤。本周,OpenAI 和 Meta 的高管表示,他们正准备推出其大型语言模型的下一个版本。Meta 表示将在未来几周内开始推出 Llama 3,而微软支持的 OpenAI 表示,其下一个模型 GPT-5 将“很快”推出。Meta 人工智能研究副总裁乔尔•皮诺表示:“我们正在努力研究如何让这些模型不仅能说话,还能真正推理、规划……拥有记忆”。OpenAI 首席运营官布拉德•莱特卡普在接受记者采访时表示,下一代 GPT 将在解决推理等“难题”方面取得进展。他说:“我们将开始看到人工智能能够以更复杂的方式完成更复杂的任务。”“我认为,我们才刚刚开始触及这些模型推理能力的表面。” ()

封面图片

OpenAI 表示已开始训练新的旗舰人工智能模型

OpenAI 表示已开始训练新的旗舰人工智能模型 OpenAI 周二表示,它已开始训练一种新的旗舰人工智能模型,该模型将取代驱动其流行在线聊天机器人 ChatGPT 的 GPT-4 技术。 OpenAI 在一篇博客文章中表示,希望新模型能够带来“更高水平的能力”,因为该公司致力于打造“通用人工智能”,即能够做任何人类大脑能做的事情的机器。新模型将成为人工智能产品的引擎,包括聊天机器人、类似于苹果 Siri 的数字助理、搜索引擎和图像生成器。 ,

封面图片

人工智能政策小组称,FTC 应阻止 OpenAI 推出新的 GPT 模型

人工智能政策小组称,FTC 应阻止 OpenAI 推出新的 GPT 模型 人工智能和数字政策中心(Center for AI and Digital Policy,简称 CAIDP)日前提出投诉,要求美国联邦贸易委员会(Federal Trade Commission,FTC)调查 OpenAI 违反消费者保护规则的行为,认为 OpenAI 推出的人工智能文本生成工具 “有偏见,有欺骗性,并对公共安全构成风险”。CAIDP 认为,GPT-4 越过了伤害消费者的界限,应该引起监管行动。在投诉中,CAIDP 要求 FTC 停止任何进一步的 GPT 模式的商业部署,并要求在未来推出任何模式之前对其进行独立评估。FTC 已经表达了对人工智能工具的监管兴趣。来源 , 来自:雷锋 频道:@kejiqu 群组:@kejiquchat 投稿:@kejiqubot

封面图片

OpenAI 正式公布人工智能语言模型 GPT-4

OpenAI 正式公布人工智能语言模型 GPT-4 3月15日早间,人工智能初创公司 OpenAI 正式公布最新一代人工智能语言模型 GPT-4。 它是 OpenAI 在放大深度学习方面的努力的最新里程碑,是一个大型多模态模型,可接受图像和文本输入,发出文本输出。 GPT-4 对月订阅费20美元 ChatGPT Plus 用户开放使用,同时也会纳入到微软的 Bing 聊天机器人中。 相关链接: - OpenAI-GPT-4 https://openai.com/research/gpt-4 - GPT-4 Developer Livestream http://www.youtube.com/watch?v=outcGtbnMuQ - ChatGPT Plus 访问 GPT-4 https://chat.openai.com - GPT-4 API 候补名单申请 https://openai.com/waitlist/gpt-4-api - 优先获得 API 权限的方法 https://github.com/openai/evals

封面图片

OpenAI正在开发新推理技术模型 代号草莓

OpenAI正在开发新推理技术模型 代号草莓 根据路透社 5 月份看到的一份 OpenAI 内部文件副本,OpenAI 内部团队正在开发 Strawberry。路透社无法确定该文件的具体发布日期,该文件详细说明了 OpenAI 打算如何使用 Strawberry 进行研究的计划。消息人士向路透社描述了该计划,称其为一项正在进行的工作。无法确定 Strawberry 距离公开发布还有多久。这位知情人士表示,即使在 OpenAI 内部,Strawberry 的工作原理也是一个严格保密的秘密。消息人士称,该文件描述了一个使用 Strawberry 模型的项目,目的是使公司的人工智能不仅能够生成查询的答案,而且能够提前规划,自主可靠的浏览互联网,从而执行 OpenAI 所称的深度研究。根据对十多位人工智能研究人员的采访,这是迄今为止人工智能模型尚未解决的问题。当被问及 Strawberry 和本文报道的细节时,OpenAI 公司发言人在一份声明中表示:我们希望我们的人工智能模型能够像我们一样看待和理解世界。持续研究新的人工智能能力是业内的常见做法,大家共同相信这些系统的推理能力会随着时间的推移而提高。该发言人没有直接回答有关草莓的问题。Strawberry 项目前身是 Q*,路透社去年报道称,该项目在公司内部已被视为一项突破。两位消息人士称,今年早些时候,他们观看了 OpenAI 工作人员告诉他们 Q* 演示,该演示能够回答当今商用模型无法解决的棘手科学和数学问题。据彭博社报道,周二,OpenAI 在一次内部全体会议上展示了一项研究项目的演示,该项目声称拥有新的类似人类的推理技能,OpenAI 发言人证实了此次会面,但拒绝透露会议内容细节。路透社无法确定所展示的项目是否是 Strawberry。知情人士表示,OpenAI 希望这项创新能够大幅提高其 AI 模型的推理能力,并补充说,Strawberry 涉及一种在非常大的数据集上进行预训练后处理 AI 模型的专门方法。接受路透社采访的研究人员表示,推理是人工智能实现人类或超人类水平智能的关键。虽然大型语言模型已经能够总结密集的文本,并以比人类快得多的速度撰写优美的散文,但该技术往往无法解决常识性问题,而这些问题的解决方案对人类来说似乎是直观的,例如识别逻辑谬误和玩井字游戏。当模型遇到这类问题时,它经常会产生幻觉,产生虚假信息。路透社采访的人工智能研究人员普遍认为,在人工智能的背景下,推理涉及形成一个模型,使人工智能能够提前规划,反映物理世界的运作方式,并可靠地解决具有挑战性的多步骤问题。提高人工智能模型的推理能力被视为释放模型能力的关键,包括实现重大科学发现、规划和构建新的软件应用程序等。OpenAI 首席执行官 Sam Altman今年早些时候表示,在人工智能领域最重要的进步领域将是推理能力。其他公司,如Google、Meta 和微软,也在尝试不同的技术来提高人工智能模型的推理能力,大多数进行人工智能研究的学术实验室也是如此。然而,研究人员对大型语言模型 (LLM) 是否能够将想法和长期规划融入预测方式的看法不一。例如,现代人工智能的先驱之一、在 Meta 工作的 Yann LeCun 经常说 LLM 不具备像人类一样的推理能力。人工智能挑战知情人士称,Strawberry 是 OpenAI 克服这些挑战计划的关键组成部分。路透社看到的文件描述了 Strawberry 想要实现的目标,但没有说明如何实现。据四位听过该公司宣传的人士透露,近几个月来,该公司一直在私下向开发者和其他外部人士发出信号,称其即将发布具有更先进推理能力的技术。他们拒绝透露姓名,因为他们无权谈论私人事务。一位消息人士称,Strawberry 采用了一种特殊的方式,即对 OpenAI 的生成式 AI 模型进行后训练,或者在对大量通用数据进行训练后,对基础模型进行调整,以特定方式磨练其性能。开发模型的后训练阶段涉及“微调”等方法,这是当今几乎所有语言模型都采用的一种方法,它有多种形式,例如让人类根据模型的响应向模型提供反馈,并为其提供好答案和坏答案的例子。一位知情人士称,Strawberry 与斯坦福大学 2022 年开发的一种名为自学推理机或STaR的方法有相似之处。STaR 的创建者之一、斯坦福大学教授诺亚·古德曼 (Noah Goodman) 告诉路透社,STaR 使人工智能模型能够通过迭代创建自己的训练数据将自己“引导”到更高的智能水平,理论上可以用来让语言模型超越人类水平的智能。古德曼说:我认为这既令人兴奋又令人恐惧……如果事情继续朝这个方向发展,我们人类就需要认真思考一些问题了。古德曼与 OpenAI 没有任何关系,对 Strawberry 也不熟悉。该文件称,OpenAI 为 Strawberry 瞄准的功能之一是执行长期任务 (LHT),指的是需要模型提前规划并在较长时间内执行一系列操作的复杂任务,第一位消息人士解释说。根据 OpenAI 内部文件,OpenAI 正在利用公司所谓的深度研究数据集创建、训练和评估模型。路透社无法确定该数据集中包含哪些内容,也无法确定延长的时间段意味着什么。根据该文件和其中一位消息人士的说法,OpenAI 特别希望其模型能够利用这些功能进行研究,在CUA(即计算机使用代理)的帮助下自主浏览网页,并根据其发现采取行动。OpenAI 还计划测试其在软件和机器学习工程师工作方面的能力。 ... PC版: 手机版:

封面图片

OpenAI发表研究论文 介绍了一种逆向工程AI模型工作原理的方法

OpenAI发表研究论文 介绍了一种逆向工程AI模型工作原理的方法 在论文中,该公司的研究人员提出了一种窥探为 ChatGPT 提供动力的人工智能模型内部的方法。他们设计了一种方法来识别模型如何存储某些概念包括那些可能导致人工智能系统行为失常的概念。虽然这项研究使 OpenAI 在控制人工智能方面的工作更加引人注目,但也凸显了该公司最近的动荡。新研究由 OpenAI最近解散的"超对齐"团队完成,该团队致力于研究技术的长期风险。前小组的共同负责人伊利亚-苏茨克沃(Ilya Sutskever)和扬-莱克(Jan Leike)均已离开OpenAI,并被列为共同作者。苏茨克沃是OpenAI的创始人之一,曾任首席科学家,去年11月,董事会成员投票解雇了首席执行官山姆-奥特曼(Sam Altman),引发了几天的混乱,最终奥特曼重返领导岗位。ChatGPT 由一个名为 GPT 的大型语言模型系列提供支持,该模型基于一种被称为人工神经网络的机器学习方法。这些数学网络通过分析示例数据显示出了学习有用任务的强大能力,但它们的工作原理无法像传统计算机程序那样被轻易检查。人工神经网络中各层"神经元"之间复杂的相互作用,使得逆向分析 ChatGPT 这样的系统为何会得出特定的反应极具挑战性。这项工作背后的研究人员在一篇随附的博文中写道:"与大多数人类创造物不同,我们并不真正了解神经网络的内部运作。一些著名的人工智能研究人员认为,包括 ChatGPT 在内的最强大的人工智能模型或许可以用来设计生化武器和协调网络攻击。一个更长期的担忧是,人工智能模型可能会选择隐藏信息或以有害的方式行事,以实现它们的目标。"OpenAI 的这篇新论文概述了一种技术,该技术借助额外的机器学习模型,识别代表机器学习系统内部特定概念的模式,从而稍稍降低了神秘感。创新的关键在于通过识别概念来完善用于窥探系统内部的网络,从而提高效率。OpenAI 通过在其最大的人工智能模型之一 GPT-4 中识别代表概念的模式证明了这种方法。该公司发布了与可解释性工作相关的代码,以及一个可视化工具,用于查看不同句子中的单词如何激活 GPT-4 和另一个模型中的概念,包括亵渎和色情内容。了解一个模型是如何表现某些概念的,这将有助于减少与不受欢迎的行为相关的概念,使人工智能系统保持正常运行。它还可以调整人工智能系统,使其偏向于某些主题或想法。尽管 LLM 无法被轻易解读,但越来越多的研究表明,它们可以被穿透,从而揭示出有用的信息。由亚马逊和Google支持的 OpenAI 竞争对手 Anthropic 上个月也发表了类似的人工智能可解释性研究成果。为了演示如何调整人工智能系统的行为,该公司的研究人员创造了一个痴迷于旧金山金门大桥的聊天机器人。有时,只需让人工只能机器人解释其推理过程,就能获得深刻的见解。东北大学从事人工智能可解释性研究的教授大卫-鲍(David Bau)在谈到 OpenAI 的新研究时说:"这是令人兴奋的进展。"作为一个领域,我们需要学习如何更好地理解和审视这些大型模型。"鲍说,OpenAI 团队的主要创新在于展示了一种配置小型神经网络的更有效方法,该网络可用于理解大型神经网络的组成部分。但他也指出,这项技术还需要改进,以使其更加可靠。要利用这些方法创造出完全可以理解的解释,还有很多工作要做。"鲍是美国政府资助的一项名为"国家深度推理结构"(National Deep Inference Fabric)的工作的一部分,这项工作将向学术研究人员提供云计算资源,以便他们也能探索特别强大的人工智能模型。他说:"我们需要想办法让科学家即使不在这些大公司工作,也能从事这项工作。"OpenAI 的研究人员在论文中承认,要改进他们的方法还需要进一步的工作,但他们也表示,希望这种方法能带来控制人工智能模型的实用方法。他们写道:"我们希望有一天,可解释性能为我们提供推理模型安全性和鲁棒性的新方法,并通过为强大的人工智能模型的行为提供强有力的保证,大大增加我们对它们的信任。"阅读论文全文: ... PC版: 手机版:

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人