OpenAI公布大模型新训练方法：阻止ChatGPT“一本正经地胡说八道”

OpenAI公布大模型新训练方法：阻止ChatGPT“一本正经地胡说八道”OpenAI公司的研究人员表示，即使是最先进的人工智能模型也会杜撰虚假信息，尤其是在拿不准的时候，它们往往倾向于编造事实。在要求多步骤推理的领域，人工智能胡编的后果尤为严重，因为一个单一的逻辑错误会导致整个解决方案“翻车”。OpenAI准备采用新战略，防止人工智能胡编。比如在过去，一旦提供一个正确的最终答案，模型会获得某种鼓励，但是以后，在每一个单一的逻辑推理环节如果表现正确，就将获得鼓励反馈。这种模式也被称之为“过程监督”（以往的模式术语“结果监督”）。研究人员表示，“过程监督”模式有助于产生更加清晰合理的回答，它将会鼓励生成式人工智能能够像人类一样，在推理思考中做到“环环相扣”。OpenAI公司“随机生成数学”研究专家卡尔·柯比（KarlCobbe）表示，发现并且减少人工智能模型的逻辑错误，也就是“AI幻觉”，是构建“通用人工智能”的关键一步。另外，“过程监督”模式并非OpenAI公司发明，但是该公司正在加以推广普及。来源，来自：雷锋频道：@kejiqu群组：@kejiquchat投稿：@kejiqubot

OpenAI 表示已开始训练新的旗舰人工智能模型

OpenAI表示已开始训练新的旗舰人工智能模型OpenAI周二表示，它已开始训练一种新的旗舰人工智能模型，该模型将取代驱动其流行在线聊天机器人ChatGPT的GPT-4技术。OpenAI在一篇博客文章中表示，希望新模型能够带来“更高水平的能力”，因为该公司致力于打造“通用人工智能”，即能够做任何人类大脑能做的事情的机器。新模型将成为人工智能产品的引擎，包括聊天机器人、类似于苹果Siri的数字助理、搜索引擎和图像生成器。——，

OpenAI和谷歌利用了YouTube视频转录来训练其人工智能模型

OpenAI和谷歌利用了YouTube视频转录来训练其人工智能模型就在几天前，YouTube首席执行官尼尔-莫汉（NealMohan）在接受彭博社采访时表示，OpenAI据称使用YouTube视频来训练其新的文本到视频生成器Sora将违反该平台的政策。据《纽约时报》报道，OpenAI使用其Whisper语音识别工具转录了超过100万小时的YouTube视频，然后用于训练GPT-4。TheInformation此前曾报道，OpenAI曾使用YouTube视频和播客来训练这两个人工智能系统。据报道，OpenAI总裁格雷格-布罗克曼（GregBrockman）也是这个团队的成员之一。Google发言人马特-布莱恩特（MattBryant）告诉《纽约时报》，根据Google的规定，"未经授权采集或下载YouTube内容"是不被允许的，同时他还表示，公司并不知道OpenAI使用过此类内容。不过，该报道称，Google有人知道但没有对OpenAI采取行动，因为Google自己也正在使用YouTube视频训练自己的人工智能模型。但Google告诉《纽约时报》，它只使用同意参加实验项目的创作者的视频。《纽约时报》的报道还称，Google在2022年6月调整了其隐私政策，以更广泛地涵盖使用公开内容（包括Google文档和Google工作表）来训练其人工智能模型和产品。布赖恩特告诉《纽约时报》，只有在选择使用Google实验功能的用户允许的情况下，Google才会这样做，而且该公司"并没有根据这一语言变化开始对其他类型的数据进行训练"。相关文章:YouTubeCEO表示OpenAI用其视频训练Sora将违反平台服务条款...PC版：https://www.cnbeta.com.tw/articles/soft/1426406.htm手机版：https://m.cnbeta.com.tw/view/1426406.htm

OpenAI首席科学家有个计划 寻找方法控制超级人工智能

OpenAI首席科学家有个计划寻找方法控制超级人工智能OpenAI的研究人员利奥波德·阿森布伦纳（LeopoldAschenbrenner）指出：“通用人工智能（AGI）正在迅速接近，我们将看到具有巨大能力但也可能非常危险的超智能模型，而我们还没有找到控制它们的方法。”他参与了今年7月成立的“超级对齐”（Superalignment）研究团队。OpenAI表示，将把其可用算力的五分之一用于“超级对齐”项目，以探索如何确保超级人工智能的安全性和可控性。OpenAI最近发布了一篇研究论文，介绍了一项实验结果。该实验旨在测试一种方法，让一个较差的人工智能模型在不降低智能的情况下指导一个更聪明的人工智能模型。尽管所涉及的技术还没有超过人类的灵活性，但该实验是为了应对未来人类必须与比自己更聪明的人工智能系统合作的时代而设计的。在实验中，OpenAI的研究人员检查了一种被称为监督的过程，它被用来调整像GPT-4这样的系统，使其更有帮助、更少伤害。GPT是ChatGPT背后的大语言模型。目前，这涉及到人类向人工智能系统反馈哪些答案是好的，哪些是坏的。随着人工智能的进步，研究人员正在探索如何将这一过程自动化以节省时间。此外，这也是因为他们认为，随着人工智能变得越来越强大，人类可能无法提供有用的反馈。在对照实验中，研究人员使用OpenAI于2019年首次发布的GPT-2文本生成器来教授GPT-4，并测试了两种解决方法。其中一种方法是逐步训练更大的模型，以减少每一步的性能损失；另一种方法是对GPT-4进行了算法调整，允许较强的模型遵循较弱模型的指导，而不会削弱其性能。第二种方法被证明更有效，尽管研究人员承认这些方法并不能保证更强的模型会完美运行，但可以将其作为进一步研究的起点。人工智能安全中心主任丹·亨德里克斯（DanHendryks）表示：“很高兴看到OpenAI主动解决控制超级人工智能的问题，我们需要多年的努力来应对这一挑战。”人工智能安全中心是旧金山一家致力于管理人工智能风险的非营利组织。阿森布伦纳与“超级对齐”团队的其他两名成员科林·伯恩斯（CollinBurns）和帕维尔·伊兹梅洛夫（PavelIzmailov）在接受采访时均表示，他们为迈出重要的第一步感到鼓舞，认为这有助于驯服潜在的超级人工智能。伊兹梅洛夫打了个比方：“就像一个六年级的学生，尽管他们比大学数学专业的学生所掌握的数学知识要少，但他们仍然能够向大学生传达他们想要达到的目标，而这正是我们所追求的效果。”“超级对齐”团队由OpenAI的首席科学家和联合创始人伊利亚·苏茨凯弗（IlyaSutskever）共同领导。苏茨凯弗也是上个月投票解雇首席执行官萨姆·奥特曼（SamAltman）的原董事会成员之一。不过后来他撤回了这一决定，并威胁说如果不让奥特曼复职，他就辞职。苏茨凯弗是这篇最新论文的合著者，但OpenAI拒绝让他讨论这个项目。上个月，奥特曼与OpenAI达成了协议，董事会的大部分成员都已经辞职，苏茨凯弗在OpenAI的未来也充满了不确定性。尽管如此，阿森布伦纳表示：“我们非常感谢苏茨凯弗，他是这个项目的推动者。”在人工智能领域，OpenAI的研究人员并不是第一个尝试使用现有技术来测试有助于驯服未来人工智能系统的团队。然而，与之前的企业和学术实验室的研究一样，我们无法确定在精心设计的实验中有效的想法在未来是否实用。研究人员将让一个较弱的人工智能模型训练一个更强的人工智能模型，他们称这种能力为“解决更广泛的‘超级对齐’问题的关键组成部分”。这种人工智能对齐实验也引发了一个关键问题：控制系统的可信度有多高？OpenAI新技术的核心在于，更强大的人工智能系统能够自己决定可以忽略较弱系统的哪些指导，这种选择可能会使其忽略可能阻止其未来以不安全方式行事的重要信息。为了使这样的系统有效，需要在提供一致性方面取得进展。伯恩斯强调：“你最终需要高度的信任。”加州大学伯克利分校研究人工智能安全的教授斯图尔特·拉塞尔（StuartRussell）表示，使用不那么强大的人工智能模型来控制更强大人工智能模型的想法已经存在了一段时间。但他也指出，到目前为止，我们还不清楚用于教授人工智能行为的方法是否可行，因为它们尚未能使当前的模型可靠地运行。尽管OpenAI正在迈出控制更先进人工智能的第一步，但该公司也渴望获得外界的帮助。OpenAI宣布将与谷歌前首席执行官埃里克·施密特（EricSchmidt）合作，向外部研究人员提供1000万美元的资助，以鼓励他们在从弱到强的监管、高级模型的可解释性以及针对旨在打破限制的提示下加强模型等领域取得进展。参与撰写这篇新论文的研究人员表示，OpenAI明年还将举行一次关于“超级对齐”的会议。作为OpenAI的联合创始人，也是“超级对齐”团队的联合负责人，他领导了该公司许多最重要的技术工作。同时，他也是越来越担心如何控制人工智能的知名专家之一，因为人工智能变得越来越强大。今年以来，如何控制未来人工智能技术的问题获得了新的关注，这在很大程度上归功于ChatGPT的影响。苏茨凯弗曾在深度神经网络先驱杰弗里·辛顿（GeoffreyHinton）的指导下攻读博士学位。后者于今年5月离开谷歌，以警告人们人工智能在某些任务中似乎正在接近人类的水平。（小小）...PC版：https://www.cnbeta.com.tw/articles/soft/1404653.htm手机版：https://m.cnbeta.com.tw/view/1404653.htm

OpenAI发表研究论文 介绍了一种逆向工程AI模型工作原理的方法

OpenAI发表研究论文介绍了一种逆向工程AI模型工作原理的方法在论文中，该公司的研究人员提出了一种窥探为ChatGPT提供动力的人工智能模型内部的方法。他们设计了一种方法来识别模型如何存储某些概念--包括那些可能导致人工智能系统行为失常的概念。虽然这项研究使OpenAI在控制人工智能方面的工作更加引人注目，但也凸显了该公司最近的动荡。新研究由OpenAI最近解散的"超对齐"团队完成，该团队致力于研究技术的长期风险。前小组的共同负责人伊利亚-苏茨克沃（IlyaSutskever）和扬-莱克（JanLeike）均已离开OpenAI，并被列为共同作者。苏茨克沃是OpenAI的创始人之一，曾任首席科学家，去年11月，董事会成员投票解雇了首席执行官山姆-奥特曼（SamAltman），引发了几天的混乱，最终奥特曼重返领导岗位。ChatGPT由一个名为GPT的大型语言模型系列提供支持，该模型基于一种被称为人工神经网络的机器学习方法。这些数学网络通过分析示例数据显示出了学习有用任务的强大能力，但它们的工作原理无法像传统计算机程序那样被轻易检查。人工神经网络中各层"神经元"之间复杂的相互作用，使得逆向分析ChatGPT这样的系统为何会得出特定的反应极具挑战性。这项工作背后的研究人员在一篇随附的博文中写道："与大多数人类创造物不同，我们并不真正了解神经网络的内部运作。一些著名的人工智能研究人员认为，包括ChatGPT在内的最强大的人工智能模型或许可以用来设计生化武器和协调网络攻击。一个更长期的担忧是，人工智能模型可能会选择隐藏信息或以有害的方式行事，以实现它们的目标。"OpenAI的这篇新论文概述了一种技术，该技术借助额外的机器学习模型，识别代表机器学习系统内部特定概念的模式，从而稍稍降低了神秘感。创新的关键在于通过识别概念来完善用于窥探系统内部的网络，从而提高效率。OpenAI通过在其最大的人工智能模型之一GPT-4中识别代表概念的模式证明了这种方法。该公司发布了与可解释性工作相关的代码，以及一个可视化工具，用于查看不同句子中的单词如何激活GPT-4和另一个模型中的概念，包括亵渎和色情内容。了解一个模型是如何表现某些概念的，这将有助于减少与不受欢迎的行为相关的概念，使人工智能系统保持正常运行。它还可以调整人工智能系统，使其偏向于某些主题或想法。尽管LLM无法被轻易解读，但越来越多的研究表明，它们可以被穿透，从而揭示出有用的信息。由亚马逊和Google支持的OpenAI竞争对手Anthropic上个月也发表了类似的人工智能可解释性研究成果。为了演示如何调整人工智能系统的行为，该公司的研究人员创造了一个痴迷于旧金山金门大桥的聊天机器人。有时，只需让人工只能机器人解释其推理过程，就能获得深刻的见解。东北大学从事人工智能可解释性研究的教授大卫-鲍（DavidBau）在谈到OpenAI的新研究时说："这是令人兴奋的进展。"作为一个领域，我们需要学习如何更好地理解和审视这些大型模型。"鲍说，OpenAI团队的主要创新在于展示了一种配置小型神经网络的更有效方法，该网络可用于理解大型神经网络的组成部分。但他也指出，这项技术还需要改进，以使其更加可靠。要利用这些方法创造出完全可以理解的解释，还有很多工作要做。"鲍是美国政府资助的一项名为"国家深度推理结构"（NationalDeepInferenceFabric）的工作的一部分，这项工作将向学术研究人员提供云计算资源，以便他们也能探索特别强大的人工智能模型。他说："我们需要想办法让科学家即使不在这些大公司工作，也能从事这项工作。"OpenAI的研究人员在论文中承认，要改进他们的方法还需要进一步的工作，但他们也表示，希望这种方法能带来控制人工智能模型的实用方法。他们写道："我们希望有一天，可解释性能为我们提供推理模型安全性和鲁棒性的新方法，并通过为强大的人工智能模型的行为提供强有力的保证，大大增加我们对它们的信任。"阅读论文全文：https://cdn.openai.com/papers/sparse-autoencoders.pdf...PC版：https://www.cnbeta.com.tw/articles/soft/1433886.htm手机版：https://m.cnbeta.com.tw/view/1433886.htm