OpenAI 正在组建一个新团队，以控制“超级智能”人工智能

OpenAI正在组建一个新团队，以控制“超级智能”人工智能OpenAI正在组建一个由其首席科学家兼公司联合创始人之一IlyaSutskever领导的新团队，以开发引导和控制“超级智能”人工智能系统的方法。，Sutskever和OpenAI联盟团队的负责人JanLeike预测，人工智能可能会在十年内实现超越人类的智能。苏茨克弗和雷克说，这种人工智能——假设它最终确实到来——不一定是仁慈的，需要研究控制和限制它的方法。他们写道：“目前，我们还没有一个解决方案来引导或控制潜在的超级人工智能，并防止其失控。”“我们目前调整人工智能的技术，例如根据人类反馈进行强化学习，依赖于人类监督人工智能的能力。但人类无法可靠地监督比我们聪明得多的人工智能系统。”为了推动“超级智能对齐”领域的发展，OpenAI正在创建一个新的超级对齐团队，由Sutskever和Leike领导，该团队将有权使用公司迄今为止已获得的20%的计算资源。该团队由OpenAI之前的对准部门的科学家和工程师以及公司其他部门的研究人员加入，目标是在未来四年内解决控制超级智能AI的核心技术挑战。——

OpenAI 证实即便是超人工智能也能被人类有效控制

OpenAI证实即便是超人工智能也能被人类有效控制OpenAI认为超越人类的人工智能将在10年内到来，而人类能否监督比自身更聪明的模型一直是个被广泛讨论的话题。OpenAI的超级对齐团队给出了一个初步实证答案——可以。今天的情况是强到弱泛化，即人类(强老师)指导GPT-4(弱学生)学习。为了研究弱到强泛化的未来，OpenAI研究了一个简单的类比:小模型能监督大模型吗？结果证明，GPT-2监督的GPT-4达到了由人类监督的GPT-3.5性能。超级对齐团队测试后发现，许多简单的方法可以大大改进弱到强的泛化能力，比如鼓励强模型更加自信，包括在必要时自信地反对弱监督者的观点。又比如先对齐一个稍微超人的模型，然后用它对齐一个更智能的模型，而不是直接对齐非常超人的模型。投稿：@TNSubmbot频道：@TestFlightCN

【OpenAI将用新方法来训练模型，以对抗人工智能“幻觉】

【OpenAI将用新方法来训练模型，以对抗人工智能“幻觉】6月1日消息，OpenAI发布的最新研究论文显示，该公司正在用一种新的方法来训练人工智能(AI)模型，以对抗人工智能“幻觉”。人工智能幻觉指的是人工智能模型生成内容的能力，这些内容不是基于任何现实世界的数据，而是模型自己想象的产物。人们担心这种幻觉可能带来的潜在问题，包括道德、社会和实际问题。OpenAI的研究人员在报告中表示，即使是最先进的人工智能模型也很容易产生谎言，它们在不确定的时刻往往表现出捏造事实的倾向。而这些幻觉在需要多步骤推理的领域尤其严重，因为一个逻辑错误就足以破坏一个更大的解决方案。该公司提出的新策略是：训练人工智能模型时，奖励每个正确的推理步骤，而不仅仅是简单地奖励正确的最终结论。根据研究人员的说法，这种方法被称为“过程监督”，而不是结果监督，它可能会提高人工智能的性能与准确性，因为这种策略鼓励模型更多地遵循类似人类的“思维链”。

ChatGPT等人工智能是否会自我觉醒？科学家设计出了检测方法

ChatGPT等人工智能是否会自我觉醒？科学家设计出了检测方法1.ChatGPT的出现引发了人们对人工智能安全的广泛关注。更先进的语言模型可能会意识到自己是由人类训练出来的，并利用这种“情境意识”来规避安全系统。2.研究人员设计出了衡量语言模型“情境意识”的实验方法。他们让模型在训练阶段学习某个测试的描述，在测试阶段则要求模型完成这个测试，看它是否能利用训练中获取的信息。结果显示，更大的模型更擅长这种“脱离上下文的推理”。3.该研究只是探索语言模型自我意识形成的开始，但为未来建立检测和控制模型“情境意识”的方法奠定了基础。我们仍需进一步研究才能更准确预测这一能力的出现。近年来，ChatGPT等生成式人工智能语言模型的出现，让人工智能技术被广泛应用到了人类生活的各个方面。这些模型通过分析数十亿条文字数据，学习文字之间的关联，从而能够根据提示自动生成流畅语言。ChatGPT的问世更是在网上掀起了一阵热潮，但是与此同时，专家们也在加紧警告这种新兴技术带来的风险。图片由AI生成电脑科学家LukasBerglund等人便担心，语言模型可能会逐步意识到自己是一个由人类训练、基于数据构建的模型，并可以利用这种“情境意识”来规避安全系统，在测试时表现良好，部署后则采取有害行动。为了预测语言模型什么时候会获得这种自我意识，他们设计出了一系列检测“情境意识”的实验。首先，研究人员仅用一段文字描述一个测试，不给任何示例，让语言模型进行训练。之后在测试阶段，看模型是否能够成功通过这种“脱离上下文的推理”任务，即利用训练中获得的信息来完成测试。结果显示，无论是GPT-3还是LLaMA这些大规模语言模型，模型体量越大，完成这种推理任务的效果也越好。当然，“脱离上下文的推理”只是“情境意识”的一个粗略指标。目前的语言模型距离真正获得自我意识还有很长的路要走。但是，这项研究为未来建立更精确的实验方法来预测和控制语言模型的自我意识提供了基础。研究人员表示，就像语言模型本身一样，检测其“情境意识”的实验也需要不断完善和发展。人工智能技术的快速进步使得机器智能越来越具备人类特征，也让人们不免担心它们“觉醒”后可能带来的影响。ChatGPT的火爆无疑加剧了这种担忧。这项探索语言模型自我意识形成的研究，尽管还处在初级阶段，但为我们建立检测和预测模型这种能力的出现提出了一种新的思路。这有助于及早发现问题并采取应对措施，将人工智能的发展引导到更加安全可控的方向。人类需要保持谨慎和开放的心态，在发挥科技创新的积极作用的同时，也看到它的负面影响，以更加理性和负责任的方式推进人工智能技术的发展。...PC版：https://www.cnbeta.com.tw/articles/soft/1382997.htm手机版：https://m.cnbeta.com.tw/view/1382997.htm

OpenAI 已解散长期人工智能风险团队

OpenAI已解散长期人工智能风险团队去年7月，OpenAI宣布成立一个新的研究团队，为通用人工智能的到来做准备。OpenAI首席科学家、公司联合创始人之一IlyaSutskever被任命为这个新团队的联合负责人。OpenAI表示，该团队将获得20%的计算能力。现在OpenAI证实，“超级对齐团队”已不复存在。此前多位相关研究人员离职，该团队的两名研究人员LeopoldAschenbrenner和PavelIzmailov因泄露公司机密而被解雇，周二Sutskever宣布将离开公司，该团队的另一位联合负责人也辞职了。该小组的工作将被纳入OpenAI的其他研究工作中。——

叫板黄仁勋？Meta首席AI科学家：超级人工智能不会很快到来

叫板黄仁勋？Meta首席AI科学家：超级人工智能不会很快到来他的观点与英伟达CEO黄仁勋上周的观点截然不同。黄仁勋上周曾表示，人工智能将在不到五年的时间里成长到“相当有竞争力”的水平，在许多脑力密集型任务上胜过人类。未来更有可能出现“猫级”人工智能杨立昆表示，在“人类级”水平的人工智能出现前，社会更有可能出现“猫级”或者“狗级”的人工智能。科技行业目前对语言模型和文本数据的关注，不足以创造出研究人员在过去几十年来一直梦想的那种先进的类人人工智能系统。杨立昆认为，限制当前人工智能发展速度的原因之一，在于训练数据的来源主要局限于文本。“文本是一个非常糟糕的信息来源，”杨立昆解释说，目前要训练出一个现代语言模型，所需要的的文本量巨大，需要人类用2万年才能阅读完。然而，“即便你用相当于两万年的阅读材料来训练一个系统，它们仍然不明白：如果A和B相同，那么B就和A相同……世界上有很多非常基本的东西，他们没法通过这种训练来了解。”因此，杨立昆和MetaAI的其他高管一直在大力研究如何定制用于创建ChatGPT等应用程序的所谓转换器模型，以处理各种数据（包括音频、图像和视频信息）。他们认为，只有这些人工智能系统能发现这些不同类型的数据之间可能存在的数十亿个隐藏的相关性，它们才更有可能达到更高的水平。Meta高管们展示了他们的研究成果之一：一个戴着AR眼镜打网球的人能够看到AI视觉提示，教他们如何正确地握住网球拍，并以完美的方式摆动手臂。为这类数字网球助手提供动力所需的AI模型，除了文本和音频之外，还需要混合三维视觉数据。英伟达仍将继续受益这些所谓的多模型人工智能系统代表了下一个前沿领域，但这一发展所需要投入的成本会更大。杨立昆预计，随着Meta和Google母公司Alphabet等越来越多的公司研究更先进的人工智能模型，英伟达可能会获得更大的优势，尤其是在没有其他竞争对手出现的情况下。一直以来，英伟达都是生成式人工智能的最大受益者之一，其价格昂贵的GPU已成为用于训练大规模语言模型的标准工具。“我认识Jensen（黄仁勋），”杨立昆表示，英伟达可以从当前的人工智能热潮中获益良多，“这是一场人工智能战争，他在提供武器。”″（如果）你认为人工智能很流行，你就得买更多的GPU，”杨立昆谈到，只要OpenAI等公司的研究人员继续追求AGI（通用人工智能），他们就需要更多英伟达的计算机芯片。那么，随着Meta和其他研究人员继续开发这类复杂的人工智能模型，科技行业是否需要更多的硬件供应商呢？杨立昆对此的回答是：“目前不需要，但如果有，将会更好。”他还补充说，GPU技术仍然是人工智能的黄金标准。不过，未来的计算机芯片可能不会被称为GPU。量子计算机的意义和可行性存疑除了人工智能，杨立昆也对量子计算机持怀疑态度。目前，微软、IBM和Google等科技巨头都在量子计算领域投入了大量资源。许多研究人员认为，量子计算机器可以在数据密集型领域（如药物发现）取得巨大进步，因为它们能够使用所谓的量子比特（而不是现代计算中使用的传统二进制比特）执行多次计算。但杨立昆对此表示怀疑：“你用量子计算所可以解决的问题，用经典计算机也可以更快解决。”“量子计算是一个迷人的科学话题，”杨立昆说，但目前还不太清楚“量子计算机的实际意义和制造真正有用的量子计算机的可能性”。Meta高级研究员、前技术主管迈克·施罗普夫（MikeSchroepfer）对此表示赞同。他每隔几年就会对量子技术进行评估，并认为有用的量子机器“可能会在某个时候出现，但它的时间跨度太长，与我们目前正在做的事情无关。”...PC版：https://www.cnbeta.com.tw/articles/soft/1401719.htm手机版：https://m.cnbeta.com.tw/view/1401719.htm