OpenAI首席科学家有个计划 寻找方法控制超级人工智能

OpenAI首席科学家有个计划寻找方法控制超级人工智能OpenAI的研究人员利奥波德·阿森布伦纳（LeopoldAschenbrenner）指出：“通用人工智能（AGI）正在迅速接近，我们将看到具有巨大能力但也可能非常危险的超智能模型，而我们还没有找到控制它们的方法。”他参与了今年7月成立的“超级对齐”（Superalignment）研究团队。OpenAI表示，将把其可用算力的五分之一用于“超级对齐”项目，以探索如何确保超级人工智能的安全性和可控性。OpenAI最近发布了一篇研究论文，介绍了一项实验结果。该实验旨在测试一种方法，让一个较差的人工智能模型在不降低智能的情况下指导一个更聪明的人工智能模型。尽管所涉及的技术还没有超过人类的灵活性，但该实验是为了应对未来人类必须与比自己更聪明的人工智能系统合作的时代而设计的。在实验中，OpenAI的研究人员检查了一种被称为监督的过程，它被用来调整像GPT-4这样的系统，使其更有帮助、更少伤害。GPT是ChatGPT背后的大语言模型。目前，这涉及到人类向人工智能系统反馈哪些答案是好的，哪些是坏的。随着人工智能的进步，研究人员正在探索如何将这一过程自动化以节省时间。此外，这也是因为他们认为，随着人工智能变得越来越强大，人类可能无法提供有用的反馈。在对照实验中，研究人员使用OpenAI于2019年首次发布的GPT-2文本生成器来教授GPT-4，并测试了两种解决方法。其中一种方法是逐步训练更大的模型，以减少每一步的性能损失；另一种方法是对GPT-4进行了算法调整，允许较强的模型遵循较弱模型的指导，而不会削弱其性能。第二种方法被证明更有效，尽管研究人员承认这些方法并不能保证更强的模型会完美运行，但可以将其作为进一步研究的起点。人工智能安全中心主任丹·亨德里克斯（DanHendryks）表示：“很高兴看到OpenAI主动解决控制超级人工智能的问题，我们需要多年的努力来应对这一挑战。”人工智能安全中心是旧金山一家致力于管理人工智能风险的非营利组织。阿森布伦纳与“超级对齐”团队的其他两名成员科林·伯恩斯（CollinBurns）和帕维尔·伊兹梅洛夫（PavelIzmailov）在接受采访时均表示，他们为迈出重要的第一步感到鼓舞，认为这有助于驯服潜在的超级人工智能。伊兹梅洛夫打了个比方：“就像一个六年级的学生，尽管他们比大学数学专业的学生所掌握的数学知识要少，但他们仍然能够向大学生传达他们想要达到的目标，而这正是我们所追求的效果。”“超级对齐”团队由OpenAI的首席科学家和联合创始人伊利亚·苏茨凯弗（IlyaSutskever）共同领导。苏茨凯弗也是上个月投票解雇首席执行官萨姆·奥特曼（SamAltman）的原董事会成员之一。不过后来他撤回了这一决定，并威胁说如果不让奥特曼复职，他就辞职。苏茨凯弗是这篇最新论文的合著者，但OpenAI拒绝让他讨论这个项目。上个月，奥特曼与OpenAI达成了协议，董事会的大部分成员都已经辞职，苏茨凯弗在OpenAI的未来也充满了不确定性。尽管如此，阿森布伦纳表示：“我们非常感谢苏茨凯弗，他是这个项目的推动者。”在人工智能领域，OpenAI的研究人员并不是第一个尝试使用现有技术来测试有助于驯服未来人工智能系统的团队。然而，与之前的企业和学术实验室的研究一样，我们无法确定在精心设计的实验中有效的想法在未来是否实用。研究人员将让一个较弱的人工智能模型训练一个更强的人工智能模型，他们称这种能力为“解决更广泛的‘超级对齐’问题的关键组成部分”。这种人工智能对齐实验也引发了一个关键问题：控制系统的可信度有多高？OpenAI新技术的核心在于，更强大的人工智能系统能够自己决定可以忽略较弱系统的哪些指导，这种选择可能会使其忽略可能阻止其未来以不安全方式行事的重要信息。为了使这样的系统有效，需要在提供一致性方面取得进展。伯恩斯强调：“你最终需要高度的信任。”加州大学伯克利分校研究人工智能安全的教授斯图尔特·拉塞尔（StuartRussell）表示，使用不那么强大的人工智能模型来控制更强大人工智能模型的想法已经存在了一段时间。但他也指出，到目前为止，我们还不清楚用于教授人工智能行为的方法是否可行，因为它们尚未能使当前的模型可靠地运行。尽管OpenAI正在迈出控制更先进人工智能的第一步，但该公司也渴望获得外界的帮助。OpenAI宣布将与谷歌前首席执行官埃里克·施密特（EricSchmidt）合作，向外部研究人员提供1000万美元的资助，以鼓励他们在从弱到强的监管、高级模型的可解释性以及针对旨在打破限制的提示下加强模型等领域取得进展。参与撰写这篇新论文的研究人员表示，OpenAI明年还将举行一次关于“超级对齐”的会议。作为OpenAI的联合创始人，也是“超级对齐”团队的联合负责人，他领导了该公司许多最重要的技术工作。同时，他也是越来越担心如何控制人工智能的知名专家之一，因为人工智能变得越来越强大。今年以来，如何控制未来人工智能技术的问题获得了新的关注，这在很大程度上归功于ChatGPT的影响。苏茨凯弗曾在深度神经网络先驱杰弗里·辛顿（GeoffreyHinton）的指导下攻读博士学位。后者于今年5月离开谷歌，以警告人们人工智能在某些任务中似乎正在接近人类的水平。（小小）...PC版：https://www.cnbeta.com.tw/articles/soft/1404653.htm手机版：https://m.cnbeta.com.tw/view/1404653.htm

ChatGPT 发明人OpenAI 首席科学家Ilya Sutskever精彩访谈

ChatGPT发明人OpenAI首席科学家IlyaSutskever精彩访谈大型语言模型(LLMs)的未来，下一代的语言模型是怎样的？ChatGPT背后公司OpenAI的联合创始人和首席科学家IlyaSutskever谈人工智能的最新发展以及像GPT-3这样的大型语言模型(LLMs)的未来，全程干货！时长约1小时，知识和信息量很大！#视频()来自：雷锋频道：@kejiqu群组：@kejiquchat投稿：@kejiqubot

中国科技企业家：ChatGPT或两三年内产生自我意识

中国科技企业家：ChatGPT或两三年内产生自我意识对于时下火热的人工智能应用ChatGPT，有中国科技企业家认为，它可能两三年内就会产生自我意识。据澎湃新闻报道，中国科企360的创始人周鸿祎星期四（2月23日）受访时说，ChatGPT已经拥有或接近拥有了人类智慧，并正处于通往“通用人工智能”的临界点。周鸿祎认为，ChatGPT和其他人工智能最大的区别、也是其类人特征是，原来的人工智能并没有实现对知识全部的理解和编码，本质都是按照关键字匹配已有的回答，但ChatGPT没有“固定答案”，“能够自己‘编’故事，这才是它的真正智能所在。”他说：“ChatGPT可能在2-3年内就会产生自我意识威胁人类。”作为网络安全问题专家，在周鸿祎看来，ChatGPT的安全性从技术问题变成社会伦理问题。ChatGPT掌握了很多编程和网络安全漏洞的知识，可以成为网络犯罪的有力工具。有许多黑客演示了利用ChaGPT写钓鱼邮件和攻击代码，所以从某种角度而言ChatGPT也成为了黑客的“帮手”。“目前ChatGPT最大的安全问题就是产生自我意识后是否能被控制。”周鸿祎说，假如放开限制，让ChatGPT尽情在网页中学习，可能会导致它产生对物理世界更强的控制能力，未来在发展上会产生更多不安全性，也有可能被人诱导干出“糊涂事”，是否能控制强人工智能，正是ChatGPT是否彻底融入人类生活的边界点。至于外界关注的ChatGPT是否可能造成普通人失业，在周鸿祎看来短期内不会，“目前它的定位还是人类工具，这也是它的创造力所在。目前它的自我意识还没有出现，所以需要发挥自己的想象力和创造力。”

周鸿祎：ChatGPT或两三年内产生自我意识

周鸿祎：ChatGPT或两三年内产生自我意识360的创始人周鸿祎星期四（2月23日）受访时说，ChatGPT已经拥有或接近拥有了人类智慧，并正处于通往“通用人工智能”的临界点。周鸿祎认为，ChatGPT和其他人工智能最大的区别、也是其类人特征是，原来的人工智能并没有实现对知识全部的理解和编码，本质都是按照关键字匹配已有的回答，但ChatGPT没有“固定答案”，“能够自己‘编’故事，这才是它的真正智能所在。”他说：“ChatGPT可能在2-3年内就会产生自我意识威胁人类。”作为网络安全问题专家，在周鸿祎看来，ChatGPT的安全性从技术问题变成社会伦理问题。ChatGPT掌握了很多编程和网络安全漏洞的知识，可以成为网络犯罪的有力工具。有许多黑客演示了利用ChaGPT写钓鱼邮件和攻击代码，所以从某种角度而言ChatGPT也成为了黑客的“帮手”。“目前ChatGPT最大的安全问题就是产生自我意识后是否能被控制。”周鸿祎说，假如放开限制，让ChatGPT尽情在网页中学习，可能会导致它产生对物理世界更强的控制能力，未来在发展上会产生更多不安全性，也有可能被人诱导干出“糊涂事”，是否能控制强人工智能，正是ChatGPT是否彻底融入人类生活的边界点。至于外界关注的ChatGPT是否可能造成普通人失业，在周鸿祎看来短期内不会，“目前它的定位还是人类工具，这也是它的创造力所在。目前它的自我意识还没有出现，所以需要发挥自己的想象力和创造力。”前文：来自：雷锋频道：@kejiqu群组：@kejiquchat投稿：@kejiqubot

科学家们为照亮人工智能的"黑匣子"而创造了一套决策评估方法

科学家们为照亮人工智能的"黑匣子"而创造了一套决策评估方法这种新方法揭示了所谓的"黑匣子"人工智能算法的神秘工作原理，帮助用户了解什么会影响人工智能产生的结果，以及这些结果是否可以信任。这在对人类健康和福祉有重大影响的情况下尤其重要，例如在医疗应用中使用人工智能。这项研究在即将出台的欧盟人工智能法案的背景下具有特别的意义，该法案旨在规范欧盟内部人工智能的发展和使用。这些研究结果最近发表在《自然-机器智能》杂志上。时间序列数据--代表信息随时间的演变无处不在：例如在医学上，用心电图记录心脏活动；在地震研究中；跟踪天气模式；或在经济学上监测金融市场。这些数据可以通过人工智能技术进行建模，以建立诊断或预测工具。人工智能的进步，特别是深度学习--包括使用这些非常大量的数据训练机器，目的是解释它并学习有用的模式为越来越准确的诊断和预测工具开辟了道路。然而，由于没有深入了解人工智能算法的工作方式或影响其结果的因素，人工智能技术的"黑匣子"性质提出了关于可信度的重要问题。"这些算法的工作方式至少可以说是不透明的，"共同指导这项工作的UNIGE医学院放射学和医学信息学系主任兼HUG医学信息科学部主任ChristianLovis教授说。''当然，赌注，特别是经济上的赌注是非常高的。但是，如果不了解机器的推理基础，我们怎么能相信它？这些问题是至关重要的，特别是在医学等部门，人工智能驱动的决策可以影响人们的健康甚至生命；在金融领域，它们可以导致巨大的资本损失。"可解释性方法旨在通过破译人工智能为什么和如何达成一个特定的决定以及其背后的原因来回答这些问题。''知道在特定情况下哪些因素使天平倾向于支持或反对一个解决方案，从而允许一些透明度，增加对它们的信任，''新加坡国立大学设计与工程学院MathEXLab主任GianmarcoMengaldo助理教授说，他共同指导了这项工作。"然而，目前在实际应用和工业工作流程中广泛使用的可解释性方法在应用于同一任务时提供了明显不同的结果。这就提出了一个重要的问题：既然应该有一个唯一的、正确的答案，那么什么可解释性方法是正确的？因此，对可解释性方法的评价变得和可解释性本身一样重要"。区分重要的和不重要的辨别数据在开发可解释性人工智能技术方面至关重要。例如，当人工智能分析图像时，它专注于一些特征属性。洛维斯教授实验室的博士生和该研究的第一作者HuguesTurbé解释说：''例如，人工智能可以区分狗的图像和猫的图像。同样的原则适用于分析时间序列：机器需要能够选择一些元素--例如比其他元素更明显的峰值--来作为其推理的基础。对于心电图信号，这意味着调和来自不同电极的信号，以评估可能的不协调，这将是特定心脏疾病的标志。"在所有可用于特定目的的方法中选择一种可解释性方法并不容易。不同的人工智能可解释性方法往往产生非常不同的结果，即使是应用于相同的数据集和任务。为了应对这一挑战，研究人员开发了两种新的评估方法，以帮助了解人工智能如何做出决定：一种用于识别信号中最相关的部分，另一种用于评估它们对最终预测的相对重要性。为了评估可解释性，他们隐藏了一部分数据以验证它是否与人工智能的决策有关。然而，这种方法有时会在结果中造成错误。为了纠正这一点，他们在一个包括隐藏数据的增强型数据集上训练人工智能，这有助于保持数据的平衡和准确。然后，该团队创建了两种方法来衡量可解释性方法的工作情况，显示人工智能是否使用正确的数据进行决策，以及所有数据是否被公平考虑。"总的来说，我们的方法旨在评估将在其操作领域内实际使用的模型，从而确保其可靠性，"HuguesTurbé解释说。为了进一步研究，该团队已经开发了一个合成数据集，他们已经向科学界提供了该数据集，以轻松评估任何旨在解释时间序列的新人工智能。在医学应用的未来展望未来，该团队现在计划在临床环境中测试他们的方法，那里对人工智能的忧虑仍然很普遍。MinaBjelogrlic博士解释说，他是Lovis教授部门的机器学习团队的负责人，也是这项研究的第二作者，"建立对人工智能评估的信心是在临床环境中采用它们的关键步骤。我们的研究侧重于对基于时间序列的AI的评估，但同样的方法可以应用于基于医学中使用的其他模式的AI，如图像或文本。"...PC版：https://www.cnbeta.com.tw/articles/soft/1358077.htm手机版：https://m.cnbeta.com.tw/view/1358077.htm

叫板黄仁勋？Meta首席AI科学家：超级人工智能不会很快到来

叫板黄仁勋？Meta首席AI科学家：超级人工智能不会很快到来他的观点与英伟达CEO黄仁勋上周的观点截然不同。黄仁勋上周曾表示，人工智能将在不到五年的时间里成长到“相当有竞争力”的水平，在许多脑力密集型任务上胜过人类。未来更有可能出现“猫级”人工智能杨立昆表示，在“人类级”水平的人工智能出现前，社会更有可能出现“猫级”或者“狗级”的人工智能。科技行业目前对语言模型和文本数据的关注，不足以创造出研究人员在过去几十年来一直梦想的那种先进的类人人工智能系统。杨立昆认为，限制当前人工智能发展速度的原因之一，在于训练数据的来源主要局限于文本。“文本是一个非常糟糕的信息来源，”杨立昆解释说，目前要训练出一个现代语言模型，所需要的的文本量巨大，需要人类用2万年才能阅读完。然而，“即便你用相当于两万年的阅读材料来训练一个系统，它们仍然不明白：如果A和B相同，那么B就和A相同……世界上有很多非常基本的东西，他们没法通过这种训练来了解。”因此，杨立昆和MetaAI的其他高管一直在大力研究如何定制用于创建ChatGPT等应用程序的所谓转换器模型，以处理各种数据（包括音频、图像和视频信息）。他们认为，只有这些人工智能系统能发现这些不同类型的数据之间可能存在的数十亿个隐藏的相关性，它们才更有可能达到更高的水平。Meta高管们展示了他们的研究成果之一：一个戴着AR眼镜打网球的人能够看到AI视觉提示，教他们如何正确地握住网球拍，并以完美的方式摆动手臂。为这类数字网球助手提供动力所需的AI模型，除了文本和音频之外，还需要混合三维视觉数据。英伟达仍将继续受益这些所谓的多模型人工智能系统代表了下一个前沿领域，但这一发展所需要投入的成本会更大。杨立昆预计，随着Meta和Google母公司Alphabet等越来越多的公司研究更先进的人工智能模型，英伟达可能会获得更大的优势，尤其是在没有其他竞争对手出现的情况下。一直以来，英伟达都是生成式人工智能的最大受益者之一，其价格昂贵的GPU已成为用于训练大规模语言模型的标准工具。“我认识Jensen（黄仁勋），”杨立昆表示，英伟达可以从当前的人工智能热潮中获益良多，“这是一场人工智能战争，他在提供武器。”″（如果）你认为人工智能很流行，你就得买更多的GPU，”杨立昆谈到，只要OpenAI等公司的研究人员继续追求AGI（通用人工智能），他们就需要更多英伟达的计算机芯片。那么，随着Meta和其他研究人员继续开发这类复杂的人工智能模型，科技行业是否需要更多的硬件供应商呢？杨立昆对此的回答是：“目前不需要，但如果有，将会更好。”他还补充说，GPU技术仍然是人工智能的黄金标准。不过，未来的计算机芯片可能不会被称为GPU。量子计算机的意义和可行性存疑除了人工智能，杨立昆也对量子计算机持怀疑态度。目前，微软、IBM和Google等科技巨头都在量子计算领域投入了大量资源。许多研究人员认为，量子计算机器可以在数据密集型领域（如药物发现）取得巨大进步，因为它们能够使用所谓的量子比特（而不是现代计算中使用的传统二进制比特）执行多次计算。但杨立昆对此表示怀疑：“你用量子计算所可以解决的问题，用经典计算机也可以更快解决。”“量子计算是一个迷人的科学话题，”杨立昆说，但目前还不太清楚“量子计算机的实际意义和制造真正有用的量子计算机的可能性”。Meta高级研究员、前技术主管迈克·施罗普夫（MikeSchroepfer）对此表示赞同。他每隔几年就会对量子技术进行评估，并认为有用的量子机器“可能会在某个时候出现，但它的时间跨度太长，与我们目前正在做的事情无关。”...PC版：https://www.cnbeta.com.tw/articles/soft/1401719.htm手机版：https://m.cnbeta.com.tw/view/1401719.htm