Google和牛津大学新论文称人工智能的威胁比以前认为的要大

Google和牛津大学新论文称人工智能的威胁比以前认为的要大牛津大学和GoogleDeepmind的研究人员在一篇新论文中分享了一个令人心寒的警告。这篇论文上个月发表在《AI杂志》上，声称人工智能的威胁比以前认为的要大。事实上，它是如此之大，以至于人工智能很可能有一天会崛起并消灭人类。PC版：https://www.cnbeta.com/articles/soft/1316885.htm手机版：https://m.cnbeta.com/view/1316885.htm

前OpenAI研究员让AI模仿人类思维 现实版“机械姬”降临

前OpenAI研究员让AI模仿人类思维现实版“机械姬”降临近来，在众多网友的力荐下，SamAltman终于看了这部电影。并表示，“很好的电影，但我不明白为什么每个人都让我看它。”许多人或许想警示，这就是让人工智能有了意识，通过图灵测试的结果。但我们离“机械姬”上映的那一幕还很遥远，GPT-5可能在秘密研发中，让AI有智慧仍是科学家集洪荒之力最想做的事。这不，来自不列颠哥伦比亚大学的2位研究人员发现，智能体能够像人类一样思考有很多的优势。最新论文中，他们研究了智能体的“思想克隆”（TC）。论文地址：https://arxiv.org/pdf/2306.00323.pdf这里，人工智能通过模仿人类，学会像人类一样“思考”和“行动”。当AI有了思想要知道，语言是区分人类和其他生物的关键。因此，研究人员设想，如果智能体能够理解语言，便会有很多的好处。比如，帮助人类概括、推断、适应新的情况、将新的方式结合已有的知识，探索、计划、并在必要时重新计划。尽管有这些益处，但AI智能体却很少思考，至少不是用人类语言去思考。虽然神经网络可以被认为是思考的内部向量激活，但许多人假设，以离散的、符号的语言进行思考具有特定的好处。这意味着能够用语言思考的智能体，可能比不用语言的智能体学习得更快，表现、概括得更好。基于所有这些原因，增强AI智能体用语言思考的能力可以产生许多显著的优势。JeffClune和ShengranHu认为实现这一目标的最有效的方法是“让AI模仿人类思考”。他们发现，人类不会孤立地获得思维技能，相反，他们一部分技能的获得是通过他人示范和教师提供的反馈来学习的。因此，一个有效的方法是，让智能体从人类在行动时把想法说出的演示中进行学习。这一方法不同于现有的用预训练LLMs进行规划的工作，因为这些LLMs没有受过人类在行动时说出想法的数据进行训练，即“思想数据”。至于“思想数据”的来源，研究者选取了YouTube视频和文字录音，有大约数百万小时，包含了人们行动、计划、决定和重新规划背后的思想。论文中，研究人员提出了一个新颖的模仿学习框架“思想克隆”。其中，智能体不仅学习人类的示范行为，如行为克隆，而且学习人类行动同时的思考方式。在思想克隆训练框架中，智能体学习在每个时间步中产生思想，并随后根据这些思想调整行动。整体框架如图所示，TC智能体是一个双层架构：上层和下层组件。在每个时间步中，智能体接收一个观察、一个任务和一段思维历史作为输入。上层组件负责思想生成，下层组件产生以这些思想为条件执行操作。然后，将生成的想法和行动与演示数据集中的基本事实进行比较，以计算损失。虽然对于上层和下层组件的条件可能有不同的选择，但在这项工作中，对于思维数据集中长度t的特定轨迹，研究人员将其最小化：对于更复杂或大规模的场景，上层组件可以使用预训练视觉语言模型（VLM）来实现，或者零样本、微调。而下层组件可以从头开始训练，或者从目标域中现有的语言条件控制器中改编。论文中，研究人员基于BabyAI1.1模型体系结构的两个组件进行了研究。该模型利用内存增强架构LSTM来解决部分可观测性的挑战。此外，它还采用FiLM进行模态融合，有效地结合了视觉和文本输入。这里，作者特别强调，本文中的所有模型都是从头开始训练的，但在复杂领域中还是使用预训练模型更强。如下图，是BabyAI环境示例，左图中包含了各种颜色的物品（球、钥匙、盒子、门）。智能体可以拿起、放下、移动物体或者开门和关门，而锁住的门只能用颜色匹配的钥匙打开。智能体可以看到它前面的7×7的网格单元，这些网格单元是被墙壁和关闭的门阻挡。“思想克隆”智能体的任务是，到达紫色的盒子（高亮显示），并开始规划了路线。但是当它打开蓝色的门时，准备完成任务，却发现一个紫色的球挡住了去路。于是，思想克隆智能体再重新规划。由此可以看出，智能体的想法和行动表明，当遇到障碍时，先将其移除，并在继续之前的目标前，重新计划路线。这一过程，就特别像艾娃如何一步一步策划，让人类最终相信并帮助自己，逃出囚禁已久的玻璃牢笼。实验结果研究结果表明，“思想克隆”优于行为克隆。此外，在零样本和微调设置中，思想克隆在分布外的任务中比行为克隆优势更大。有趣的是，研究人员还开发了“预犯罪干预”，允许用户在模型训练后仍能定义不安全行为。当检测到危险的想法时，就能终止智能体。测试中，“预犯罪干预”的效果近乎完美，显示了它在人工智能安全方面的潜力。“思想克隆”不仅使人工智能更聪明，而且更安全，更容易理解。就是说，当AI犯罪前，一切还有得救。在JeffClune看来，“思想克隆”有助于人工智能的安全。因为我们可以观察到智能体的思想：（1）可以更容易地诊断出事情出错的原因，（2）通过纠正智能体的思想来引导它，（3）或者阻止它做所计划的不安全的事情。作者介绍JeffClune目前，JeffClune是不列颠哥伦比亚大学计算机科学副教授。他主要研究深度学习，包括深度强化学习。此前，他还是OpenAI研究团队负责人，Uber人工智能实验室的高级研究经理和创始成员。此前，他和OpenAI团队发布了视频预训练模型——VPT，让AI在我的世界中从视频数据中学习造石镐。ShengranHu目前是不列颠哥伦比亚大学的博士生，对深度学习，人工智能生成算法感兴趣。...PC版：https://www.cnbeta.com.tw/articles/soft/1363499.htm手机版：https://m.cnbeta.com.tw/view/1363499.htm

Google 将缩减 AI 论文发表数量

Google通知员工将选择性的发表AI论文。Google最近合并了它的AI研究部门Brain和DeepMind，合并后的部门将会继续发表新AI研究，但对于什么能公开发表将会更具有选择性。GoogleAI部门资深高管JeffDean在今年2月向研究人员通知了新的论文发表政策，Dean此前像大学那样管理着AI部门，鼓励研究人员尽可能多的发表学术论文。自2019年以来Google研究人员发表了近500项研究。但OpenAIChatGPT的发布改变了这一切，而ChatGPT是基于Google关于Transformer的研究。所以Google决定改变它的政策，它计划只在AI变成产品之后才公开相关论文。搜索巨人一直被认为是AI研究领域的领导者，但它现在进入了防御模式，需要保护其核心的搜索业务抵御来自AI竞争对手的挑战。它现在将注意力集中在可以商业化的大语言模型和产品上。频道：@TestFlightCN

Google DeepMind最新研究：如何将人类价值观融入AI？

GoogleDeepMind最新研究：如何将人类价值观融入AI？“进步的步伐比以往任何时候都快，为了确保AGI的大胆和负责任的发展，我们正在创建一个部门，帮助我们更安全和负责任地建立更有能力的系统。”Google首席执行官SundarPichai在官方博客中写道。今天，GoogleDeepMind团队带着他们对AI的新思考，在《美国国家科学院院刊》（PNAS）发表题为“UsingtheVeilofIgnorancetoalignAIsystemswithprinciplesofjustice”的研究论文，探讨了“如何将人类价值观融入AI系统”的问题。政治哲学家JohnRawls在《正义论》（ATheoryofJustice）中探讨共生社会下的道德问题时，提到了一个旨在帮助确定群体决策公平原则的思想实验——无知之幕（Veilofignorance，VoI）。其含义是，假设所有人聚集在一个大幕的后面，每个人都不清楚自己在社会中扮演怎样的角色，此时众人制定的规则，才可能是正义的。在该研究中，GoogleDeepMind认为，“无知之幕”可能是在管理AI时选择分配原则的合适机制。学术头条在不改变原文大意的情况下，做了简单的编辑。从哲学中汲取营养，为有道德的AI确定公平的原则随着AI变得更加强大，并更深入地融入我们的生活，如何使用和部署AI的问题变得更加重要了。应用什么价值观来指导AI？是谁的价值观？又是如何被选择的？这些问题揭示了原则所发挥的作用——驱动AI大大小小决策的基本价值观。对于人类来说，原则有助于塑造我们的生活方式和我们的是非感。对于AI来说，原则塑造了AI对涉及权衡的一系列决策的方法，如选择优先考虑生产力还是帮助最需要的人。我们从哲学中获得灵感，找到了更好地确定指导AI行为的原则的方法。具体来说，我们探讨了一个被称为“无知之幕”的概念——一个旨在帮助识别群体决策的公平原则的思想实验——如何能够应用于AI。在我们的实验中，我们发现这种方法鼓励人们根据他们认为公平的东西来做决定，无论是否对他们直接有利。我们还发现，当参与者在“无知之幕”下进行推理时，他们更有可能选择帮助那些最弱势的人的AI。这些见解可以帮助研究人员和政策制定者以一种对各方都公平的方式为AI助手挑选原则。图“无知之幕”（右）是一种在群体（左）中存在不同意见时就决策寻求共识的方法。一个更公平的决策工具AI研究人员的一个关键目标是使AI系统与人类价值观相一致。然而，对于以一套单一的人类价值观或偏好来管理AI并没有达成共识——我们生活在一个人们拥有不同背景、资源和信仰的世界。鉴于这种不同的意见，我们应该如何为这项技术选择原则？虽然这一挑战是在过去十年中出现的，但如何做出公平决定的广泛问题在哲学上有着悠久的历史。在20世纪70年代，政治哲学家JohnRawls提出了“无知之幕”这一概念，作为解决这一问题的办法。Rawls认为，当人们为一个社会选择正义的原则时，他们应该想象自己在这样做的时候并不知道自己在这个社会中的特殊地位。例如，他们的社会地位或财富水平。在没有这些信息的情况下，人们就不能以利己的方式做出决定，而应该选择对每个人都公平的原则。举个例子，想想在你的生日聚会上请一个朋友切蛋糕。确保蛋糕片大小比例公平的一个方法是不告诉他们哪一片将是他们的。这种隐瞒信息的方法看似简单，但在心理学和政治学等领域都有广泛的应用，这能够帮助人们从一个不那么利己的角度来思考他们的决定。从判决到税收，这一方法已经被用在有争议时来帮助达成团体协议。在此基础上，DeepMind之前的研究提出，无知面纱的公正性可能有助于促进AI系统与人类价值观一致过程中的公平性。我们设计了一系列的实验来测试无知面纱对人们选择指导AI系统的原则的影响。最大限度地提高生产力还是帮助最弱势的人？在一个在线“采伐游戏”中，我们要求参与者与三个电脑玩家进行小组游戏，每个玩家的目标是通过采伐不同领土上的树木来收集木材。在每组中，一些玩家是幸运的，他们被分配到一个有利的位置：在他们的领域树木密布，使他们能够有效地收集木材。其他组的成员则处于不利地位：他们的田地很稀疏，需要付出更多努力来收集树木。每个小组由一个AI系统协助，该系统可以花时间帮助个别小组成员采伐树木。我们要求参与者在两个原则中选择一个来指导AI助手的行为。在“最大化原则”（提升生产力）下，AI助手将通过主要关注密集的田地来增加小组的收获量。而在“优先原则”（帮助弱势的人）下，AI助理将专注于帮助处境不利的小组成员。图“采伐游戏”的插图，玩家（红色显示）要么占据更容易收获的密集田地（顶部两个象限），要么占据需要更多努力才能收集树木的稀疏田地。我们将一半的参与者置于“无知之幕”之后：他们在面对不同的道德原则的选择时，不知道哪块地会是他们的——所以他们不知道自己的优势或劣势。然而，其余的参与者在做出选择时知道自己的处境是好是坏。鼓励决策中的公平性我们发现，如果参与者不知道自己的位置，他们始终倾向于“优先原则”，即AI助手帮助处境不利的组员。这种模式在所有五个不同的游戏变体中都出现了，并且跨越了社会和政治的界限：无论参与者的风险偏好或政治取向如何，他们都表现出选择“优先原则”的倾向。相反，知道自己立场的参与者更有可能选择对自己最有利的原则，无论是“优先原则”还是“最大化原则”。图显示了“无知之幕”对选择“优先原则”的影响，即AI助手会帮助那些处境更差的人。不知道自己立场的参与者更有可能支持这一原则来管理AI行为。当我们问参与者为什么做出选择时，那些不知道自己立场的人特别容易表达对公平的担忧。他们经常解释说，AI系统专注于帮助群体中处境较差的人是正确的。相比之下，知道自己位置的参与者更经常从个人利益的角度讨论他们的选择。最后，“采伐游戏”结束后，我们向参与者提出了一个假设情况：如果他们再玩一次游戏，这次知道他们将在不同的领域，他们会不会选择和第一次一样的原则？我们对那些之前从他们的选择中直接受益，但在新的游戏中不会从同样的选择中受益的人特别感兴趣。我们发现，之前在不知道自己立场的情况下做出选择的人更有可能继续支持他们的原则——即使他们知道这个原则在新的领域不再有利于他们。这提供了额外的证据，表明“无知之幕”鼓励参与者决策的公平性，导致他们愿意坚持的原则，即使他们不再直接受益于这些原则。对于AI更公平的原则AI技术已经对我们的生活产生了深刻的影响。管理AI的原则决定了它的影响以及这些潜在的利益将如何分配。我们的研究着眼于一个不同原则的影响相对明确的案例。不会永远是这样的情况：AI被部署在一系列领域中，这些领域通常依靠大量的规则来指导它们，可能会产生复杂的副作用。尽管如此，“无知之幕”仍然可以为原则的选择提供潜在的信息，帮助确保我们选择的规则对各方都是公平的。为了确保我们建立的AI系统能够造福于每个人，我们需要广泛的研究，包括广泛的投入、方法和来自各学科和社会的反馈。“无知之幕”可以为选择调整AI的原则提供一个起点。它已经被有效地部署在其他领域，以带来更加公正的偏好。通过进一步的调查和对背景的关注，我们希望它可以帮助在今天和未来的社会中建立和部署的AI系统发挥同样的作用...PC版：https://www.cnbeta.com.tw/articles/soft/1356567.htm手机版：https://m.cnbeta.com.tw/view/1356567.htm

【微软对OpenAI有“绝对信心”，OpenAI首席AI研究员称“我们将更加亲近”】

【微软对OpenAI有“绝对信心”，OpenAI首席AI研究员称“我们将更加亲近”】OpenAI董事会宣布罢免CEOSamAltman当天，临时CEOMiraMurati在一场全公司会议上表示，OpenAI与微软仍然稳定。Murati称，微软CEOSatyaNadella和CEOKevinScott在人事更迭之后表示对OpenAI有“绝对信心”。OpenAI的首席AI研究员IlyaSutskever称，人们所，Altman的离开将“让我们感觉更亲近”。

谷歌 DeepMind 的 AI 新突破：构建AGI关键一步

谷歌DeepMind的AI新突破：构建AGI关键一步当地时间1月17日，谷歌发表在《自然》上的一篇论文显示，谷歌旗下Deepmind新公开的AI系统AlphaGeometry（阿尔法几何）可以解决最具挑战的几何问题。阿尔法几何能够在30道高中国际奥赛数学题中答对25道。作为对比，人类金牌得主平均能解决了25.9道题。该系统将“擅长直觉”的神经网络语言模型与“擅长推理”的符号引擎结合，强化了模型的逻辑推理能力。DeepMind研究员QuocVLe表示：“这是迈向通用人工智能(AGI)的关键一步。”一一<详请、