AI 新知：当GPT-4 遇上开放世界游戏， 智能代理到底有多强？

AI 新知：当GPT-4 遇上开放世界游戏， 智能代理到底有多强？ 尽管AI 智能代理在一个开放世界的成为超级玩家的内容不再是新闻了，然而在上周英伟达发布一系列重磅发布中， 这个被称为 Voyager 游戏智能代理，还是表现出非常令人惊叹的自主探索和学习能力。 这种智能代理是如何通过 GPT-4 一步步是实现的？ 为了让更多非专业人士，从原理层面感知这类技术（类似 AutoGPT）原理、应用层的可能，我和 Claude 100k 一起为大家尽可能深入浅出的进行解释和案例分析。 （ 对话全部内容， 核心问题只有一个，自主学习、编码、技能树的游戏 AI 是如何工作。 （如果你不熟悉《我的世界》这款游戏的玩家视角，我建议你先在官方网址 ，简单看一下多个GIF 级别的小视频， 有个感性认知。图 1，也可以直接移步官方网址 Voyager 是什么？ - 它是第一个玩Minecraft的终身学习的智能代理。Voyager 可以自己写代码、自我迭代、不断完善技能库中，实现可以终身学习的游戏探索过程（见图 2 ） - 它建立在GPT-4之上，并解锁了一个新的范式：「训练」在这个语境下是执行代码；「训练模型」是Voyager迭代组成的技能代码库，而不是浮点矩阵。 - Voyager 正在成为一个经验丰富的探索者，一个超级玩家。在《我的世界》中，它获得了3.3倍的独特物品，旅行了2.3倍的距离，解锁关键技术树里程碑的速度比之前的方法快15.3倍。 - 它是开源的。 Voyager 有 3 个关键组件：（见图3） 1. 结合游戏反馈、执行错误、验证来完善程序的迭代提示机制；（让 GPT-4 写代码 ） 2. 用于存储和检索复杂行为的技能代码库；（任务的自主完善和迭代） 3. 最大化探索的自动课程。 （开放的任务指导体系） 以下是我和Claude 100k的全文提问内容， 你可以作为「深度对话」和 GPT 们交流。 （如果你不是 Poe 的付费用户，也可以用 ChatPDF 之类的代替） Q1：我们讨论一篇重要的AI行业论文，我把正文输入给你， 当你阅读理解完成后， 请回复 OK。（请注意，复制全文有关对话记录省略了 ）

机器人时代已来 黄仁勋指向AI下一波浪潮：物理AI

机器人时代已来 黄仁勋指向AI下一波浪潮：物理AI 他着重强调了机器人和AI在未来发展中的重要性“AI的新一波浪潮是物理AI。AI能够理解物理定律，并与人类并肩作战……机器人和物理AI正在成为现实，而不仅是出现在科幻小说中，这真的很让人兴奋。”什么是“物理AI”？ 物理AI英文为Physical AI，也称“实体AI”。瑞士联邦材料科学与技术实验室Aslan Miriyev和伦敦帝国理工学院Mirko Kovač之前在《Nature MachineIntelligence》发表的一篇文章中，曾如此定义“物理AI”：物理AI是指能够执行通常与智能生物体相关的任务的实体系统，可以实现机体、控制、形态、动作执行和感知的协同进化。在这次演讲中，黄仁勋表示，如今大多数AI并不理解物理定律，不以物质世界为基础。而生成图像、视频、3D图形和许多物理现象，需要基于物理并理解物理定律的AI。“为我们工作的AI，必须理解世界模型，才能理解如何解释世界、如何感知世界。”世界各地的研究人员和公司正在开发由物理AI驱动的机器人，这些AI模型能够理解指令，并在现实世界中自主执行复杂任务。机器人时代已经到来机器人是一个颇为广泛的概念。黄仁勋表示，当他提到“机器人”时，通常大家会想到人形机器人，“但这并不完全正确。一切都将是机器人。”机器人将遍布所有工厂，工厂将实现对机器人的统筹，而这些机器人将制造新的机器人产品。在黄仁勋的构想中，下一个由机器人工厂内的机器人制造的高产量机器人产品可能是人形机器人，最容易适应世界的机器人也是人形机器人。“机器人时代已经到来，AI的下一波浪潮已经到来，”站在各式各样的机器人投影屏幕前，黄仁勋张开双臂，宣告全新时代的揭幕，“由物理AI驱动的机器人技术将彻底改变行业。这不是未来，这正在发生。”在英伟达的产品中，有多项内容与机器人有关，包括用于模拟应用的NVIDIA Omniverse平台、Project GR00T人形机器人通用基础模型、Jetson Thor机器人计算机、NVIDIA Isaac平台等，比亚迪电子、西门子、泰瑞达等公司也正在将英伟达自主机器人技术集成到自家工厂中。英伟达内部也已组建研究小组GEAR，全称Generalist Embodied Agent Research，意为“通用具身智能体研究”。该小组领头人之一、英伟达高级研究科学家Jim Fan彼时也给出了与黄仁勋相似的说法：未来每一台移动的机器都将是自主的，机器人与模拟智能体将和iPhone一样无处不在。“我们正在打造基础智能体：一个具备通用能力的AI，其能在虚拟与现实的多个世界中学习如何熟练行动。2024年将是机器人之年、游戏AI之年、模拟之年。”值得一提的是，随着AI的这一把火从聊天机器人烧向人形机器人，加码投资的自然也不止英伟达一家巨头。上周OpenAI被曝已重启此前被放弃的机器人团队，一位接近OpenAI的知情人士表示，这个新组建的机器人团队已经初步形成，并已经运作了大约两个月的时间。OpenAI副总裁、前机器人团队成员Peter Welinder表示，“我们始终计划重返机器人领域，与Figure AI的合作为我们指明了一条道路，即探索在高性能多模态模型驱动下，人形机器人能够取得的卓越成就。” ... PC版： 手机版：

Q2：请总结这篇论文的核心要点， 尽量以中学生能读懂的非技术语言和风格。我们一条条慢慢展开，尽量站在科普和面向非专业人士的立场。

Q2：请总结这篇论文的核心要点， 尽量以中学生能读懂的非技术语言和风格。我们一条条慢慢展开，尽量站在科普和面向非专业人士的立场。首先，请你站在非游戏玩家立场上， 简单介绍下Minecraft 这个沙盒游戏？为Voyager这样的自组织学习的智能代理有什么独特的环境属性？ Q3：我的理解是，「迭代提示机制」作为第一个核心要素， 是Voyager 自组织探索的关键。 当VOYAGER 需要完成一个任务时,它会先通过大语言模型生成一段代码；然后根据执行这段代码产生的环境反馈、执行错误和自我验证；不断改进这段代码，直到完成任务要求；得到成功的代码就会加入技能库。 能否针对《我的世界》这款游戏玩家的视角， 给出一些具体的任务和例子， Voyager是如何执行这条机制和系统的呢？ 例子不要3个，可以从简单到复杂， 尽量包含与环境的互动和反馈等关键描述。 注意保持非技术人士的视角。（见图4） Q4：很有趣，以中等难度的「制作铁制工具」任务为例， VOYAGER会如何自组织设计prompts来实现 GPT-4的编码呢？ 具体有哪些环境属性的信息，让 AI 模型能够「看见」和得到反馈信息？（图 5） Q5：看起来这些 prompts 的方式相当开发者级别呢？ 不仅包含了包含环境和实体的属性信息，还让游戏的 API 模拟了游戏操作。 那么，如何解决GPT-4 编写代码出现 bug，病自动修复的问题呢？（图 6） Q6：除了自我修复 bug，还有「自动课程」机制会触发， 提供另外一些新的任务目标。 那么， 请用最朴实、简明的语言，介绍一下「自动课程」的基本原理，并介绍 3 个场景案例，来探讨它是如何给 AI 智能代理提供新任务的流程？（ 图 7） Q7：我举一个更具体玩游戏场景的例子：例如 AI 智能代理，发现自己在沙漠而不是森林中，它会如何调整它当前的任务（制作铁锹的材料在当前环境缺失）？ Q8：Voyager通过将成功的程序存储在一个矢量数据库中，逐步建立起一个技能库。每个程序都可以通过其文件串的嵌入来检索。复杂的技能是由较简单的技能合成的，这使Voyager的能力随着时间的推移而不断增强。 Q9：论文中提到，顶部：添加新技能。每个技能都通过嵌入其描述来索引，可以在将来的类似情况下检索。

内容简介后云时代已经揭开帷幕。一波强大的技术浪潮机器学习、智能型产品、软件代理、可穿戴设备、区块链、语音/人脸识别、机器人科学、

内容简介 后云时代已经揭开帷幕。一波强大的技术浪潮机器学习、智能型产品、软件代理、可穿戴设备、区块链、语音/人脸识别、机器人科学、增强现实、算法和5G无线带宽，正在创建一个数字世界，这个世界无处不在、根植于人类世界、意识驱动且独立自主。 《数字化未来》以一种独特的视觉样式诠释了这些激动人心的创新将如何改变本世纪20年代的行业、组织和事业；评估了行业动荡的传言和现状、机器智能的必要性、平台业务模型的重要性以及数字化转型、领导力和风险的挑战；预测了创新将如何转移到人类平台、企业IT功能的未来以及技术对工作、技能和社会的总体影响。 本书饱含深刻的见解，每页附图，直观展示技术驱动的未来。

Deepmind 推出了一个可以自我改进的AI机器人代理：

Deepmind 推出了一个可以自我改进的AI机器人代理： 它能自我学习并在不同的机械臂上执行各种任务，而且还能自我生成新的训练数据以改进其技术。 RoboCat的学习速度非常快。只需要观察100次左右的演示，就可以学会操控机械臂来完成各式各样的任务，并且它还能通过自生成的数据来进行迭代改进。 RoboCat的一些主要特点： 1、多任务和自适应能力：RoboCat是第一个能够解决和适应多个任务，并在不同的真实机器人上执行这些任务的代理。 2、快速学习：RoboCat的学习速度比其他最先进的模型快得多。它可以通过观察少至100个示例来学习新任务，因为它从大型多样化的数据集中获取信息。这将有助于加速机器人研究，因为它减少了对人工监督训练的需求，这是创建通用机器人的重要步骤。 3、自我改进：RoboCat基于Deepmind的多模型模型Gato，它可以在模拟和物理环境中处理语言、图像和动作。将Gato的架构与大型训练数据集结合起来，该数据集包含了各种机器人臂解决数百种不同任务的图像和动作序列。 4、操作新的机器人臂和解决更复杂的任务：通过RoboCat的多样化训练，它在几个小时内学会了操作不同的机器人臂。虽然它已经在两爪夹具的臂上进行了训练，但它能够适应更复杂的臂，这种臂有三个手指的夹具和两倍的可控输入。 5、自我改进的通才：RoboCat有一个训练的良性循环：它学习的新任务越多，它在学习其他新任务上就越好。最初版本的RoboCat在以前未见过的任务上的成功率只有36%，这是在每个任务上从500个示例中学习后的结果。但是最新的RoboCat，在对更多任务进行了训练后，将这个成功率提高了一倍多。

“AI 毫无疑问是一场真正的生产力革命。

“AI 毫无疑问是一场真正的生产力革命。 如果你对世界的趋势稍微有一点敏感度，对自己未来负责的话，你就会知道必须学习这个东西了。 因为，有很多我们引以为傲的技能，可能短短几年，就会被程序替代了。” UP 主「智能路障」在最新一期讲“AI 进化史”的视频里提到的这个观点，我还是挺认可的。 在长达一个小时视频的结尾，他还推荐 3 本适合「没什么基础的观众」看的 AI 方面的书，这里摘抄下来： 第一本：《AI未来进行式》 这本书由10篇小说组成，小说预言了20年后的社会现状。 然后由李开复解读「小说中出现的技术，对生活会有什么改变」。 技术包括深度学习、计算机视觉、生物识别、自然语言处理、机器人技术、XR技术、量子计算、自动驾驶、自主武器等等。 很适合 AI小白看。 第二本：《人工智能全传》 这本书讲的非常浅，但很权威。 作者是国际人工智能联合会议主席，和牛津大学计算机学院院长。 但是他几乎没有使用任何技术语言，叙述十分流畅。 可以帮我们快速梳理一遍人工智能发展史。 第三本：《智慧的疆界：从图灵机到人工智能》 这本书是国内作者写的，很深入，也就有一定的阅读难度。 作者很详细地梳理了人工智能发展的历史， 以及各个流派的思考过程。 AI 发展史方面，是up 主看过写的最详细的，文字可读性也很强。 如果以上三本都没有时间看，也可以二倍速花半个小时，看一下up 主的视频。 他的视频，也是基于这几本书写的。内容比较通俗易懂，我看完觉得蛮有帮助的。