AI 新知：为什么基础代理将会是下一个革命性技术？
AI 新知：为什么基础代理将会是下一个革命性技术？
来自英伟达高级研究员 & AI Agents负责人Jim Fan 近期释放的TED 演讲，《The next grand challenge for AI》提出了「基础代理」将在虚拟世界和物理世界中无缝运行。他解释了这项技术将如何从根本上改变我们的生活渗透到从视频游戏、元宇宙到无人机和仿人机器人的方方面面并探讨了这一模型如何掌握跨越这些不同现实的技能。
他提出「基础代理」（Foundation Agent）的秘诀：一个单一的模型，可以学习如何在不同的世界中行动。
（如果你之前不太熟悉AI agents相关基础知识， 可以结合文本内容补充相关知识点，Enjoy）
「基础代理」中的智能体， Voyager 是什么？？
- 它是一个在 Minecraft开放世界中无限学习的智能体。Voyager 可以自己写代码、自我迭代、不断完善技能库中，实现无限学习（Longlife learning）的探索过程。
- 这里核心只有一个，就是无限迭代。 它不断扩充自己的技能图书馆， 无论是在游戏中制作工具，并升级科技树（例如，从Wooden Tool 到Iron Tool）， 全部是自主迭代、自主验证的。 它不仅是自动化，它是通过一套机制自主学习 [1]。
- 它建立在GPT-4之上，并解锁了一个新的范式：「训练」在这个语境下是执行代码；「训练模型」是Voyager迭代组成的技能代码库，而不是浮点矩阵。
- Voyager 作为一个超级玩家，在《我的世界》中，它获得了3.3倍的独特物品，旅行了2.3倍的距离，解锁关键技术树里程碑的速度比之前的方法快15.3倍。它还开源的。 [1]
为什么这个「基础代理」具有非凡意义？
- LLM 适用于大量文本，而基础代理可以跨越很多很多现实。 基础代理 已经在虚拟世界被验证强大的学习自主性。
- 其次，Jim Fan 认为它具有跨越Reality的拓展性。 开放游戏世界Minecraft 只是作为一个模拟现实（simulated realities）和实验基地，他们还在其他仿真环境进行训练和探索得到惊人进展。[2]
- 如果它能够掌握 10,000 种不同的模拟现实，那么它就能很好地推广到我们的物理世界，而物理世界只是第 10,001 个现实。
- 换句话说，它正在加速应用于物理世界，特别是机器人技术。 参考Jim Fan的PPT 。 [3]
Hans 注释：
[1] 这套自主学习和迭代的机制，有三个核心组件： a）结合游戏反馈、执行错误、自我验证来完善程序的迭代提示机制；（让 GPT-4 写代码 ） b）用于存储和检索复杂行为的技能代码库；（任务的完善和迭代，成为了技能） c）最大化探索的自动课程。Hans 在去年相关论文讨论的《当GPT-4 遇上开放世界》中，有更详细的解读。
[2] 英伟达 Isaac Gym 是一个功能强大的端到端 GPU 加速仿真环境，用于强化学习，可用于训练机器人和模型。它是英伟达 Omniverse 平台的一部分，为机器人和计算机视觉算法提供基于物理的高保真模拟。
[3] TED 视频中Jim Fan的PPT ：
Invalid media:
