Andrej Karpathy《自动驾驶作为 AGI 的案例研究》全文：

Andrej Karpathy《自动驾驶作为 AGI 的案例研究》全文： 由于大型语言模型（LLMs）的进展，最近关于AGI、其时间表以及可能的形态的讨论越来越多。其中一些是充满希望和乐观的，但很多则是恐惧和悲观的，姑且这么说吧。不幸的是，其中很多也非常抽象，这导致人们在讨论中互相绕圈子。因此，我一直在寻找具体的类比和历史先例，以更实际的方式探讨这个话题。特别是当有人问我对AGI的看法时，我个人喜欢指向自动驾驶。在这篇文章中，我想解释一下为什么。让我们从一个常见的AGI定义开始： AGI：在大部分经济价值工作中超越人类能力的自主系统。 请注意，这个定义中有两个具体要求。首先，它是一个完全自主的系统，也就是说，它可以独立运行，只需极少或完全不需要人工监督。其次，它能自主完成大部分有经济价值的工作。为了使这一部分具体化，我个人喜欢参考美国劳工统计局的职业指数。同时具备这两个特性的系统，我们称之为 AGI。 在这篇文章中，我想说的是，我们最近在自动驾驶能力方面的发展是一个很好的早期案例研究，可以说明自动化程度不断提高所带来的社会动力，进而说明 AGI 总体上会是什么样子。我认为这是因为这个领域的几个特点，可以笼统地说 "这是一件大事"：自动驾驶对社会来说非常容易接触和可见（街道上没有司机的汽车！），从规模上看，它是经济的一大组成部分，目前雇佣了大量的劳动力（例如，想想 Uber/Lyft 的司机），驾驶是一个足够难以实现自动化的问题，但我们实现了自动化（领先于许多其他经济部门），社会已经注意到并正在对此做出反应。当然，还有其他一些行业也实现了大幅自动化，但要么是我个人对它们不太熟悉，要么是它们不具备上述某些特性。 - 部分自动化 作为人工智能中的一个“相当困难”的问题，自动驾驶的实现并非突然出现；它是一个逐步自动化驾驶任务的过程，其中包含许多“工具型人工智能”中间环节。在车辆自主性方面，许多汽车现在都配备了“L2级”驾驶辅助系统一种与人类合作完成从A点到B点的人工智能。它并非完全自主，但它处理了许多驾驶的低级细节。有时它会自动完成整个动作，例如为您停车。人类主要是这个活动的监督者，但原则上可以随时接管并执行驾驶任务，或发出高级命令（例如请求变道）。在某些情况下（例如车道跟随和快速决策），人工智能的表现超过了人类的能力，但在罕见的情况下仍然可能不及人类。这类似于我们开始在其他行业中看到的许多工具型人工智能，尤其是由于大型语言模型的能力解锁而出现的情况。 例如，作为一名程序员，当我使用GitHub Copilot自动完成一段代码块，或者使用GPT-4编写一个更大的函数时，我将低级细节交给了自动化处理，但在同样的方式下，如果需要的话，我也可以进行“干预”。也就是说，Copilot和GPT-4属于L2级编程。在整个行业中有许多L2级自动化，它们并不一定都基于LLMs - 从TurboTax到亚马逊仓库中的机器人，再到翻译、写作、艺术、法律、市场营销等许多其他“工具型AI”。 - 全自动化 在某个时刻，这些系统跨越了可靠性的门槛，变成了类似Waymo今天的样子。它们进入了完全自主的领域。在今天的旧金山，你可以打开一个应用程序，叫一辆Waymo而不是Uber。一辆无人驾驶汽车会停下来，带着你这个付费客户去你的目的地。这太神奇了。你不需要知道如何开车，不需要付出注意力，你可以靠在后座上打个盹，系统会把你从A点带到B点。和我交谈过的许多人一样，我个人更喜欢坐Waymo而不是Uber，我几乎完全转向了Waymo来进行城市交通。你会得到更多一致性、可重复的体验，驾驶很平稳，你可以听音乐，和朋友聊天，而不用花费精力去思考司机在听你说话时在想什么。 - 全自动化的混合经济 然而，尽管自动驾驶技术已经存在，仍然有很多人选择叫Uber。为什么呢？首先，很多人根本不知道可以叫Waymo。即使他们知道，很多人还不完全信任自动化系统，更喜欢有人类驾驶。即使他们愿意，很多人可能只是更喜欢有人类司机，例如享受交谈、闲聊和结识其他人。除了个人偏好之外，根据今天应用程序中等待时间的增加，Waymo的供应受限。汽车数量不足以满足需求。其中一部分原因可能是Waymo非常谨慎地管理和监控风险和公众舆论。另一部分原因是Waymo可能有配额限制，规定他们可以在街上部署多少辆车，这是来自监管机构的规定。另一个限制因素是Waymo不能立即取代所有Uber。他们必须建设基础设施，制造汽车，扩大运营规模。 我认为经济其他领域的各种自动化将是相同的 一些人/公司会立即使用它们，但很多人 1) 不知道它们，2) 即使知道也不信任它们，3) 即使信任也更愿意雇佣和与人类合作。但除此之外，需求大于供应，AGI将受到完全相同的限制，原因也完全相同 开发者的一定程度的自我约束，一定程度的监管，以及一定程度的资源短缺，例如需要建设更多的GPU数据中心。 - 全自动化的全球化 正如我之前提到的资源限制，这项技术的全球化仍然非常昂贵、耗费大量人力物力、扩张受限。如今，Waymo只能在旧金山和凤凰城行驶，但这种方法本身相当通用和可扩展，所以该公司可能很快会扩展到洛杉矶、奥斯汀等地。该产品可能还受到其他环境因素的限制，例如在大雪中行驶。在一些罕见的情况下，甚至可能需要人工操作员的救援。能力的扩展并非“免费”。例如，Waymo必须耗费资源进入一个新城市。他们必须建立存在，绘制街道地图，调整感知和规划/控制器以适应某些独特情况，或者符合该地区特定的规则或法规。在我们的工作类比中，许多工作可能只在某些环境或条件下具有完全自主权，而扩大覆盖范围将需要工作和努力。在这两种情况下，方法本身是通用和可扩展的，前沿将会扩展，但只能随着时间的推移逐步实现。 - 社会反应 我发现关于自动驾驶技术在社会中的不断引入的另一个令人着迷的方面是，就在几年前，到处都是关于 "它能不能"、"它行不行"、"它到底行不行 "的大量评论和担忧。而现在，自动驾驶技术已经真正到来了。不再是研究原型，而是一种产品我可以用钱来换取完全自动化的交通工具。在其目前的运营范围内，这个行业已经实现了完全自主。然而，总体上几乎没有人在意。我和大多数人交谈时（即使是在科技领域），他们甚至都不知道这件事发生了。当你的Waymo穿过旧金山的街道时，你会看到很多人把它当作一种奇怪的事物。起初，他们会感到惊讶并凝视着。然后，他们似乎继续过着自己的生活。当完全自主技术在其他行业中引入时，也许世界并不会像风暴一样翻天覆地。大多数人可能一开始甚至都没有意识到。当他们意识到时，他们可能会凝视着，然后耸耸肩，这种态度可能从否认到接受不等。有些人对此非常不满，并采取了类似在Waymo车上放置锥桶的抗议行动，无论这种行动的等价物是什么。 当然，我们还远远没有看到这方面的全面发展，但我预计一旦出现，它将具有广泛的可预测性。 - 经济影响 让我们转向工作。当然，Waymo已经去掉了汽车的驾驶员，这是显而易见的。但它也创造了许多以前不存在的其他工作，这些工作不太显眼 人类标注员帮助收集神经网络的训练数据，远程连接到遇到任何问题的车辆的支持代理，构建和维护汽车车队的人员，地图等。首先，为了组装这些高度智能化的高科技汽车，首先要创建一个由各种传感器和相关基础设施组成的全新产业。同样，对于工作来说，许多工作将发生变化，一些工作将消失，但也会出现许多新的工作。这更像是对工作的重构，而不是直接删除，即使删除是最显著的部分。很难说随着时间的推移，整体数字不会在某个时间点呈下降趋势，但这种情况的发生速度要比天真地看待这种情况的人想象的慢得多。 - 竞争格局 我想考虑的最后一个方面是竞争格局。几年前，有很多自动驾驶汽车公司。如今，鉴于这个问题的难度（我认为以人工智能和计算的现有技术水平，要实现自动驾驶也只是勉为其难），生态系统已经得到了显著的整合，Waymo 首次展示了自动驾驶未来的完整功能。然而，包括Cruise、Zoox和我个人最喜欢的特斯拉在内，还有一些公司在追求。鉴于我个人的历史和参与这个领域的经历，我在这里简要说明一下。在我看来，自动驾驶行业的最终目标是实现全球范围内的完全自主。Waymo采取了先追求自主然后扩展到全球的策略，而特斯拉采取了先全球化然后扩展完全自主的策略。如今，我是这两家公司产品的忠实用户，并且个人更加支持整体技术的发展。然而，其中一家公司在主要软件工作方面还有很多工作要做，而另一家公司在主要硬件工作方面还有很多工作要做。 我对哪个更快有自己的赌注。尽管如此，同样地，经济的许多其他领域可能会经历快速增长和扩张的时期（想想2015年的自动驾驶时代），但如果这个类比成立的话，最终只会有少数几家公司进行竞争。在这一切的过程中，将会有许多被广泛使用的工具型人工智能（想想今天的L2 ADAS功能），甚至还会有一些开放平台（想想Comma）。 - AGI 这些就是我认为的 AGI 的大致轮廓。现在，只需在脑海中把这些复制粘贴到整个经济中，以不同的速度发生，并产生各种难以预测的相互作用和二阶效应。我不指望它完美无缺，但我希望它能成为一个有用的思维模型，供我们参考和借鉴。从模因谱系的角度来看，它不像一个自我递归改进的超级智能体，能够逃脱我们的控制，进入网络空间制造致命的病原体或纳米机器人，把整个银河系变成灰色的粘稠物。而更像的是自动驾驶，这是我们经济中目前正在加速发展的一部分，是将对社会产生重大影响的自动化。它循序渐进，社会既是旁观者，也是参与者，其扩张速度受到多方面的限制，包括监管和受过教育的劳动力资源、信息、材料和能源。世界不会爆炸，它会适应、改变和重构。具体到自动驾驶，交通自动化将使其变得更加安全，城市的雾霾和拥堵将大大减少，停车场和停放的汽车将从道路两旁消失，从而为人们腾出更多空间。我个人非常期待，AGI 可能会带来哪些等同于此的变化。