训练出ChatGPT需要消耗多少电力？

训练出ChatGPT需要消耗多少电力？微软、谷歌和ChatGPT制造商OpenAI都要使用云计算，而云计算依赖于全球海量数据中心服务器内数以千计的芯片来训练被称为模型的AI算法，分析数据以帮助这些算法“学习”如何执行任务。ChatGPT的成功促使其他公司竞相推出自己的AI系统和聊天机器人，或者开发使用大型AI模型的产品。与其他形式的计算相比，AI需要使用更多的能源，训练单个模型消耗的电力超过100多个美国家庭1年的用电量。然而，虽然AI行业增长非常快，但却不够透明，以至于没有人确切知道AI的总用电量和碳排放量。碳排放量也可能有很大差异，这取决于提供电力的发电厂类型，靠烧煤或天然气发电供电的数据中心，碳排放量显然高于太阳能或风力发电支持的数据中心。虽然研究人员已经统计了创建单一模型所产生的碳排放量，有些公司也提供了有关他们能源使用的数据，但他们没有对这项技术的总用电量进行总体估计。AI公司HugingFace研究员萨莎·卢西奥尼（SashaLuccioni）写了一篇论文，量化了她旗下公司Bloom的碳排放情况，Bloom是OpenAI模型GPT-3的竞争对手。卢西奥尼还试图根据一组有限的公开数据，对OpenAI聊天机器人ChatGPT的碳排放情况进行评估。提高透明度卢西奥尼等研究人员表示，在AI模型的电力使用和排放方面，需要提高透明度。有了这些信息，政府和公司可能会决定，使用GPT-3或其他大型模型来研究癌症治疗或保护土著语言是否值得。更高的透明度也可能带来更多的审查，加密货币行业可能会提供前车之鉴。根据剑桥比特币电力消耗指数，比特币因其耗电量过大而受到批评，每年的耗电量与阿根廷一样多。这种对电力的贪婪需求促使纽约州通过了一项为期两年的禁令，暂停向以化石燃料发电供电的加密货币采矿商发放许可证。GPT-3是功能单一的通用AI程序，可以生成语言，具有多种不同的用途。2021年发表的一篇研究论文显示，训练GPT-3耗用了1.287吉瓦时电量，大约相当于120个美国家庭1年的用电量。同时，这样的训练产生了502吨碳，相当于110辆美国汽车1年的排放量。而且，这种训练只适用于一个程序，或者说是“模型”。虽然训练AI模型的前期电力成本巨大，但研究人员发现，在某些情况下，这只是模型实际使用所消耗电力的40%左右。此外，AI模型也在变得越来越大。OpenAI的GPT-3使用了1750亿个参数或变量，而其前身仅使用了15亿个参数。OpenAI已经在研究GPT-4，而且必须定期对模型进行再训练，以保持其对时事的了解。卡内基梅隆大学教授艾玛·斯特鲁贝尔（EmmaStrubell）是首批研究AI能源问题的研究人员之一，她说：“如果你不对模型进行再训练，它甚至可能不知道何为新冠肺炎。”另一个相对的衡量标准来自谷歌，研究人员发现，AI训练占该公司总用电量的10%至15%，2021年该公司的总用电量为18.3太瓦时。这意味着，谷歌的AI每年耗电量达2.3太瓦时，大约相当于亚特兰大所有家庭的1年用电量。科技巨头做出净零承诺虽然在许多情况下，AI模型变得越来越大，但AI公司也在不断改进，使其以更高效的方式运行。微软、谷歌和亚马逊等美国最大的云计算公司，都做出了碳减排或净零承诺。谷歌在一份声明中表示，到2030年，该公司将在所有业务中实现净零排放，其目标是完全使用无碳能源运营其办公室和数据中心。谷歌还在使用AI来提高其数据中心的能效，该技术直接控制设施中的冷却系统。OpenAI也列举了该公司为提高ChatGPT应用程序编程接口的效率所做的工作，帮助客户降低了用电量和价格。OpenAI发言人表示：“我们非常认真地承担起阻止和扭转气候变化的责任，我们对如何最大限度地利用我们的计算能力进行了很多思考。OpenAI运行在Azure上，我们与微软团队密切合作，以提高运行大型语言模型的效率并减少碳排放。”微软指出，该公司正在购买可再生能源，并采取其他措施，以实现之前宣布的目标，即到2030年实现净零排放。微软在声明中称：“作为我们创造更可持续性未来承诺的一部分，微软正在投资于研究，以衡量AI的能源使用和碳排放影响，同时致力于提高大型系统在培训和应用方面的效率。”耶路撒冷希伯来大学教授罗伊·施瓦茨（RoySchwartz）与微软的一个团队合作，测量了一个大型AI模型的碳足迹。他表示：“显然，这些公司不愿透露他们使用的是什么模型，以及它排放了多少碳。”有些方法可以让AI更高效地运行。能源咨询公司WoodMackenzie的本·赫兹-沙格尔（BenHertz-Shargel）表示，由于AI训练可以随时进行，开发者或数据中心可以将训练安排在电力更便宜或过剩的时候，从而使它们的运营更加环保。AI公司在电力过剩时训练自己的模型，然后可以在营销中将其当成一大卖点，以此表明他们注重环保。芯片运行耗电量惊人大多数数据中心使用图形处理单元（GPU）来训练AI模型，这些组件是芯片行业制造的最耗电组件之一。摩根士丹利分析师本月早些时候发布的一份报告称，大型模型需要数万个GPU，培训周期从几周到几个月不等。AI领域更大的谜团之一是与所使用芯片相关的碳排放总量。最大的GPU制造商英伟达表示，当涉及到AI任务时，他们的芯片可以更快地完成任务，总体上效率更高。英伟达在声明中表示：“与使用CPU相比，使用GPU来加速AI速度更快，也更高效。对于某些AI工作负载来说，能效通常可以提高20倍，对于生成式人工智能必不可少的大型语言模型，能效则可提高300倍。”卢西奥尼说，虽然英伟达已经披露了与能源相关的直接排放和间接排放数据，但该公司并没有透露更多细节。她认为，当英伟达分享这些信息时，我们可能发现GPU消耗的电量与一个小国用电量差不多，“这可能会让人抓狂”！...PC版：https://www.cnbeta.com.tw/articles/soft/1348809.htm手机版：https://m.cnbeta.com.tw/view/1348809.htm

瑜伽球上训练出来的机器狗比大多数健身者更能灵活运用训练资源

瑜伽球上训练出来的机器狗比大多数健身者更能灵活运用训练资源DrEureka是一个任何人都可以获取的开源软件包，用于使用大型语言模型（LLM）（如ChatGPT4）训练机器人执行现实世界中的任务。这是一个"模拟到现实"系统，也就是说，它在虚拟环境中使用模拟物理原理对机器人进行教学，然后再在现实空间中实施。吉姆-范（JimFan）博士是DrEureka的开发者之一，他部署的UnitreeGo1四足机器人一跃成为头条新闻。这是一款"低成本"、支持良好的开源机器人--这很方便，因为即使有了人工智能，机器人宠物仍然很容易摔伤。至于"低成本"，它在亚马逊上的售价为5899美元，评分为1星……DrEureka中的"Dr"代表"领域随机化"，即在模拟环境中随机化摩擦、质量、阻尼、重心等变量。只需在ChatGPT等LLM中输入一些提示，人工智能就能编写代码，创建一个奖励/惩罚系统，在虚拟空间中训练机器人，其中0=失败，高于0则为胜利。得分越高越好。它可以通过最小化和最大化球的弹跳力、运动强度、肢体自由度和阻尼等方面的失效点/爆发点来创建参数。作为一个LLM，它可以毫不费力地大量创建这些参数，供训练系统同时运行。每次模拟后，GPT还可以反思虚拟机器人的表现，以及如何改进。如果超出或违反参数，例如电机过热或试图以超出其能力的方式衔接肢体，都将导致0分...没有人喜欢得零分，人工智能也不例外。提示LLM编写代码需要安全指令--否则，研究小组发现GPT会努力追求最佳性能，会在没有指导的情况下在模拟中"作弊"。这在模拟中没有问题，但在现实生活中可能会导致电机过热或肢体过度伸展，从而损坏机器人--研究人员称这种现象为"退化行为"。虚拟机器人自学成才的非自然行为的一个例子是，它发现自己可以更快地移动，方法是将臀部插入地面，用三只脚拖着臀部在地板上窜来窜去。虽然这在模拟中是一种优势，但当机器人在现实世界中尝试时就尴尬了。因此，研究人员指示GPT要格外小心，因为机器人将在真实世界中接受测试--为此，GPT创建了安全功能，如平滑动作、躯干方向、躯干高度，并确保机器人的电机不会扭矩过大。如果机器人作弊，违反了这些参数，其奖励函数就会降低得分。安全功能可以减少退化和不自然的行为，比如不必要的骨盆推力。那么它的表现如何呢？比我们强。DrEureka在训练机器人"pooch"的过程中击败了人类，在实际的混合地形中，它的前进速度和行进距离分别提高了34%和20%。DrEureka基于GPT的训练系统在现实世界中轻松击败人类训练的机器人如何做到？研究人员认为，这与教学方式有关。人类倾向于课程式的教学环境--把任务分解成一个个小步骤，并试图孤立地解释它们，而GPT能够有效地一次性传授所有知识。这是我们根本无法做到的。DrEureka是同类产品中的首创。它能够从模拟世界"零距离"进入现实世界。想象一下，在对周围世界几乎一无所知的情况下，你被推出巢穴，只能自己摸索。这就是"零镜头"。DrEureka的创造者认为，如果他们能向GPT提供真实世界的反馈，就能进一步改进模拟到现实的训练。目前，所有的模拟训练都是利用机器人自身本体感觉系统的数据完成的，但如果GPT能够通过真实世界的视频画面看到出错的地方，而不是仅仅从机器人的日志中读取执行失败的信息，那么它就能更有效地完善自己的指令。人类平均需要一年半的时间才能学会走路，而大概只有百分之一的人类能在瑜伽球上学会走路。您可以在这里观看一段未经剪辑的4分33秒视频，视频中机器人狗狗轻松在瑜伽球上散步，且没有停下来在消防栓上撒尿：...PC版：https://www.cnbeta.com.tw/articles/soft/1429963.htm手机版：https://m.cnbeta.com.tw/view/1429963.htm