斯坦福团队新作：喊话就能指导机器人任务成功率暴增

斯坦福团队新作：喊话就能指导机器人任务成功率暴增比如在这个场景中，机器人没能完成系统设定的“把海绵放入袋子”的任务。这时研究者直接朝它喊话，“用海绵把袋子撑得再开一些”，之后就一下子成功了。而且，这些纠正的指令还会被系统记录下来，成为训练数据，用于进一步提高机器人的后续表现。有网友看了说，既然已经能朝着机器人喊话了，那汽车是不是也快点安排上，还在线点名特斯拉和其自动驾驶软件总监AshokElluswamy。成果发布后，前Google机器人高级研究员EricJang，前DeepMind研究员、斯坦福客座教授KarolHausman等一众大佬也纷纷表示了肯定和赞许。那么，用喊话调整的机器人，都能实现什么样的动作呢？喊话就能发号施令利用YAY技术调教后，机器人以更高的成功率挑战了物品装袋、水果混合和洗盘子这三项复杂任务。这三种任务的特点是都需要两只手分别完成不同的动作，其中一只手要稳定地拿住容器并根据需要调整姿态，另一只手则需要准确定位目标位置并完成指令，而且过程中还涉及海绵这种软性物体，拿捏的力度也是一门学问。以打包装袋这个任务为例，机器人在全自主执行的过程中会遇到各种各样的困难，但通过喊话就能见招拆招。只见机器人在将装袋的过程中不小心把海绵掉落了下来，然后便无法再次捡起。这时，开发者直接朝它喊话，口令就是简单的“往我这边挪一挪，然后往左”。当按照指令做出动作后，第一次还是没成功，但机器人记住了“往左”这个指令，再次左移之后便成功把海绵捡起来了。但紧接着就出现了新的困难——袋子的口被卡住了。这时只要告诉它再把袋子打开一点点，机器人就“心领神会”，调整出了一系列后续动作，并最终成功完成任务。而且不只是能纠正错误，任务的细节也能通过喊话实时调整，比如在装糖的任务中，开发者觉得机器人拿的糖有点多了，只要喊出“少一点”，机器人就会将一部分糖果倒回盒子。进一步地，人类发出的这些指令还会被系统记录并用作微调，以提高机器人的后续表现。比如在刷盘子这项任务中，经过微调之后的机器人清洁力度更强，范围也变大了。统计数据表明，机器人在经历这种微调之后，平均任务成功率提高了20%，如果继续加入喊话指令还能继续提高。而且这样的指令-微调过程可以迭代进行，每迭代一次机器人的表现都能有所提升。那么，YAY具体是如何实现的呢？人类教诲“铭记在心”架构上，整个YAY系统主要由高级策略和低级策略这两个部分组成。其中高级策略负责生成指导低级策略的语言指令，低级策略则用于执行具体动作。具体来说，高级策略将摄像头捕捉到的视觉信息编码，与相关知识结合，然后由Transformer生成包含当前动作描述、未来动作预测等内容的指令。而低级策略接收到语言指令后，会解析这些指令中的关键词，并映射到机器人关节的目标位置或运动轨迹。同时，YAY系统引入了实时的语言纠正机制，人类的口头命令优先级最高——经识别后，直接传递给低级策略用于执行。且在这个过程中命令会被系统记录并用于微调高级策略——通过学习人类提供的纠正性反馈，逐渐减少对即时口头纠正的依赖，从而提高长期任务的自主成功率。在完成基础训练并已经在真实环境中部署后，系统仍然可以继续收集指令信息，不断地从反馈中学习并进行自我改进。作者简介本项目的第一作者是斯坦福大学的学生研究员LucyX.Shi，2019年毕业于人大附中后进入南加州大学就读计算机科学专业。其间，Lucy曾到英伟达实习研究多模态大模型，并曾与知名AI学者JimFan博士合作。她的论文曾连续两年被机器人顶会CoRL收录，还入选过NeurIPS，本人还被DeepMind邀请发表过演讲。Lucy的导师ChelseaFinn是斯坦福计算机科学和电气工程系助理教授，Google学术论文引用数超4.7万，此前还在GoogleBrain工作过一段时间。包括本项目在内，在ALOHA团队发表的一系列论文当中，Finn总是作为通讯作者出现。此外，ALOHA团队的TonyZ.Zhao、SergeyLevine等研究人员，也是本文的共同作者。...PC版：https://www.cnbeta.com.tw/articles/soft/1426490.htm手机版：https://m.cnbeta.com.tw/view/1426490.htm

在Telegram中查看

相关推荐

GPT-4 利用未知的「零日」漏洞入侵网站，成功率达53%

GPT-4利用未知的「零日」漏洞入侵网站，成功率达53%研究人员利用名为「HPTSA」的方法，让大语言模型协同工作，成功入侵了超过一半的测试网站。这种方法使得多个大语言模型们可以如同老板与下属一般规划工作、分配任务。大大减轻单个模型的工作负担。在测试中，模型们利用的是之前未知的「零日」漏洞。研究人员同时指出：聊天机器人模式下的GPT-4"不足以理解LLM的能力"，本身无法进行任何攻击。关注频道@ZaiHuaPd频道爆料@ZaiHuabot

谷歌 DeepMind 正在使用 Gemini 来训练机器人使其变得更聪明

谷歌DeepMind正在使用Gemini来训练机器人使其变得更聪明谷歌正在使用GeminiAI训练其机器人，以便它们能够更好地导航和完成任务，DeepMind机器人团队在一篇新的研究论文中解释了如何使用Gemini1.5Pro的长上下文窗口，让用户可以使用自然语言指令更轻松地与其RT-2机器人进行交互。其工作原理是拍摄指定区域的视频，研究人员使用Gemini1.5Pro让机器人“观看”视频以了解环境，然后机器人可以根据情况执行命令。DeepMind表示其Gemini驱动的机器人在超过50个任务中的成功率高达90%。研究人员还发现“初步证据”表明，Gemini使其机器人能够计划如何执行导航以外的指令，例如，当办公桌上有很多可乐罐的用户询问机器人“是否有他们最喜欢的饮料”时，Gemini就会知道“机器人应该导航到冰箱，检查是否有可乐，然后返回给用户报告结果。”DeepMind表示计划进一步调查这些结果。——，

斯坦福大学发布开源远程操作机器人系统 ALOHA

斯坦福大学发布开源远程操作机器人系统ALOHA是一个低成本的开源硬件系统，可用于双手远程操作机器人执行精细任务(例如给线缆轧带或剥鸡蛋壳)、动态任务(例如颠乒乓球)以及接触式丰富的任务(例如给自行车上链条)。作者TonyZhao基于Transformer开发了一种动作学习算法，ALOHA可以直接从实际演示中执行端到端的模仿学习，然后自主完成相同或类似的任务，也可根据实时反馈调整动作以适应不同的环境和情况。以往执行这些任务通常需要高端机器人、精确的传感器或仔细的校准，这可能既昂贵又难以设置，而ALOHA开源了有关设置的所有内容，并准备了详细教程，任何人都可以3D打印组件然后运行现成的机器人。——投稿：@ZaiHuabot频道：@TestFlightCN

一块看似简单的海绵改善了机器人的抓取方式

一块看似简单的海绵改善了机器人的抓取方式机器人现在可以完成跳跃和翻筋斗，但他们太僵硬了，力量虽大却不能轻易地拿起一个鸡蛋。可变刚度设备是潜在的解决方案，可用于硬机器人的接触顺应性以减少损坏，或用于改善软机器人的负载能力。发表在2023年IEEE国际机器人和自动化会议（ICRA）上的这项研究表明，可变刚度可以通过硅树脂海绵实现。来自布里斯托尔大学工程数学系的主要作者TianqiYue解释说："刚度，也被称为软度，在接触场景中很重要。"机器人手臂过于僵硬，所以它们无法对脆弱的物体，例如鸡蛋，做出类似人类的柔软抓握。人类与机器人手臂的不同之处在于，我们有柔软的组织包围着坚硬的骨骼，这作为一种自然的缓解机制。在这篇论文中，我们成功地开发了一个具有可变硬度的软性装置，安装在末端机器人手臂上，用于使机器人与物体接触安全。"机器人海绵在工作中。资料来源：岳天琪硅胶海绵是一种廉价且易于制造的材料。它是一种多孔弹性材料，就像日常工作中使用的清洁海绵。通过挤压海绵，这种材料会变硬，这就是为什么它可以变成一种可变刚度的设备。这种装置可用于工业机器人的场景中，包括抓取果冻、鸡蛋和其他脆弱的物质。它还可以用于服务机器人，使人与机器人的互动更加安全。岳天琪补充说："我们成功地利用海绵制作了一个廉价、灵活但有效的装置，可以帮助机器人实现与物体的软接触。其巨大的潜力来自于它的低成本和轻量级。我们相信这种基于硅-海绵的可变刚度装置将在工业和医疗领域提供一种新的解决方案，例如，对机器人抛光和超声成像的可调整刚度要求。"该团队现在将研究如何使该设备在多个方向上实现可变刚度，包括旋转。参考资料："ASilicon-sponge-basedVariable-stiffnessDevice"，作者将其发表岳天琪在2023年IEEE国际机器人和自动化会议（ICRA）上。...PC版：https://www.cnbeta.com.tw/articles/soft/1369521.htm手机版：https://m.cnbeta.com.tw/view/1369521.htm

DeepMind 的 RoboCat 开始学习执行一系列机器人任务

DeepMind的RoboCat开始学习执行一系列机器人任务DeepMind的研究科学家、RoboCat团队的共同贡献者AlexLee表示：“我们证明，单个大型模型可以在多个真实的机器人实施例上解决多种任务，并且可以快速适应新的任务和实施例。”RoboCat受到Gato的启发，Gato是一种可以分析文本、图像和事件并对其采取行动的DeepMind人工智能模型，它接受了从模拟和现实生活中的机器人收集的图像和动作数据的训练。Lee表示，这些数据来自虚拟环境中其他机器人控制模型、人类控制机器人以及RoboCat本身的先前迭代的组合。为了训练RoboCat，DeepMind的研究人员首先收集了100到1000个使用人类控制的机械臂执行任务或机器人的演示。（例如让机器人手臂拾取齿轮或堆砌方块）然后，他们对RoboCat的任务进行了微调，创建了一个专门的“衍生”模型，该模型平均针对该任务进行了10,000次练习。利用衍生模型生成的数据和演示数据，研究人员不断扩大RoboCat的训练数据集，并训练RoboCat的后续新版本。RoboCat模型的最终版本接受了总共253项任务的训练，并在模拟和现实世界中对这些任务的141种变体进行了基准测试。DeepMind声称，在观察了几个小时内收集的1000个人类控制的演示后，RoboCat学会了操作不同的机械臂。虽然RoboCat已经接受了四种带有双叉手臂的机器人的训练，但该模型能够适应更复杂的带有三指抓手和两倍可控输入的手臂。为了避免RoboCat被誉为机器人控制AI模型的最终王者，在DeepMind的测试中，其跨任务的成功率差异很大——从低端的13%到高端的99%。这是训练数据中的1000个演示，不出所料，示威活动的成功率只有一半。尽管如此，在某些情况下，DeepMind声称RoboCat只需100次演示就能学习新任务。Lee相信RoboCat可能预示着解决机器人技术新任务的障碍将会降低。“为新任务提供有限数量的演示，RoboCat可以针对新任务进行微调，进而自行生成更多数据以进一步改进，”他补充道。展望未来，研究团队的目标是将教RoboCat完成新任务所需的演示次数减少到10次以下。...PC版：https://www.cnbeta.com.tw/articles/soft/1366699.htm手机版：https://m.cnbeta.com.tw/view/1366699.htm

微软OpenAI计划1亿美元投向人形机器人网友纷纷喊话马斯克

微软OpenAI计划1亿美元投向人形机器人网友纷纷喊话马斯克只见这个机器人通体银黑，外观酷似好莱坞科幻大片中的机器人形象：现在，他正在将一颗咖啡胶囊放进咖啡机里：如果没放正，还会自主调整，无需任何人为远程遥控：不过一会儿，一杯咖啡就可以端走享用：有木有家人们已经认出来了，没错，这款机器人就是前段时间爆火的Figure01，其背后公司也正是机器人初创公司Figure。这家公司成立于2022年，去年5月刚筹集了ParkwayVentureCapital领投的7000万美元融资，两个月后英特尔投了900万美元，没想到短短不到一年时间公司估值又翻了数翻。不过，最新的这轮融资尚未最终确定，投资金额可能变，交易也可能不成。即便如此，网友已经开始喊话马斯克了：必须要给擎天柱（Optimus）和Figure01置办一场笼中格斗。还有网友似乎感受到了一丝危机感：OpenAI打算以各种方式影响蓝领的工作。“以30年的长远视角构建Figure”正如上面所提到的，Figure是一家初创机器人公司，总部位于美国，专攻通用人形机器人。公司创始人兼CEO名为BrettAdcock。在创立Figure之前，Brett创立了ArcherAviation，这是一家做全电动垂直起降飞机的公司。ArcherAviation已在纽约证券交易所公开上市，估值达27亿美元，并和美国联合航空公司签订了15亿美元的商业协议。再往前推，26岁时Brett创立了Vettery，这是一家猎头公司。2018年，Vettery被瑞士Adecco集团以1.1亿美元收购。现在，Brett在其公司主页个人介绍中写着：唯一的重点是以30年的视角建立Figure，以积极影响人类的未来。而Figure发布的首款人形机器人Figure01，发布于去年10月。据介绍，它的厉害之处在于能够通过观看人类的示范视频，仅需10小时端到端训练，就能学会并完全自主搞定煮咖啡这样的任务。至于具体实现细节，官方没有透露。OpenAI还支持了另一家公司除此之外，OpenAI在人形机器人方面还做了不少部署。他们还为一家挪威人形机器人公司1XTechnologies，提供了支持。1XTechnologies前身名为HalodiRobotics，由BerntØivindBørnich于10年前创立。2022年1XTechnologies与OpenAI达成合作，使用AI模型为机器人添加智能。去年3月，1XTechnologies获得了由OpenAI创业基金领投的2350万美元融资。今年年初1XTechnologies完成B轮融资，金额超1亿美元，EQTVentures、三星NEXT、Nistad集团、Sandwater、SkagerakCapital等都有参与。他们研发的轮式机器人Eve已经部署在多个工业任务中。另外，该公司还在开发一款日常家用双足人形机器人——Neo。可以做清洁、整理或跑腿等家务。最近，人形机器人可谓火爆非常，为此有不少网友表示“2024年会是人形机器人元年”，你怎么看？...PC版：https://www.cnbeta.com.tw/articles/soft/1415333.htm手机版：https://m.cnbeta.com.tw/view/1415333.htm

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人