Google发布史上最大“通才”模型PaLM-E 看图说话还能操控机器人

Google发布史上最大“通才”模型PaLM-E看图说话还能操控机器人论文地址：https://arxiv.org/abs/2303.03378作为一种多模态具身视觉语言模型(VLM)，PaLM-E不仅可以理解图像，还能理解、生成语言，而且竟然还能将两者结合起来，处理复杂的机器人指令。此外，通过PaLM-540B语言模型与ViT-22B视觉Transformer模型相结合，PaLM-E最终的参数量高达5620亿。横跨机器人、视觉-语言领域的“通才”模型PaLM-E，全称PathwaysLanguageModelwithEmbodied，是一种具身视觉语言模型。它的强大之处在于，能够利用视觉数据来增强其语言处理能力。当我们训练出最大的视觉语言模型，并与机器人结合后，会发生什么？结果就是PaLM-E，一个5620亿参数、通用、具身的视觉语言通才——横跨机器人、视觉和语言据论文介绍，PaLM-E是一个仅有解码器的LLM，在给定前缀（prefix）或提示（prompt）下，能够以自回归方式生成文本补全。其训练数据为包含视觉、连续状态估计和文本输入编码的多模式语句。经过单个图像提示训练，PaLM-E不仅可以指导机器人完成各种复杂的任务，还可以生成描述图像的语言。可以说，PaLM-E展示了前所未有的灵活性和适应性，代表着一次重大飞跃，特别是人机交互领域。更重要的是，研究人员证明，通过在多个机器人和一般视觉语言的不同混合任务组合进行训练，可以带来从视觉语言转移到具身决策的几种方法，让机器人规划任务时能够有效地利用数据。除此之外，PaLM-E尤为突出的一点在于，拥有强大的正迁移能力。在不同领域训练的PaLM-E，包括互联网规模的一般视觉-语言任务，与执行单一任务机器人模型相比，性能明显提高。而在模型尺度上，研究人员则观察到了一个显著的优势。语言模型越大，在视觉语言与机器人任务的训练中，保持的语言能力就越强。从模型规模来看，5620亿参数的PaLM-E几乎保持了它所有的语言能力。尽管只在单个图像进行训练，但PaLM-E在多模态思维链推理和多图像推理等任务中表现出突出的能力。在OK-VQA基准上，PaLM-E取得了新的SOTA。测评结果在测试中，研究人员展示了如何使用PaLM-E在两个不同实体上执行规划以及长跨度的任务。值得注意的是，所有这些结果都是使用基于相同数据训练的相同模型获得的。在以前，机器人通常需要人工的协助才能完成长跨度任务。但现在，PaLM-E通过自主学习就可以搞定了。比如，“从抽屉里拿出薯片”这类指令中，就包括了多个计划步骤，以及来自机器人摄像头的视觉反馈。经过端到端训练的PaLM-E，可以直接从像素开始对机器人进行规划。由于模型被集成到一个控制回路中，所以机器人在拿薯片的过程中，对途中的干扰都有鲁棒性。人类：给我来点薯片。机器人：1.走到抽屉旁2.打开最上面的抽屉3.从最上面的抽屉里拿起绿色的薯片4.放在柜台上。同样，让机器人去拿一个苹果时，给出图片后，机器人执行任务步骤如下——人类：给我拿一个苹果。机器人：1.走向苹果2.拿起苹果3.把它拿给操作员4.放下苹果5.完成。除了执行长跨度任务，PaLM-E可以让机器人执行规划任务，比如排列积木。研究人员根据视觉和语言输入成功地进行多阶段的计划，并结合了长时间范围的视觉反馈，进而让模型能够成功地规划一个长周期的任务“将积木按颜色分类到不同的角落”。如下，在排列组合上，机器人化身为多面手，按颜色将积木排序。模型的泛化方面，PaLM-E控制的机器人可以把红色积木移到咖啡杯的旁边。值得一提的是，数据集只包含有咖啡杯的三个演示，但其中没有一个包括红色的积木块。类似的，虽然模型此前从未见过乌龟，但照样可以顺利地把绿色积木推到乌龟旁边在零样本推理方面，PaLM-E可以在给定图像的情况下讲述笑话，并展示了包括感知，基于视觉的对话和计划在内的能力。多张图的关系，PaLM-E也整得很明白，比如图一（左）在图二（右）的哪个位置。此外，PaLM-E还可以在给定带有手写数字的图像执行数学运算。比如，如下手写餐馆的菜单图，2张披萨需要多少钱，PaLM-E就直接给算出来了。以及一般的QA和标注等多种任务。最后，研究结果还表明，冻结语言模型是通向完全保留其语言能力的通用具身多模态模型的可行之路。但同时，研究人员还发现了一条解冻模型的替代路线，即扩大语言模型的规模可以显著减少灾难性遗忘。参考资料：https://palm-e.github.io/...PC版：https://www.cnbeta.com.tw/articles/soft/1348415.htm手机版：https://m.cnbeta.com.tw/view/1348415.htm

仿生蜈蚣机器人可以根据地形自我适应 实现强大的稳定性

仿生蜈蚣机器人可以根据地形自我适应实现强大的稳定性试图创造生物仿生多腿机器人的研究人员经常发现，他们在挣扎。当一条腿因反复受力而出现故障时，会限制机器人的移动能力。而且控制大量的腿需要大量的计算机能力。现在，来自日本大阪大学的研究人员开发了他们自己的机器人myriapod，有六个部分，每个部分包含两条腿，并有灵活的关节。A.肌足类机器人。B.前视图。C.俯视图。D.俯视图该机器人长度为53英寸（135厘米），重量为20磅（9.1公斤）。它的六个独立的部分有一对连接的腿，由两个链接组成，通过灵活的关节连接，允许偏航或在不同方向移动。研究人员发现，增加关节的灵活性会导致"干草叉分叉"，即直线行走变得不稳定。研究人员没有纠正这种不稳定性，而是更多地利用它，让机器人以一种弯曲的模式行走，要么向左，要么向右，就像蜈蚣那样。该研究的主要作者ShinyaAoi说："我们的灵感来自于某些极其敏捷的昆虫的能力，这种能力使它们能够控制自身运动中的动态不稳定性，从而引起快速的运动变化。"描述机器人稳定和不稳定行走模式的图表研究人员发现，不直接操纵机器人而是控制其身体轴的灵活性，可以大大降低计算的复杂性和操作机器人所需的能量要求。在测试了机器人的运动后，他们发现它可以通过一条弯曲的路径到达目标。研究人员认为他们的机器人肌架有很多应用。该研究的共同作者之一MauAdachi说："我们可以预见在各种各样的情况下的应用，如搜索和救援，在危险环境中工作或探索其他星球。"在未来，研究人员计划在更具挑战性的环境中测试他们的设计，例如在粗糙的地形上。这项研究发表在《软体机器人》杂志上，下面的视频由主要作者ShinyaAoi拍摄，展示了机器人在到达设定目标时的可操作性。...PC版：https://www.cnbeta.com.tw/articles/soft/1362471.htm手机版：https://m.cnbeta.com.tw/view/1362471.htm

一块看似简单的海绵改善了机器人的抓取方式

一块看似简单的海绵改善了机器人的抓取方式机器人现在可以完成跳跃和翻筋斗，但他们太僵硬了，力量虽大却不能轻易地拿起一个鸡蛋。可变刚度设备是潜在的解决方案，可用于硬机器人的接触顺应性以减少损坏，或用于改善软机器人的负载能力。发表在2023年IEEE国际机器人和自动化会议（ICRA）上的这项研究表明，可变刚度可以通过硅树脂海绵实现。来自布里斯托尔大学工程数学系的主要作者TianqiYue解释说："刚度，也被称为软度，在接触场景中很重要。"机器人手臂过于僵硬，所以它们无法对脆弱的物体，例如鸡蛋，做出类似人类的柔软抓握。人类与机器人手臂的不同之处在于，我们有柔软的组织包围着坚硬的骨骼，这作为一种自然的缓解机制。在这篇论文中，我们成功地开发了一个具有可变硬度的软性装置，安装在末端机器人手臂上，用于使机器人与物体接触安全。"机器人海绵在工作中。资料来源：岳天琪硅胶海绵是一种廉价且易于制造的材料。它是一种多孔弹性材料，就像日常工作中使用的清洁海绵。通过挤压海绵，这种材料会变硬，这就是为什么它可以变成一种可变刚度的设备。这种装置可用于工业机器人的场景中，包括抓取果冻、鸡蛋和其他脆弱的物质。它还可以用于服务机器人，使人与机器人的互动更加安全。岳天琪补充说："我们成功地利用海绵制作了一个廉价、灵活但有效的装置，可以帮助机器人实现与物体的软接触。其巨大的潜力来自于它的低成本和轻量级。我们相信这种基于硅-海绵的可变刚度装置将在工业和医疗领域提供一种新的解决方案，例如，对机器人抛光和超声成像的可调整刚度要求。"该团队现在将研究如何使该设备在多个方向上实现可变刚度，包括旋转。参考资料："ASilicon-sponge-basedVariable-stiffnessDevice"，作者将其发表岳天琪在2023年IEEE国际机器人和自动化会议（ICRA）上。...PC版：https://www.cnbeta.com.tw/articles/soft/1369521.htm手机版：https://m.cnbeta.com.tw/view/1369521.htm

Alter3：一个能够执行 ChatGPT 指令的仿人机器人

：一个能够执行ChatGPT指令的仿人机器人东京大学的研究人员成功将仿人机器人Alter3与GPT-4连接。他们利用指令让这个机器人完成了一系列的人类行为，例如弹吉他、自拍、扮演鬼魂角色，甚至在电影院偷吃别人的爆米花。这一过程可以看作是一场现代化的“哑剧游戏”：大语言模型(LargeLanguageModel)将书面指令转换为可执行的代码，从而让机器人能够模仿出多种人类的动作。

研究人员制作出会呼吸会出汗的机器人 全身35个独立感应区

研究人员制作出会呼吸会出汗的机器人全身35个独立感应区目前，全球有10个“安迪”人体模型机器人。许多机器人是隶属于运动服制造商并用于测试的。“安迪”的开发目的主要在于让研究人员更好地了解高温对人体的影响，以及是什么让炎热的天气如此致命。此外，“安迪”可以模仿人体的热功能，拥有35个不同的表面区域，所有表面区域均由温度传感器、热通量传感器和会出汗的毛孔单独控制。今年夏天，“安迪”将与科学家开发的生物气象热机器人MaRTy组队。MaRTy可揭示建筑环境的变化如何改变传递到人体上的热量，而“安迪”可揭示人体对热的反应。...PC版：https://www.cnbeta.com.tw/articles/soft/1372609.htm手机版：https://m.cnbeta.com.tw/view/1372609.htm

工程人员实现让软体机器人运动的一种新方法

工程人员实现让软体机器人运动的一种新方法"毛毛虫的运动是由其身体的局部曲率控制的--当它把自己往前拉的时候，它的身体曲线与它把自己往后推的时候不同，"关于这项工作的一篇论文的通讯作者、北卡罗来纳州立大学机械和航空航天工程系安德鲁-亚当斯特聘教授朱勇说。"我们从毛虫的生物力学中获得灵感，模仿这种局部曲率，并使用纳米线加热器来控制毛虫机器人的类似曲率和运动。朱说："设计能够在两个不同方向上移动的软体机器人是软体机器人技术的一个重大挑战。嵌入式纳米线加热器使我们能够以两种方式控制机器人的运动。我们可以通过控制软体机器人中的加热模式来控制机器人的哪些部分弯曲。而且我们可以通过控制施加的热量来控制这些部分弯曲的程度。"毛毛虫机器人由两层聚合物组成，它们在受热时反应不同。底层在受热时收缩，或者说收缩。顶层在受热时膨胀。一个银纳米线的图案被嵌入膨胀的聚合物层中。该图案包括研究人员可以施加电流的多个引线点。研究人员可以通过向不同的引出点施加电流来控制纳米线图案的哪些部分发热，并且可以通过施加更多或更少的电流来控制发热量。"我们证明了毛毛虫机器人能够将自己向前拉，并将自己向后推，"该论文的第一作者、北卡罗来纳州的博士后研究员ShuangWu说。"一般来说，应用的电流越大，它在任何一个方向上的移动速度就越快。然而，我们发现有一个最佳周期，它给了聚合物冷却的时间--有效地让'肌肉'在再次收缩之前放松。如果我们试图让毛毛虫机器人循环得太快，身体在再次收缩之前没有时间'放松'，这就损害了它的运动。"研究人员还证明，毛毛虫机器人的运动可以被控制，以至于用户能够将其引导到一个非常低的缝隙下--类似于引导机器人滑到门下。从本质上讲，研究人员可以控制向前和向后的运动，以及机器人在该过程中的任何一点向上弯曲的高度。"这种在软体机器人中驱动运动的方法是高度节能的，我们有兴趣探索如何使这个过程更加有效，"朱说。"接下来的其他步骤包括将这种软体机器人运动的方法与传感器或其他技术相结合，以用于各种应用--如搜索和救援设备。"...PC版：https://www.cnbeta.com.tw/articles/soft/1358717.htm手机版：https://m.cnbeta.com.tw/view/1358717.htm