华为云发布盘古具身智能大模型：“夸父”人形机器人亮相

华为云发布盘古具身智能大模型：“夸父”人形机器人亮相据介绍，盘古大模型能够让机器人完成10步以上的复杂任务规划，并且在任务执行中实现多场景泛化和多任务处理。同时盘古大模型还能生成机器人需要的训练视频，让机器人更快地学习各种复杂场景。大模型的多模态能力以及思维能力的快速提升，使机器人能够模拟人类常识进行逻辑推理，并在现实环境中高效精准地执行任务，从而有效解决了复杂环境感知与物理空间认知的难题。通过集成多场景泛化和多任务处理能力，不论是生活场景还是工业场景，都能游刃有余的应对。大会现场展示中，“夸父”可以通过识别物品、问答互动、击掌、递水等互动演示，直观展示了双方基于盘古大模型的合作成果。通过模仿学习策略显著提升了人形机器人的双臂操作能力，实现了软硬件层面的协同优化，不仅增强了机器人综合性能，还克服了小样本数据训练的局限性，推动了泛化操作能力的边界。张平安在大会上表示，除了人形机器人，盘古具身智能大模型还可以赋能多种形态的工业机器人和服务机器人，让它们帮助人类去从事危险和繁重的工作。具身智能大模型可以让机器人作用更加广泛，未来真正实现让AI机器人帮助我们去洗衣、做饭、扫地，让我们有更多的时间去看书，写诗，作画。...PC版：https://www.cnbeta.com.tw/articles/soft/1435629.htm手机版：https://m.cnbeta.com.tw/view/1435629.htm

用于机器人学习和具身AI领域研究的模块化框架

用于机器人学习和具身AI领域研究的模块化框架RoboHive生态系统包含一系列预先存在的和新颖的环境，包括ShadowHand的灵巧操纵、Franka和Fetch机器人的全臂操纵任务以及各种四足运动任务。与之前的作品相比，RoboHive提供了精简且统一的任务界面，利用最新的模拟绑定，具有丰富的视觉多样性任务，并支持现实世界开发的通用硬件驱动程序。RoboHive的统一界面为研究人员提供了一个方便且易于访问的平台来研究多种学习范式，例如模仿、强化、多任务和分层学习。RoboHive还包括大多数环境的专家演示和基线结果，为基准测试和比较提供了标准。特征：最广泛、多样化的任务集合完全可定制的视觉丰富的任务，专为行为泛化而设计。奖励不可知的任务成功指标支持多种算法系列+预训练基线Sim和硬件无关的机器人类，可在sim<>real之间轻松转换远程操作支持。人类+专家数据集#框架

人形机器人进阶到街头耍宝 与人类贴身热舞

人形机器人进阶到街头耍宝与人类贴身热舞这样训练出来的人形机器人，能实现稳健的运动和动态运动跟踪。简而言之，会的活多，表现力还强。比如和人类边贴贴边跳舞，增进增进人形机器人和人类之间的感情：穿着荧光小马甲，就能立刻上岗街头指挥人车交通：研究论文资料显示，这个研究团队共6人，其中过半是UCSD的在读博士生。为什么要对人形机器人做这样的训练呢？论文共同一作XuxinCheng在Twitter上卖力宣传的同时，做出了解释。机器人总是被要求化身各行各业的打工人！我们就想跟它一起探索另一条方向的路～当人形机器人“富有表现力”团队的这项研究名为《ExpressiveWhole-BodyControlforHumanoidRobots》，研究目标是让人形机器人在现实世界中产生丰富、多样和富有表现力的动作。在经过团队的调教后，人形机器人能做出什么样的行为呢？路遇朋友迎面击掌，这是不在话下的。我都能脑补出它大声喊了一句HeyMan……亲切一点，路遇兄弟，来个抱抱：有点搞笑的事，不管是击掌还是拥抱，机器人下半身跺脚的行为并不会停止，只是会稍微放缓。眼尖的朋友们可能已经发现了，上面的击掌实验在不同环境、不同地面进行。团队也明确表示，通过新研究训练出来的人形机器人，可以在各种不同的地形地面上健步如飞。除了上文展示过的草地和石板路，沙滩对它来说同样是小菜一碟：平整的办公室地面也可以轻松应对：团队给出的更多展示中，还表现了更多遇到外界阻力时行动自如的demo。狠狠拽它：拿大球砸它：还知道抬手示意，“喂，你可以帮我背上小书包了”。各种操作，看得大伙儿一愣一愣的。纽约大学计算机科学助理教授发Twitter应援，称这么高水平控制力和表现力的研究成果，居然是一个6人组成的学术团队的产出，“难以置信”！更多的网友则选择用“Cool”来形容这项工作：“无他，照着人类学”所以，究竟怎么才能让机器人像以上般“张牙舞爪”、富有类人表现力？设想的思路无他：照着人类学。学习资料既包括各种人体动捕数据集，也包括生成模型、video2pose模型给出的模拟数据。通过在强化学习框架中进行全身控制的大规模训练，机器人就可以在现实世界中进行动作的泛化了。然而，这样的Sim2Real思想实际还是遇到了问题。作者介绍，典型数据集中的人体模型有69个自由度，但他们所用的机器人只有19个。除此之外，理论和实际的扭矩限制也不相同。这就很尴尬了，等于学会的知识实际根本不能拿来就用。那怎么办？那就做一个小小的改动：只让上半身进行模仿，负责各种表现力，下半身则只负责在任意速度内把两条腿控制稳定就行。作者姑且就管这个方法就叫做“表现型全身控制”（ExpressiveWhole-BodyControl(Exbody)）。由此，该机器人的整体框架就长这样：首先，在拿到各种数据集后，系统会有一个运动重定向，用于获取一系列与符合机器人运动学结构的运动片段。然后在从这些片段中提取表达目标和根运动目标，进行“Exbody”策略的强化学习训练，最终将指令部署到真实机器人身上。其中，表达目标就是机器人上半身要完成的，根运动目标则归于下半身（当然，这部分也可以用遥控命令直接给出）。所用数据集最终，和各种基线方法相比，该机器人取得了如下成绩：有几项比较突出的指标，整体表现还不错。（MELV：MeanEpisodeLinearVelocityTrackingReward，线性速度跟踪奖励MEK：Meanepisodekeybodytrackingreward，关键身体追踪奖励）而从下图来看，Exbody的策略也能让机器人在表现时（例如击掌）膝盖弯曲更多，抬脚时脚离地面更高。言外之意，动作更卖力更富有表现力一些～当然，也更稳。全华人团队出品本研究一共6位作者，全部为华人，全部来自加州大学圣地亚哥分校（UCSD）。共同一作有两位：XuxinCheng，UCSD博一在读，硕士毕业于CMU机器人专业，本科则毕业于北理工自动化专业。YandongJi，同UCSD博一在读，硕士毕业于UC伯克利机械工程，本科毕业于南开大学电子计算机工程专业。通讯作者为他们的导师XiaolongWang，UCSD电气工程系助理教授。他博士毕业于CMU，目前的研究方向集中于CV和机器人技术等等，Google学术显示论文引用次数23000+。哦对了最后，团队成员还包括本次研究所用的机器人：来自宇树科技的UnitreeH1。OneMoreThing要说最近的机器人进展，还真不少。先是OpenAI和微软押注的Figure刚刚宣布，新一轮融资筹集了约6.75亿美元，融资前估值约20亿美元。紧接着发布了个视频，介绍了旗下人形机器人Figure01的最新进展，称“一切都是自主的”。再有就是那个面部表情极其丰富，有时惊艳有时又惊悚的Ameca，最新宣布已具有视觉能力。她能观察所处房间的整个情况，然后用各种各样的声音语气（包括但不限于马斯克、海绵宝宝）跟你绘声绘色地描述。就怪有意思的hhhhhh...PC版：https://www.cnbeta.com.tw/articles/soft/1421435.htm手机版：https://m.cnbeta.com.tw/view/1421435.htm

自主人形机器人会打拳击 但功夫很弱

自主人形机器人会打拳击但功夫很弱加利福尼亚州帕洛阿尔托附近斯坦福大学的研究人员傅子鹏（ZipengFu）、赵青青（QingqingZhao）和吴琦（QiWu）开发出了一种名为"HumanPlus"的仿人机器人。该团队使用全栈系统来帮助机器人学习人类的能力。"我们首先利用现有的40小时人类运动数据集，通过强化学习在模拟中训练低级策略。这一策略可转移到现实世界，使仿人机器人仅使用RGB摄像头（即阴影）就能实时跟踪人类的身体和手部动作"。在HumanPlus的网站上，至少有十几个视频示例，展示了HumanPlus机器人在跟拍时能够做的事情，从弹钢琴到打乒乓球。此外，还有不少例子展示了机器人学习到的自主能力，如跳跃、打字，甚至与同伴握手打招呼。不过，它动作缓慢、笨拙，执行任务时相当笨重，但至少这是一个仿人机器人，你我都可以以9万美元的低价直接购买。斯坦福大学的研究人员花了107945美元对他们的机器人进行了改装，增加了Inspire-Robots的双手、Robotis的手腕和Razer网络摄像头，使其拥有33种自由度。用于创建HumanPlus的代码也全部在GitHub上开源。只需一点点技术诀窍和一大笔钱，你也可以在自家车库里训练出自己的身高5英尺11（180厘米）、体重104磅（47公斤）的机器人仆人。H1甚至保持着速度方面的世界纪录，能以每小时7.4英里（11.9公里）的速度奔跑，还能做后空翻。不过，我们不得不说，它看起来并不像一个拳击手。虽然看起来摇摇晃晃，但仿人机器人技术仍处于起步阶段，就像人类小孩学习走路一样。许多公司都在打赌，在未来几年里，这些东西的能力将大增，并开始一场可能意味着人类劳动终结的革命。...PC版：https://www.cnbeta.com.tw/articles/soft/1435750.htm手机版：https://m.cnbeta.com.tw/view/1435750.htm

梅赛德斯-奔驰开始试用Apptronik人形机器人完成"低技能"工作

梅赛德斯-奔驰开始试用Apptronik人形机器人完成"低技能"工作据这家位于奥斯汀的机器人初创公司称，"作为协议的一部分，Apptronik和梅赛德斯-奔驰将合作确定高度先进的机器人技术在梅赛德斯-奔驰制造中的应用"。按照此类交易的惯例，具体数字尚未披露。一般来说，试点项目中包含的实际系统数量较少，鉴于该技术的早期性质，这是可以理解的。即便如此，这些交易仍被视为双方的双赢之举。Apptronik公司可以证明一家领先汽车公司的明确兴趣，而梅赛德斯公司则向客户和股东表明，它正着眼于未来。接下来的事情才是真正重要的。如果试点进展顺利，汽车制造商很可能会下大单，那将是Apptronik和整个行业的一大幸事。最近，人形机器人吸引了大量投资者的兴趣，Figure最近令人瞠目的6.75亿美元融资就是证明。未来几年对这些公司的持续成功至关重要，因为它们希望证明有意义的投资回报率。至于机器人在生产车间的实际工作内容，联合创始人兼首席执行官杰夫-卡德纳斯（JeffCardenas）在一份新闻稿中指出："梅赛德斯计划利用机器人技术和阿波罗技术实现一些低技能、高难度体力劳动的自动化--我们将在未来数月或数年内看到其他组织复制这一示范用例。""低技能"指的是这些系统将替代的劳动力水平。我猜想，这涉及到大量将周转箱从A点搬运到B点的工作--这些重复性的、耗费体力的工作既必不可少，又（相对）容易实现自动化。"低技能"的另一个重要部分也可能是为了将对取代人类工人的批评扼杀在萌芽状态。我们距离人形机器人能够真正做到这一点还有很长的路要走。Apptronik公司是奥斯汀大学的一家衍生公司，因其在美国国家航空航天局（NASA）Valkyrie仿人机器人上的工作而闻名。...PC版：https://www.cnbeta.com.tw/articles/soft/1423813.htm手机版：https://m.cnbeta.com.tw/view/1423813.htm

迪士尼玩起强化学习 新机器人有星球大战那味了

迪士尼玩起强化学习新机器人有星球大战那味了走起路来屁颠屁颠，关键还很稳：虽然是机器，但不得不说这神态很有“灵性”：就在刚举行完的国际机器人顶会IROS上，迪士尼研究所研究科学家MoritzBächer带领团队展示的这个新机器人可谓萌翻全场。虽然这个小家伙还没有一个正式的名字，但它的表现足够令人印象深刻。和常见的双足机器人最大的不同点在于，它不仅能够在行走中保持动态平衡，还能够通过动作表达出一些“情感”。经研究人员介绍，这主要是因为在训练过程中使用了团队去年耗费一年时间开发的强化学习系统，并且还请了专业的动画师设计动作，将动画角色用动作表现情感的方式应用到了机器人身上。基于此，小家伙不再是一个冷冰冰的机器。可以想见，若给它装一个GPT大脑，家里的狗子危～～～瑞思拜，我是大学生，给我。不少网友看到后联想到了星球大战中的角色：另一波网友看到小家伙如此“憨态可掬”，认为这就是现实版的瓦力（WALL-E，《机器人总动员》中的角色）：更有网友直呼感觉“站在了机器人革命的风口浪尖”：这个小家伙走起路来为何如此平稳？开发者又具体是如何赋予其“情感”的？我们接着往下看。在瑞士森林中“漫步”摇头晃脑还能平稳运动的秘诀，在于头部和腿部的设计。其中，小家伙的头部是一个四自由度的设计，可实现上、下、左、右四个方向倾斜观察：而它的腿部更是增加到五自由度，具备髋关节，因此它在行走时能够保持动态平衡。偷袭推它，或是故意拖拽它脚下的地毯，它都能应对自如：挑战更为复杂的地形，在瑞士野外森林中漫步也不在话下：稳重又不失风情，走着走着，还能跳上一段：据研究人员介绍，能做到这种效果，从概念提出到最终打磨成型，其实只用了不到一年的时间。这还要得益于3D打印技术，使用模块化硬件和执行器，大为提高了设计和迭代的速度。再来说说赋予其“情感”。其实这种让机器人以有情感的方式运动是迪士尼的专长，早在上世纪六七十年代，迪士尼就开发出了机械人偶。但随着机器人变得愈加先进和机动，设计出能够与其兼容的情感行为变得具有挑战性。为此，迪士尼搬出了王牌，请用了擅长使角色通过运动传达情感的动画师来为机器人设计动作。但交由动画师设计动作，就不得不面临一个难题——动画工具通常没有内置物理特性，动画师的设想有时在现实中难以做到。这就使得团队需要耗费大量时间试验。为了弥合这一差距，团队用到了强化学习系统。背后是强化学习的加持研究团队开发了一个基于强化学习的流程，通过模拟将动画师的视觉设想和机器人动作相结合。这个过程本质上是为动画师提供了物理约束条件，确保动画师设计的高表现力动作可以在现实中实行，或者尽可能接近机器人所能做到的程度。迪士尼研究所的研究科学家MorganPope表示：这就不仅仅是走路了，走路只是强化学习系统的输入之一，另一个重要的输入是如何行走。好在这种情况下，强化学习的一大优势是生成的运动鲁棒性很好。并且根据研究人员的说法，用该流程在一台PC上只需几个小时就能训练机器人做新动作，大大缩短了开发新机器人角色所需的时间。同时在一遍遍的训练中，还可以对电机性能、质量分布和机器人与地面之间的摩擦力等进行细微的调整。团队负责人Bächer认为，“这使得迪士尼开发新机器人角色所需的时间从几年缩短到几个月”。并且研究人员还强调重要的不是机器人，而是这个过程：所以如果我们想要增加更多的腿、手臂，或者制作一个全新角色，我们可以迅速教它新的动作。现成的执行器、3D打印组件、可适应性强的强化学习框架，这些都可以应用于外观和动作都大不相同的机器人。而这个机器人，只是该旅程的一步。参考链接：[1]https://twitter.com/linusekenstam/status/1710277661069574171[2]https://spectrum.ieee.org/disney-robot...PC版：https://www.cnbeta.com.tw/articles/soft/1388863.htm手机版：https://m.cnbeta.com.tw/view/1388863.htm