用于机器人学习和具身AI领域研究的模块化框架

用于机器人学习和具身AI领域研究的模块化框架 RoboHive 生态系统包含一系列预先存在的和新颖的环境,包括 Shadow Hand 的灵巧操纵、Franka 和 Fetch 机器人的全臂操纵任务以及各种四足运动任务。 与之前的作品相比,RoboHive 提供了精简且统一的任务界面,利用最新的模拟绑定,具有丰富的视觉多样性任务,并支持现实世界开发的通用硬件驱动程序。 RoboHive 的统一界面为研究人员提供了一个方便且易于访问的平台来研究多种学习范式,例如模仿、强化、多任务和分层学习。 RoboHive 还包括大多数环境的专家演示和基线结果,为基准测试和比较提供了标准。 特征: 最广泛、多样化的任务集合 完全可定制的视觉丰富的任务,专为行为泛化而设计。 奖励不可知的任务成功指标 支持多种算法系列+预训练基线 Sim 和硬件无关的机器人类,可在 sim <> real 之间轻松转换 远程操作支持。人类+专家数据集 | #框架

相关推荐

封面图片

华为云发布盘古具身智能大模型:“夸父”人形机器人亮相

华为云发布盘古具身智能大模型:“夸父”人形机器人亮相 据介绍,盘古大模型能够让机器人完成10步以上的复杂任务规划,并且在任务执行中实现多场景泛化和多任务处理。同时盘古大模型还能生成机器人需要的训练视频,让机器人更快地学习各种复杂场景。大模型的多模态能力以及思维能力的快速提升,使机器人能够模拟人类常识进行逻辑推理,并在现实环境中高效精准地执行任务,从而有效解决了复杂环境感知与物理空间认知的难题。通过集成多场景泛化和多任务处理能力,不论是生活场景还是工业场景,都能游刃有余的应对。大会现场展示中,“夸父”可以通过识别物品、问答互动、击掌、递水等互动演示,直观展示了双方基于盘古大模型的合作成果。通过模仿学习策略显著提升了人形机器人的双臂操作能力,实现了软硬件层面的协同优化,不仅增强了机器人综合性能,还克服了小样本数据训练的局限性,推动了泛化操作能力的边界。张平安在大会上表示,除了人形机器人,盘古具身智能大模型还可以赋能多种形态的工业机器人和服务机器人,让它们帮助人类去从事危险和繁重的工作。具身智能大模型可以让机器人作用更加广泛,未来真正实现让AI机器人帮助我们去洗衣、做饭、扫地,让我们有更多的时间去看书,写诗,作画。 ... PC版: 手机版:

封面图片

我觉得现在要去投资一家具身智能机器人公司,对于有自知之明的投资人来说,实际上是一家去做学术理论研究的公司,但实现在的中国的资本市

我觉得现在要去投资一家具身智能机器人公司,对于有自知之明的投资人来说,实际上是一家去做学术理论研究的公司,但实现在的中国的资本市场环境下面有哪家创业公司能够这么去融资、又有哪些投资人是能够接受这样的故事?五到10年都不会有任何meaningful变现和收入的,更不要提上市和退出了。显然现在也没有任何机器人创业公司是这么跟投资沟通的。 像网红小哥哥说人形机器人的硬件成本能够降到多低,那都毫无意义的,因为他硬件成本降到多低了,他也没法实现居家环境中,实际需要这些机器人完成的任务。

封面图片

#人型 #机器人 #投资 #具身智能

#人型 #机器人 #投资 #具身智能 现在大家都在看人型机器人和具身智能,但都没搞明白投资具身机器人到底是投资什么。 现在我们看到大部分的投资,讲的故事都是说五年内会有居家性的机器人卖到消费者手上,但如果我们看现在实际的案例和学术理论这种假设是基本上没法成立的。 现在机器人技术上能解决的比较好的,就是1)如何在不同的环境能够维持平衡并且行动,这个包括轮式,双足、四足;2)还有就是不同自由度的机器臂进行预定好的,提前设置的,提前规划的移动。这种技术已经非常成熟了,所以在工业场景进行简单的搬运、组装、上下料,这个完全没有任何问题。 但是如果要进行在居家环境里面进行稍微比分拣不同东西更复杂的操作的话,现在还没有任何模型能够胜任。甚至现在去进行这些复杂动作的数积集和模型框架都不成熟。 现在generative人工智能之所以这么火,是因为在学术界有两个很大的突破,一个是attention is all you need (transformer), 另一个是latent diffusion。那大家可以想一想,在机器人和现实世界的互动中,就现在的理论知识去解决这个问题够吗? 这个突破还没出现。 那投资人实际应该去投资的是什么呢?答案是5年前类似openai的公司,openai在过去五年期间我一直关注,大家可能忘了,他们做了很多理论的突破,都没有寻求变现,而是去验证模型本身的可行性。我第一次关注到他们是在游戏里面,他们用强化学习模型打赢了星际争霸的韩国冠军。这个没有进行任何变现的技术突破,在后来的GPT 3.5模型的收敛和人工矫正aligment效果上面是有趣大贡献的,就是大家现在所谓的RLHF。第二次关注到他们是基因序列模型,Alpha fold,这个在医疗领域,当时是轰轰烈烈的大突破,但他们也没有将它进行直接变现。第三次关注到他们是GPT3语言大模型的发布,但这个模型出来后,他们也没有进行变现。我想说的是,学术领域的突破到实际应用的落地是需要接受很长一段时间的没有任何变现的(没有任何收入的)积累。

封面图片

少子化的韩国“机器人经济”在扩张

少子化的韩国“机器人经济”在扩张 在韩国,“机器人经济”正在扩张。机器人过去主要用于制造业现场的自动化,但大型企业韩华集团等正在将其应用于烹饪和医疗领域。意在针对韩国的劳动力严重短缺而开拓新需求。机器人的主战场转移到了服务业领域。韩国一直是使用机器人的发达国家。国际机器人联盟 (IFR) 统计显示,从 “机器人密度” (每1万名制造业从业人员的机器人拥有量) 来看,韩国在2022年达到1012台,位居世界第一,远超排名第2的新加坡 (730台),是德国、日本、中国和美国的2~3倍以上的水平。IFR分析称“韩国的电子产业很强,汽车产业中对于机器人的引进居世界首位”。据韩国科学技术情报研究院透露,到2026年,应用于服务业的机器人在韩国国内销售额将达到10亿美元,有望增至2023年的2倍。

封面图片

三星停止自动驾驶研究 人员转到机器人领域

三星停止自动驾驶研究 人员转到机器人领域 继苹果公司和其他全球汽车制造商之后,三星电子也已停止自动驾驶汽车研究,为“自动驾驶时代”踩下了刹车。据业内人士5月9日透露,负责三星中长期发展的三星先进技术研究院 (SAIT),已经将自动驾驶排除在研究项目之外,将开发人员转移到机器人领域,作为三星中长期发展的一部分。 业内人士称:“三星电子跟随苹果公司放弃自动驾驶汽车研究,似乎是由于技术实现难度大,且与投入相比缺乏显著的回报。”

封面图片

Deepmind 推出了一个可以自我改进的AI机器人代理:

Deepmind 推出了一个可以自我改进的AI机器人代理: 它能自我学习并在不同的机械臂上执行各种任务,而且还能自我生成新的训练数据以改进其技术。 RoboCat的学习速度非常快。只需要观察100次左右的演示,就可以学会操控机械臂来完成各式各样的任务,并且它还能通过自生成的数据来进行迭代改进。 RoboCat的一些主要特点: 1、多任务和自适应能力:RoboCat是第一个能够解决和适应多个任务,并在不同的真实机器人上执行这些任务的代理。 2、快速学习:RoboCat的学习速度比其他最先进的模型快得多。它可以通过观察少至100个示例来学习新任务,因为它从大型多样化的数据集中获取信息。这将有助于加速机器人研究,因为它减少了对人工监督训练的需求,这是创建通用机器人的重要步骤。 3、自我改进:RoboCat基于Deepmind的多模型模型Gato,它可以在模拟和物理环境中处理语言、图像和动作。将Gato的架构与大型训练数据集结合起来,该数据集包含了各种机器人臂解决数百种不同任务的图像和动作序列。 4、操作新的机器人臂和解决更复杂的任务:通过RoboCat的多样化训练,它在几个小时内学会了操作不同的机器人臂。虽然它已经在两爪夹具的臂上进行了训练,但它能够适应更复杂的臂,这种臂有三个手指的夹具和两倍的可控输入。 5、自我改进的通才:RoboCat有一个训练的良性循环:它学习的新任务越多,它在学习其他新任务上就越好。最初版本的RoboCat在以前未见过的任务上的成功率只有36%,这是在每个任务上从500个示例中学习后的结果。但是最新的RoboCat,在对更多任务进行了训练后,将这个成功率提高了一倍多。

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人