:迄今为止最大的开源机器人数据集

:迄今为止最大的开源机器人数据集 包含100多万条来自22个不同机器人平台的实机轨迹数据,汇集了全球34个机器人研究实验室的60个现有数据集。 基于该数据集训练了两个模型:1) RT-1,一个高效的基于Transformer的机器人控制架构;2) RT-2,一个大规模的视觉语言模型,通过自然语言Token输出机器人动作。 RT-1-X是在机器人数据混合上训练的RT-1模型。RT-2-X是在机器人数据混合上训练的RT-2模型。 结果显示,RT-1-X在分布内技能上的表现优于只在单个数据集上训练的原始方法;RT-2-X在新技能上的表现较RT-2提升了3倍,展现了更好的空间理解能力。 本项目由来自21个机构的研究人员合作完成,为探索通用的机器人策略奠定了基础,以实现机器人经验的有效迁移。

相关推荐

封面图片

机器人频道订阅人数抓取

机器人频道订阅人数抓取 机器人功能:订阅人数监听 机器人简介:一款可以自动监听频道订阅人数变化的TG机器人,可设定增加人数提醒,当人数增加到时会有提醒。 机器人ID:@SubscribersMonitorBot

封面图片

【谷歌起草“机器人宪法”,以确保AI不会伤害人类】

【谷歌起草“机器人宪法”,以确保AI机器人不会伤害人类】 据1 月 5 日报道,谷歌旗下 DeepMind 公司近日公布了三项新进展,其中之一针对收集训练数据的系统,起草了“机器人宪法”,确保 AI 机器人不会伤害人类。谷歌的数据收集系统 AutoRT 可以同时利用视觉语言模型(VLM)和大型语言模型(LLM),以理解其环境,适应陌生环境,并决定适当的任务。本次起草的“机器人宪法”受艾萨克・阿西莫夫的“机器人三大定律”启发,围绕着安全出发,指示 LLM 避免选择涉及人类、动物、尖锐物体甚至电器的任务。DeepMind 表示为了提高安全性,编程限制了机器人的关节,力超过一定阈值时自动停止,此外还配有专门的物理紧急停止开关。谷歌表示在过去 7 个月的时间里,部署了一支由 53 台 AutoRT 机器人组成的机群,分别部署在四个不同的办公楼,并进行了超过 77000 次试验。一些机器人由人类操作员远程控制,而另一些则根据脚本或完全自主地使用谷歌的机器人变形器(RT-2)人工智能学习模型运行。 快讯/广告 联系 @xingkong888885

封面图片

叠衣服、擦案板、冲果汁……能做家务的国产机器人终于要来了

叠衣服、擦案板、冲果汁……能做家务的国产机器人终于要来了 折叠衣物(3 倍速播放):对柔性物体的操作长久以来都是困扰整个 manipulation 领域的难题,需要高度灵活的操作和精细的动作协调。切火腿(2 倍速播放):复杂的摩擦和阻力,难以用传统方法快速建模,需要精确的力度控制与物体定位。切黄瓜,2 倍速播放:在一种物体上习得的能力直接泛化到不同物体的操作上。用海绵擦掉案板上的污渍(2 倍速播放):自修正的 close loop 控制能力,在不同压力和表面条件下的精细力度控制,实时检测并调整擦拭动作,确保彻底清洁污渍。用勺子从罐子里取出适量的果汁粉(3 倍速播放):使用工具的过程中,处理复杂的摩擦一直以来都是极大难点。冲果汁,举起水壶往杯中倒入适量的水(3 倍速播放) :流体引入大量的随机性,准确操作非常困难。这家去年底成立的公司,汇聚了来自世界著名人工智能 / 机器人学实验室以及国内外顶尖高校的优秀人才,拥有雄厚的科研背景。公司的目标是“将人类从无意义的体力劳动中解放出来”,专注于机器人领域的基础模型(foundation model)研发。目前,团队正在构建一个具备从感知到行动的端到端能力的通用机器人大模型(“中枢神经”),目标是能够控制低成本硬件(如数千元的机械臂),完成包括烹饪、打扫卫生在内的日常家务,并在未来扩展到照顾老人和小孩等更复杂的家庭护理工作,以及完成其他达到人类水平的通用操作任务。基于具身智能大模型,开发通用机器人平台尽管机器人管家是人类对智能未来最具代表性的畅想,但在现实生活中,能够胜任家务劳动的通用服务机器人几十年来的发展一直困难重重。家庭环境的多样性和不可预测性要求机器人具备高度复杂的感知能力、灵活精确的机械操作、智能的决策和规划,以及有效的人机交互能力。此外,技术的集成、机器人的安全性、续航能力、成本等,也是必须克服的重要障碍。传统的机器人通常采用基于规则和单一任务环境的方式,很难根据环境变化自主调整策略,从长远看也几乎不可能规模化。大语言模型(LLM)等人工智能技术的突破,为机器人领域带来了新的曙光。Google的 RT-2 系统将视觉-语言-动作模型与机器人技术相结合,使机器人能够处理复杂场景,并响应人类的指令。DeepMind 的 AutoRT 系统则使用视觉-语言模型(VLM),帮助机器人适应未知环境,并利用 LLM 来为机器人提供指令。大模型在知识迁移和泛化方面的这些优势,有望帮助机器人逼近甚至超越人类的水平。X Square 认为,目前机器人领域正处于技术的代际更迭之际。 斯坦福 ALOHA 等项目表明,通用机器人发展的瓶颈在于智能而非硬件。事实上,机器人领域长期以来面临的两大困难,一是如何在复杂环境中精确感知并做出精细的操作(low level 智能),二是缺乏类似人类的推理、规划、交互等高级认知能力(high level 智能)。从感知到行动,机器人的智能可以被视为一个从 high level 逐步到 low level 的决策过程。大模型的出现为解决上述难题带来了新思路。运用 LLM 或 VLM 来进行高阶推理与规划、与人交互,已经成为业界公认的发展方向。但是,直接用单一的大模型来驱动端到端的机器人 manipulation,目前尝试的团队还不多。X Square 的独特之处便在于此,团队基于过往在模型、算法、系统、硬件等方面的科研成果积累,集合所有技能训练“机器人 Large Manipulation Model”,从手部操作切入,基于具身大模型来构建可以精细操作的通用机器人。团队希望结合 high-level 的推理规划模型与 low-level 的操作控制模型,打造一个类似“机器人大脑-小脑”的通用操作系统。“我们公司名为 X Square,寓意要同时在 high level 推理和 low level 控制这两个维度做大模型,并把两者有机结合。目前我们在两个方向都已有不错的基础,有信心在一年内从追赶到超越目前的世界领先水平。”X Square 指出:“与腿的移动能力相比,手的操作能力包含了更丰富和复杂的动作,要求更高级别的控制精度。人类手部的精细操作是我们智能的根本表现。”不同于很多人形机器人公司关注对人体形态的模仿,X Square 更关注实现接近人类的功能。“采用轮式移动底盘搭配双臂,可以大幅降低成本,2-3 年内整体硬件成本有望降至 1 万美元以下,我们认为放弃 5% 的人形功能来换取数量级的成本优势是值得的。”软硬件一体,驱动数据飞轮“我们希望模型拥有怎样的能力,就需要提供给模型什么样的数据。是数据,而非算法或结构决定了模型的能力,这是当今时代的核心方法论。”机器人的特殊性在于,它是一个具有前所未有复合性的综合系统。相比纯软件的 LLM 和多模态大模型,具身智能大模型虽然在规模上暂时无法与之相比,但在工程上难度要高出许多,它必须在海量的真实和模拟场景中不断实践、学习。因此,能否找准技术方向,在降低开发成本和提高迭代效率的同时,打造高质量的数据采集能力,控制试错成本,最终实现规模化,是决定成败的关键因素。这对团队软硬一体的能力提出了很高的要求,因为是否具有足够的软硬结合能力,在机器人这一多模态集中融合的领域直接关系到迭代速度与数据质量。软硬件一体发展,是 X Square 的核心理念。无论是机器人本体的形态设计,还是数据采集系统,都是为机器人“中枢神经系统”的开发在服务。在模型算法设计上,X square 也有自己独特的理解和创新。“除了需要有专门的数据,还需要针对性的结构设计和训练方法,不能单纯套用其他领域的大模型经验,因为它必须直接面对复杂的真实世界,要在真实世界中不断实践、迭代。”同时,由于大模型与传统 deep learning for robotics 具有相当的 gap,是否真正具备足够的大模型训练落地经验,决定了能否快速构建通用具身智能大模型。这也正是 X Square 的优势所在。“目前语言大模型的训练预测架构在机器人上不完全work,以 Transformer 为底座算法模型不能很好地支持因果关系的推理,而因果性在机器人所在的物理世界中大量出现,并在机器人操作中起关键作用。为了处理因果性,目前有很多 world model 的尝试。但当前的世界模型要么完全集中在图像 / 视频重建上(如 Sora),要么完全集中在高层语义理解上,缺乏适合机器人的形态。”X Square 笃定机器人大模型这个方向,一方面是基于团队成员亲历深度学习从被质疑到一统江湖,以及 LLM 从默默无闻到大放异彩的技术浪潮,另一方面,也是看好中国作为全球硬件中心,拥有得天独厚的产业链优势,也有利于快速缩短机器人的研发周期。团队在不到 3 个月的时间里,就完成了技术架构的搭建和早期模型的训练,展现出惊人的成长速度和卓越的工程能力。“在现阶段,我们也积极寻求与上下游合作伙伴的协作,实现智能的迭代升级。未来,随着具身智能大模型技术的日益成熟,我们会更聚焦于特定应用场景,推出自己的机器人产品,例如能完成做饭、打扫等复杂家务的机器人保姆,甚至进行老年人康养护理等服务。”X Square 表示。 ... PC版: 手机版:

封面图片

基于 LLaMA 的 AI 聊天机器人开源实现

基于 LLaMA 的 AI 聊天机器人开源实现 Meta 的大语言模型 LLaMA 最近引起了广泛关注,它的一大优势是参数规模更小但性能强于 OpenAI 的 GPT-3 模型,而且能运行在单张显卡上,让普通消费者的硬件也有可能提供类似 ChatGPT 性能的 AI 聊天机器人。LLaMA 是一组大语言模型的集合,其参数规模从 70 亿到 650 亿,它最新的 LLaMA-13B 模型有 130 亿个参数,不到 GPT-3 模型 1750 亿个参数的十分之一。现在AI 推出了首个基于人类反馈强化学习的 LLaMA AI 聊天机器人开源实现 。 来源 ,前文: 来自:雷锋 频道:@kejiqu 群组:@kejiquchat 投稿:@kejiqubot

封面图片

TidyBot 开源机器人(使用大型语言模型的个性化辅助)

TidyBot 开源机器人(使用大型语言模型的个性化辅助机器人) TidyBot的出现是为了解决家庭清洁的问题,通过训练,它已经学会如何捡起物体并放到合适的位置。在实际场景的测试中,TidyBot可以成功收起85%的物体。 这个项目的目标是将基于语言的规划和感知与大型语言模型(LLMs)的少量总结能力结合起来,让TidyBot推断出广泛适用于未来交互的用户偏好,建立能够通过事先与特定人的互动从少量的例子中学习这种偏好的系统。 本次开源内容包括: •TidyBot的服务器代码(在GPU工作站上运行) •TidyBot的机器人代码(在移动基础电脑上运行) •3D打印部件的文件 •基准数据集的代码 可以看出来几乎是完全开源的状态了,智能机器人会是未来的一大热门,想尝试的人可以通过这个项目入手了。 项目官网: 开源地址: 论文地址:

封面图片

ExpertLLaMA:一个使用ExpertPrompting构建的开源聊天机器人,其能力达到ChatGPT的96%。

ExpertLLaMA:一个使用ExpertPrompting构建的开源聊天机器人,其能力达到ChatGPT的96%。 ExpertLLaMA通过在普通指令中添加专家身份描述,产生高质量、详细的专家级回答。 本项目提供了方法简介、52,000个专家数据集样本、52,000个基线数据集样本、52,000个对应每个具体指令的专家身份描述、基于专家数据集训练的ExpertLLaMA检查点以及与Vicuna、LLaMA-GPT4等现有模型的评估结果。 |

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人