:迄今为止最大的开源机器人数据集
:迄今为止最大的开源机器人数据集
包含100多万条来自22个不同机器人平台的实机轨迹数据,汇集了全球34个机器人研究实验室的60个现有数据集。
基于该数据集训练了两个模型:1) RT-1,一个高效的基于Transformer的机器人控制架构;2) RT-2,一个大规模的视觉语言模型,通过自然语言Token输出机器人动作。
RT-1-X是在机器人数据混合上训练的RT-1模型。RT-2-X是在机器人数据混合上训练的RT-2模型。
结果显示,RT-1-X在分布内技能上的表现优于只在单个数据集上训练的原始方法;RT-2-X在新技能上的表现较RT-2提升了3倍,展现了更好的空间理解能力。
本项目由来自21个机构的研究人员合作完成,为探索通用的机器人策略奠定了基础,以实现机器人经验的有效迁移。