视频对比AI技术结合前后1X夏娃机器人自主系统产生的变化

视频对比AI技术结合前后1X夏娃机器人自主系统产生的变化 1X 的夏娃机器人没有腿,它们在有轮子的平台上滚来滚去。它们也没有像 Sanctuary AI、Figure 和特斯拉等公司制造的那种超凡脱俗的手,而是用看起来笨拙的爪子抓人。而且它们的外观也令人大跌眼镜老实说,它们的笑脸看起来很傻,而且正如我们之前指出的那样,它们身上的小轨迹排列让它们看起来像是在参加雪橇比赛时迟到了。不过,他们的学习速度确实令人眼花缭乱。首先,请快速浏览一下 2024 年 2 月 9 日发布的这段视频。现在,请看 1X 在不到六周后发布的三月更新视频。在短短的时间内,这些机器人所处理的任务的复杂程度有了巨大的飞跃它们完全自主,全部采用相同的行为人工智能模型工作。让我们回顾一下这段视频所展示的内容:多步骤任务处理,如从购物袋中挑选物品,决定放在哪里,以及在放好物品后打开和关闭橱柜门使用柔软的工具,这里指的是用布擦拭溢出物不用拇指就能灵巧地完成一项棘手的物理任务,因为它能将纸箱的四个标签折叠在一起完全自主的衬衫折叠, 要求机器人巧妙地处理可变形的表面这感觉就像人形机器人的 GPT-3 时刻它们突然出现在每个人的视线中。亚马逊公司的 Agility Digit、宝马公司的 Figure's 01 和梅赛德斯-奔驰公司的 Apptronik'sApollo 都是如此。这些视频,以及上面的视频,Figure 的"01"在工作时开始说话和推理,还有下面的视频,显示Sanctuary 的"Phoenix"开始展现惊人的速度和流畅的动作这些都让我感受到了那种令人胃痛的加速感,在过去一两年里,任何试图跟上人工智能和机器人技术发展的人都会有这种感觉。有很多反对者认为,仿人机器人技术的发展意义不大,但整个行业正在迈出第一步。这些人工智能模型刚刚开始学习如何利用实体与世界互动,它们正在拼凑有用工作的基础构件。它们没有被编程,而是在人类助手的指导和帮助下,或多或少地自己解决这些问题。而且,所有这些下一代人形机器人都非常年轻,大多数只运行了一两年。再看看这些视频,问问自己,人类婴儿能多快学会它们。请记住,这些都是旧机型,所使用的芯片和硬件很可能在过去 36 小时内就已被取代,这一领域的加速度已经令人咋舌。 ... PC版: 手机版:

相关推荐

封面图片

只用13天 OpenAI做出了能听、能说、能自主决策的机器人大模型

只用13天 OpenAI做出了能听、能说、能自主决策的机器人大模型 Figure,OpenAI 投资的机器人公司,上传了这段视频。在视频中,Figure 的人形机器人,可以完全与人类流畅对话,理解人类的意图,同时还能理解人的自然语言指令进行抓取和放置,并解释自己为什么这么做。而其背后,就是 OpenAI 为其配置的智能大脑。在过去一年的具身智能进展中,或许你曾经看过类似的机器人自主决策、拿取物品的展示,但在这段视频中,Figure 人形机器人的对话流畅度、展现出的智能感,接近人类操作速度的动作流畅性,绝对都是第一流的。Figure 还特意强调,整段视频没有任何加速,也没有任何剪辑,是一镜到底拍摄的。同时,机器人是在完全自主的情况下进行的行为,没有任何远程操纵似乎在暗暗讽刺前段时间爆火的展现了酷炫机械能力,但是没有太多智能程度的斯坦福炒菜机器人。比起机器人的智能表现,更可怖的是,这只是 OpenAI 小试牛刀的结果从 OpenAI 宣布与 Figure 共同合作推进人形机器人领域的前沿,到这个视频的发布,只有短短的十三天。此次 Figure 人形机器人背后的智能,来自端到端的大语言-视觉模型,这是具身智能领域目前非常前沿的领域。去年极客公园报道过Google在类似领域的进展。Google做出的端到端机器人控制模型,被一些行业内的人士,誉为机器人大模型的 GPT-3 时刻。而当时,Google的机器人模型,还只能根据对话来做一些抓取,并不能与人类对话,也不能向人类解释自己为什么会这么做。而Google自身,从 Everyday Robotics 开始,已经有了五年以上的机器人研究经验。而 Figure 本身,成立于 2022 年。从OpenAI 宣布介入与之合作,到今天它们共同推出一个能够自主对话和决策的机器人,只有 13 天。机器人智能的发展,显然正在加速。01. 端到端大模型驱动,机器人的速度已经接近人类速度Figure 的创始人 Brett Adcock 和 AI 团队的负责人 Corey Lynch 在 X 上解释了此次视频中机器人互动背后的原理。此次的突破,由 OpenAI 与 Figure 共同做出。OpenAI 提供负责提供视觉推理和语言理解,而 Figure 的神经网络提供快速、低水平、灵巧的机器人动作。机器人所做出的所有行为都是出于已经学习过,内化了的能力,而不是来自远程操作。研究人员将机器人摄像头中的图像输入,和机载麦克风捕获的语音中的文本转录到由 OpenAI 训练的,可以理解图像和文本的多模态模型(VLM)中,由该模型处理对话的整个历史记录,得出语言响应,然后通过文本到语音的方式将其回复给人类。同样的模型,也负责决定在机器人上运行哪些学习的闭环行为来完成给定的命令,将特定的神经网络权重加载到 GPU 上并执行策略。这也是为什么这个机器人,属于“端到端”的机器人控制。从语言输入开始,模型接管了一切处理,直接输出语言和行为结果,而不是中间输出一些结果,再加载其他程序处理这些结果。Figure 的机载摄像头以 10hz 的频率拍摄图像,然后神经网络以 200hz 输出 24 个自由度动作。Figure 的创始人提到,这代表机器人的速度已经有显著提高,开始接近人类的速度。Corey Lynch 的 XOpenAI 的模型的多模态能力,是机器人可以与世界交互的关键,我们能够从视频中展示中看到许多类似的瞬间,比如:描述一下它的周围环境。做出决定时使用常识推理。例如,“桌子上的盘子和杯子等餐具接下来很可能会进入晾衣架”。将“我饿了”等模棱两可的高级请求转化为一些适合上下文的行为,例如“递给对方一个苹果”。用简单的英语描述*为什么*它会执行特定的操作。例如,“这是我可以从桌子上为您提供的唯一可食用的物品”。而模型能力的强大,使其还能够拥有短期记忆,比如视频中展示的“你能把它们放在那里吗?”“它们”指的是什么?“那里”又在哪里?正确回答需要反思记忆的能力。而具体的双手动作,可以分成两步来理解:首先,互联网预训练模型对图像和文本进行常识推理,以得出高级计划。如视频中展示的:Figure 的人形机器人快速形成了两个计划:1)将杯子放在碗碟架上,2)将盘子放在碗碟架上。其次,大模型以 200hz 的频率生成的 24-DOF 动作(手腕姿势和手指关节角度),充当高速“设定点(setpoint)”,供更高速率的全身控制器跟踪。全身控制器确保安全、稳定的动力,如保持平衡。所有行为均由神经网络视觉运动 Transformer 策略驱动,将像素直接映射到动作。02.从 ChatGPT 到 Sora,再到机器人,OpenAI 想包揽“智能”这件事2021 年夏天,OpenAI 悄悄关闭了其机器人团队,当时,OpenAI 曾宣布无限期终止对机器人领域的探索,原因是缺乏训练机器人使用人工智能移动和推理所需的数据,导致研发受到阻碍。但显然,OpenAI 并没有放下对这个领域的关注。2023 年 3 月,正在一年前,极客公园报道了 OpenAI 投资了来自挪威的机器人制造商 1X Technologies。其副总裁正是我在文初提到的,认为具身智能将会突然到来的 Eric Jang。而无独有偶,1X Technologies 的技术方向,也是端到端的神经网络对于机器人的控制。而今年 3 月初,OpenAI 和其他投资人一起,参与了 Figure 的 B 轮融资,使其成立两年,就达到了 26 亿美金估值。也正是在这一轮融资之后,OpenAI 宣布了与 Figure 的合作。Figure 的创始人 Brett Adcock,是个“擅长组局”的连续创业者,整个职业生涯中创立过至少 7 家公司,其中一家以 27 亿美元的估值上市,一家被 1.1 亿美元的价格收购。创建公司后,他招募到了研究科学家 Jerry Pratt 担任首席技术官,前波士顿动力/苹果工程师 Michael Rose 担任机器人控制主管。此次进行分享的 AI 团队负责人 Corey Lynch,则原本是 Google Deepmind 的 AI 研究员。Figure 宣布自己在电机、固件、热量、电子产品、中间件操作系统、电池系统、执行器传感器、机械与结构方面,都招募了硬核的设计人才。公司的确进展很快。在与 OpenAI 合作之前,已经做出了不少成绩。2024 年 1 月,Figure 01(Figure 的第一款人形机器人) 学会了做咖啡,公司称,这背后引入了端到端神经网络,机器人学会自己纠正错误,训练时长为 10 小时。Figure 01 引入 AI 学会做咖啡2 月,公司对外展示 Figure 01 的最新进展,在视频里,这个机器人已经学会搬箱子,并运送到传送带上,但速度只有人类的 16.7%。甚至在商业化上,也已经迈出了第一步:Figure 宣布与宝马制造公司签署商业协议,将 AI 和机器人技术整合到汽车生产中,部署在宝马位于南卡罗来纳州斯巴达堡的制造工厂。而在今天的视频展示推文中,Figure 宣布其目标是训练一个世界模型,最终能够卖出十亿个级别的模型驱动的人形机器人。不过,尽管OpenAI与 Figure的合作进展顺畅,但看起来 OpenAI 并未把宝压在一家机器人公司。北京时间 3 月 13 日,来自Google研究团队、加州大学伯克利分校、斯坦福大学教授等一群研究者新成立的一家机器人 AI 公司 Physical Intelligence,被彭博社爆料也拿到了 OpenAI 的融资。毫无意外,该公司,也是研究未来能够成为通用机器人系统的人工智能。多头下注机器人领域,13 天合作做出领先的机器人大模型,OpenAI 在机器人领域意图为何,引人关注。智能人形机器人,未来不止看马斯克的了。 ... PC版: 手机版:

封面图片

机器人技术迎来ChatGPT时刻?初创公司Figure发布了一段视频:Figure-01通过观察人类制作咖啡,10小

机器人技术迎来ChatGPT时刻?机器人初创公司Figure发布了一段视频:Figure-01机器人通过观察人类制作咖啡,10小时内学会了制作咖啡的技能。机器人通过神经网络来处理和分析视频数据。通过观看如何制作咖啡的录像。学习人类的动作和手势,然后模仿这些动作来学习制作咖啡的过程,无需通过编程,机器人自主学习技能。 #抽屉IT

封面图片

ℹ自主学习人型机器人 Figure-01 与 OpenAI 合作 现在能够描述周围环境并回顾自己的行为#

ℹ自主学习人型机器人 Figure-01 与 OpenAI 合作 现在能够描述周围环境并回顾自己的行为# 对自主学习人型机器人 Figure-01 与 OpenAI 合作的更新有兴趣的朋友可以观看下方影片了解更多:...

封面图片

特斯拉的机器人”擎天柱”被OpenAI支持的1x击败!

特斯拉的机器人”擎天柱”被OpenAI支持的1x击败! 5月22日,Firstpost消息,由OpenAI支持的实体机器人公司1x出品的EVE,在一场人形机器人比赛中,击败了马斯克特斯拉的Optimus机器人。 据悉,EVE实体机器人的部分软件功能由OpenAI的ChatGPT提供支持,也就是说可以将ChatGPT实体化,应用在现实世界的业务场景中。 1X首席执行官兼创始人Bernt Bornich表示, EVE的人形机器人实现了多项技术突破,将其应用在实际业务中。目前,已经为两个工业场所部署了EVE 的“人形机器人保安”。与其他机械臂不同的是,这些机器人有头、有四肢、甚至有“情感”可以通过头部的LED面板直接对话。 标签: #特斯拉 #擎天柱 #1x 频道: @GodlyNews1 投稿: @GodlyNewsBot

封面图片

ℹ第一个能自主学习人型机器人 Figure-01 ,预计可用于体力劳动、居家服务和照顾、外太空探索#

ℹ第一个能自主学习人型机器人 Figure-01 ,预计可用于体力劳动、居家服务和照顾、外太空探索# 对世界上第一个可商用地自主类人型机器人「Figure-01」感兴趣的朋友可以点击 ! 这里 ! 了解更多或者观看下方影片来看 Figure...

封面图片

仿人机器人初创公司Figure AI估值26亿美元 OpenAI和NVIDIA加入投资行列

仿人机器人初创公司Figure AI估值26亿美元 OpenAI和NVIDIA加入投资行列 Figure AI 公司成立于 2022 年,开发了一种名为 Figure 01 的通用机器人,其外观和动作都与人类无异。该公司认为其机器人可用于"劳动力短缺最严重"的制造业、航运与物流业、仓储业和零售业,但其机器并不打算用于军事或国防应用。本周早些时候,该公司发布了一段视频,展示了Figure 01 的动作。这个机器人系着缆绳,用两条腿走路,用它的五指手拿起一个塑料箱,然后又走了几步,才把箱子放到传送带上。Figure 的最终目标是让 Figure 01 能够"自主执行日常任务"。该公司表示,要实现这一目标,需要开发更强大的人工智能系统。与此同时,Figure 也是众多争相将仿人机器人变为现实的公司中的一员。亚马逊支持的Agility Robotics公司计划开设一家工厂,每年可生产多达1万个双足机器人Digit。特斯拉(Tesla)也在尝试制造一种名为"擎天柱"(Optimus)的仿人机器人,而机器人公司波士顿动力(Boston Dynamics)已经开发了几种模型。挪威仿人机器人初创公司1X Technologies最近在OpenAI的支持下融资1亿美元。市场刚刚起步。高盛集团(Goldman Sachs)的分析师预计,到 2035 年,仿人机器人市场的规模将达到 380 亿美元,并预计到 2030 年,该市场的出货量将超过 25 万台。STIQ有限公司联合创始人兼首席分析师汤姆-安德森(Tom Andersson)说:"现在我们正处于一个早期阶段,人们对人形机器人充满兴趣,我认为这种情况还会持续一段时间。"安德森说,在广泛推广之前,还需要"几个步骤的改变"。作为周四宣布的交易的一部分,Figure 表示将与 ChatGPT 制造商 OpenAI 合作,"为仿人机器人开发下一代人工智能模型"。Figure表示,它还将使用微软的Azure云服务来提供人工智能基础设施、训练和存储。仿人机器人需要昂贵的部件,如执行器、电机和传感器才能工作。戈德曼公司的研究人员表示,这些成本有望在未来几年内降低,并指出它们已经从去年的每台 5 万至 25 万美元降至每台 3 万至 15 万美元之间。英特尔风险基金与凯茜-伍德的方舟投资公司、Align Ventures 和现有投资者 Parkway Venture Capital 也参与了本轮投资。 ... PC版: 手机版:

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人