上海交大研发“导盲六足机器人”:自主导航至目的地、动态躲避障碍、识别红绿灯

上海交大研发“导盲六足机器人”:自主导航至目的地、动态躲避障碍、识别红绿灯上海交通大学机械与动力工程学院高峰教授团队研发了一款“导盲六足机器人”,这款机器人具有视觉环境感知功能,可自主导航至目的地、动态躲避障碍、识别红绿灯。导盲六足机器人通过批量化生产可有效降低成本,解决导盲犬数量短缺的问题;通过后台建立互联网服务体系,还可以实现居家陪护、应急处理等功能。导盲机器人上集成了听觉、触觉和力觉三种交互方式,实现盲人与导盲六足机器人之间的人机智能感知与顺应性行为。机器人可根据盲人的语音指令,基于深度学习端到端语音识别模型理解语义信息,目前语音识别准确率在90%以上,响应速度在1秒之内。可通过语音对机器人下发指令,如:启动、停止、设定目的地、加速、减速等,机器人实时反馈行走和环境状况等信息,实现双向交互。盲杖可以实现盲人与导盲机器人之间的力觉交互,向盲人提供牵引力和转向力矩,引导盲人前进和转向,同时盲人可以推拉盲杖来动态调整机器人的行走速度。目前机器人最大速度为3m/s,能够满足盲人出行需求,且六足构型确保机器人可以低噪声稳定行走。频道:@kejiqu群组:@kejiquchat

相关推荐

封面图片

上海交大团队研制“导盲六足机器人”:1秒之内可响应,已在实测

上海交大团队研制“导盲六足机器人”:1秒之内可响应,已在实测这是一款来自上海交通大学机械与动力工程学院高峰教授团队研发的“六条腿”导盲机器人。在刚刚过去的由中国残联主办的“科技助残共享美好生活”展会上,这款机器人吸引了众多人的目光。5月28日,高峰在上海交大对这款机器人进行了一次集中介绍。据高峰介绍,“导盲六足机器人”具有视觉环境感知功能,可自主导航至目的地、动态躲避障碍、识别红绿灯等。该款机器人如通过批量化生产、人工智能辅助可有效降低成本、提升智能,可解决导盲犬数量短缺的问题。不仅如此,通过后台建立完整的互联网服务体系,导盲机器人还可以实现居家陪护、应急处理,带领盲人抵达更多地方等功能。高峰在上海交大对“导盲六足机器人”进行介绍。本文图片为澎湃新闻记者邹佳雯图突破人机交互技术,让导盲机器人成为视障人士的“第二双眼睛”为什么会研究导盲机器人?高峰谈到,据世界卫生组织统计,我国视障人士已经突破1700万人,这意味着每100人中就有至少一位视障者。但是,和庞大的视障人士数量对比,全国现役导盲犬数量仅几百只。不仅如此,导盲犬的培育还需要极高的培训成本,以及极长的训练周期,并且许多场合能否允许工作中的导盲犬进入尚处于讨论当中,仅仅依靠导盲犬远远不能满足我国千万余名视障人士的需求。基于此,团队开始了导盲六足机器人的研发工作。高峰介绍,和盲人建立有效沟通,让导盲机器人在理解使用者意图的同时维持机器人自身动作协调,是导盲机器人的首要任务。团队在导盲机器人上集成了听觉、触觉和力觉三种交互方式,实现盲人与导盲六足机器人之间的人机智能感知与顺应性行为。机器人可根据盲人的语音指令,基于深度学习端到端语音识别模型理解语义信息,快速响应、准确识别,目前语音识别准确率为90%以上,响应速度在1秒之内。高峰团队研制的“导盲六足机器人”此外,机器人可通过语音下发指令,如启动、停止、设定目的地、加速、减速等,同时实时反馈行走和环境状况等信息,实现双向智能交互。盲杖可以实现盲人与导盲机器人之间的力觉交互,向盲人提供牵引力和转向力矩,引导盲人前进和转向。盲人也可以推拉盲杖来动态调整机器人的行走速度。目前机器人最大速度达3m/s,能够满足盲人慢走、快走、跑步等出行需求,且六足的独特构型优势确保机器人可以低噪声稳定行走。人机交互与机器人自律协同控制是机器人融合感知信息、任务需求、人机交互的指令,利用逻辑推理、自律决策,可实现智能导盲作业行为。基于导盲机器人的动力学模型,高峰团队构建了层级递进式外力估计、触地检测、坡度估计、运动状态估计模型算法,融合机器人关节、惯性导航、行为节律、历史状态等多源信息,进行多目标集成的状态观测和反馈优化的平衡控制,由此,能够实现导盲机器人在各类地形场景中自律协同控制效果。已进入实地测试阶段,将加快落地实用导盲机器人在复杂地形行走需要更高的自主规划能力,这类自主规划功能通常包含地面信息的获取和建模、定位导航、落脚点的选择、身体位姿规划以及连续运动的规划等。定位精准是导盲任务的核心要求之一,团队通过多传感器数据紧耦合方式,建立了雷达-惯性里程计系统,通过滑动窗口法耦合历史帧数据,大幅减少点云运动畸变,并设计了多维度的状态残差,显著提高了系统状态估计的精度和鲁棒性,实现了三维环境地图的精准建立与机器人自身的精准定位。而基于全局环境地图和实时感知的局部动态地图,科研团队采用模型预测和实时滚动优化方法实现机器人的路径规划和自主避障,敏捷自主躲避静态和动态障碍物,保障导盲任务的安全性。根据室内导航任务需求,团队制定了室内场景的多层导航策略,构建了层次拓扑地图实现室内全局路径规划;针对室外场景,基于环境地图结合GPS信息进行多传感器融合,大幅提高定位与导航精度。团队还利用深度相机,通过深度学习和数字图像处理技术实现对交通信号的辨别,保障使用者出行安全。针对台阶、楼梯等典型地形环境,团队采用多约束优化算法规划机器人稳定行走步态;通过采集机器人腿部足端力觉信息,使用机器学习方法来实时辨识足-地接触模型,可实现机器人对不同地形的自适应动态敏捷柔顺行走。高峰介绍,目前,团队研发制成的导盲机器人已进入实地测试阶段。在整个研究推进过程中,由视障人士参与线下展示与功能测试,未来团队也将根据视障人士的实时反馈,对机器人持续研发、调试。此外,导盲机器人的实际应用,不单单是机器人本身的应用,还需要后台大数据的支持,需要强大的运维团队的支持以及一系列推广普及的测试。据了解,高峰团队还与索辰科技密切合作,面向导盲机器人需求,开展了商业化推广。上海交通大学负责基础理论研究和关键技术攻关,索辰科技负责产品工程化以及产业化运维和推广,双方共同努力,并借助社会力量,加快导盲六足机器人的落地使用,为改善我国视障人士生活贡献一份力量。...PC版:https://www.cnbeta.com.tw/articles/soft/1432666.htm手机版:https://m.cnbeta.com.tw/view/1432666.htm

封面图片

上海交大团队研制导盲六足机器人:1 秒之内可响应,已在实测

上海交大团队研制导盲六足机器人:1秒之内可响应,已在实测来自上海交通大学机械与动力工程学院高峰教授团队研发的“六条腿”导盲机器人,在刚刚过去的由中国残联主办的“科技助残共享美好生活”展会上,这款机器人吸引了众多人的目光。5月28日,高峰在上海交大对这款机器人进行了一次集中介绍。据高峰介绍,“导盲六足机器人”具有视觉环境感知功能,可自主导航至目的地、动态躲避障碍、识别红绿灯等。该款机器人如通过批量化生产、人工智能辅助可有效降低成本、提升智能,可解决导盲犬数量短缺的问题。不仅如此,通过后台建立完整的互联网服务体系,导盲机器人还可以实现居家陪护、应急处理,带领盲人抵达更多地方等功能。目前,导盲机器人已进入实地测试阶段。在整个研究推进过程中,由视障人士参与线下展示与功能测试,未来团队也将根据视障人士的实时反馈,对机器人持续研发、调试。

封面图片

上海交大研发“导盲六足机器人”:自主导航至目的地、动态躲避障碍交通大学机械与动力工程学院高峰教授团队研发了一款“导盲六足机器

封面图片

AI大模型加持 人形机器人、四足机器狗显身手

AI大模型加持人形机器人、四足机器狗显身手根据语音指令,机器狗可以完成握手、蹲下、转弯、跳舞等动作。现场工作人员表示,小米的四足机器狗将接入“小爱”的大模型版本,来提升智能化交互能力。优必选在现场对“人形机器人多模态交互”进行了演示。工作人员介绍,该系统接入了AI大模型,能够响应客户的对话,并按照指令进行操作。在演示中,该机器人可以听从指令完成对人招手、握手、转身、拉开柜门取物等操作。擎朗智能在大会发布了多功能配送机器人T10、清洁服务机器人产品C30等新品。擎朗智能创始人兼CEO李通提到,2023年第三季度0距离高效配送机器人T9Pro和远距离安全配送机器人T3将开启商业应用;新生代配送机器人T10和超能清洁机器人C30的上市时间,会在2023年第四季度。清洁服务机器人产品C30据了解,近年来擎朗智能在海外迅速扩张。在64个国家参与并完成机器人出海认证,成为美国UL首个服务机器人标委会成员。配送机器人T10WRC期间,宇树正式发布首款通用人形机器人H1,拥有360°全景深度感知。宇树工作人员称,H1预计在今年第四季度左右开始发货,零售价位在几十万人民币以内。此外,宇树的另一款新品消费/教育级四足机器人Go2,能进行AI智能交互,并完成丰富的特技舞蹈动作。傲鲨智能此次携带了MAPS-E上肢、BES-HV腰部、BES-Ultra全身等多款外骨骼集中亮相。记者获悉,电影《流浪地球2》中赋予人类超力量的多款外骨骼机器人,都来自傲鲨智能。在展台现场,除了外骨骼机器人的静态展示,记者也看到了《流浪地球2》战损版外骨骼机器人。《流浪地球2》战损版外骨骼机器人傲鲨智能的市场负责人张华先生介绍,目前的产品已经覆盖了上肢、腰部、下肢等多个区域,并已在汽车制造、航空地服、电力、高校、矿山等领域进行了应用。其客户包括一汽大众、广汽丰田、上海电气、神东煤炭、国家电网、南方电网、北京大兴国际机场、宁德时代等。在追觅展台,通用人形机器人现场制作咖啡并成功“拉花”,引起了一阵惊叹。追觅科技人形机器人负责人喻超表示:“基于深度学习训练的视觉模型,追觅通用人形机器人能够在不同环境下都能准确识别不同材质尺寸的杯具及工具从而完成拉花。这是通用人形机器人走出实验室,探索实际应用的重要一步。”追觅科技人形机器人拉花表演目前,追觅通用人形机器人已经可以脱离实验室环境,在室内室外场景中展示招手互动、行走等动作行为;在经历了重力拍打、拳击之后,仍能稳定行走。追觅通用人形机器人实现了高度仿生,身高178cm,体重56kg,全身有44个自由度,单腿还有完整的6自由度,可以完成单腿站立。除了给咖啡拉花,记者在现场看到了达闼机器人完成拿起篮球、走到篮筐对应位置,完成投篮的一系列动作。云迹科技的机器人在酒店行业得到较广泛的应用。公司相关负责人向《科创板日报》记者介绍,用户可以线上商城下单,由机器人自动接单,并自主取货和派送常用客需品。帕西尼感知科技展示了基于多维度触觉传感技术的人形机器人。公司CTO张恒第表示,多维度触觉传感技术可以让机器人感知各种形状和材质的物体,为机器人自主学习提供基础,使其可以在更复杂和柔性的场景里实现抓取和操纵。当前,国内外科技巨头纷纷探索机器人与大模型的结合。GoogleDeepMind近日发布机器人大模型RT-2,提高泛化与涌现能力。NVIDIA创始人黄仁勋在ITF2023年半导体大会上分析了多模态人工智能技术NVIDIAVIMA,VIMA能根据视觉、文本提示执行任务。微软则探索将ChatGPT扩展到机器人领域,从而运用语言直观控制机械臂、无人机等。安信证券机械行业首席分析师郭倩倩认为,AI大模型的接入对于机器人它的催化体现在四个方面,分别是语言能力、视觉能力、运动控制能力,还有虚拟仿真能力。“AI使得人形机器人离我们不再遥远,机器人越来越智能,实现更多的人机互动,所以这两年虽然还处于0-1的阶段,还没有完全量产,但是未来的发展趋势是比较确定的。”...PC版:https://www.cnbeta.com.tw/articles/soft/1377613.htm手机版:https://m.cnbeta.com.tw/view/1377613.htm

封面图片

亚洲首富倾力打造的大模型BharatGPT下月发布

亚洲首富倾力打造的大模型BharatGPT下月发布该模型以印度教神话中的神猴哈奴曼(Hanooman)命名。BharatGPT设想该模型在当前阶段,可通过11种当地语言在四个主要领域发挥作用:医疗保健、治理、金融服务和教育。信实工业与孟买等地的八所印度理工学院合作开发了这一模型,并得到了信实旗下印度电信巨头RelianceJio和印度政府的支持。印度理工学院孟买分校计算机科学与工程系主任GaneshRamakrishnan介绍称,“这是一种完全不同类型的LLM。”他在接受采访时称,Hanooman将提供语音转文字功能,使其更加方便用户使用。印度有着非常复杂的语言系统,据统计,该国一共有1652种语言和方言,其中使用人数超过百万就有33种。印度宪法规定了18种语言作为联邦官方语言,另外还使用英语作为行政、司法用语。同时,印度约有3亿文盲,是世界上成年人文盲人口最多的国家。这使得传统的AI模型,对于不少印度民众而言未必能够很好地适用。而BharatGPT显然致力于解决这一困扰。BharatGPT表示,其模型目前可以支持11种印度语言,包括印地语、泰米尔语、泰卢固语、马拉雅拉姆语和马拉地语,研发者还希望可以扩展至22种印度语言。在周二向与会代表播放的一段视频中,印度南部的一名摩托车修理工用母语泰米尔语向人工智能机器人提问;一名银行家则用印地语与该工具对话,而印度第六大城市海德拉巴的一名开发人员则用它编写了计算机代码。研发者与信实工业的合作,包括在电信和零售等领域的行业应用模型。Ramakrishnan表示,RelianceJio将为特定用途定制模型。该公司已经在开发“Jio大脑”,这是一个在拥有约4.5亿用户的网络中使用人工智能的平台。分析人士表示,如果Hanooman可以取得成功,将标志着印度在加速开发具有潜在变革意义的人工智能技术的竞赛中,取得了长足进步。事实上,亚洲首富安巴尼致力于打造印度自己的基础大型语言模型的消息,在去年三季度就曾被外界报道过。英伟达去年9月曾在官网上发布公告称,将与安巴尼的信实工业集团建立AI合作伙伴关系,双方合作开发大型语言模型,该模型将基于该国的多种语言进行训练,并且为生成式AI的应用量身定制,让AI技术更好地为14亿印度人服务。英伟达当时还宣布将向信实提供最先进的GH200超级芯片,同时也将向合作伙伴开放接入DGXAI算力云服务。...PC版:https://www.cnbeta.com.tw/articles/soft/1419781.htm手机版:https://m.cnbeta.com.tw/view/1419781.htm

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人