受蝙蝠启发的眼镜帮助盲人和视力受损者用声音"看"东西

受蝙蝠启发的眼镜帮助盲人和视力受损者用声音"看"东西研究人员开发的智能眼镜能将视觉信息转化为独特的声音,帮助盲人"看见"世界辅助技术研究的一个广泛领域是利用视觉、触觉/触觉和听觉反馈作为增强感官的手段。现在,悉尼科技大学(UTS)的研究人员开发出了下一代智能眼镜,可以将视觉信息转化为独特的声音图标,即所谓的"声学触觉",以此帮助无视觉障碍者"看见"。"智能眼镜通常利用计算机视觉和其他感官信息将佩戴者周围的环境转化为计算机合成的语音,"该研究的合著者之一林钦腾(音译)说。"然而,声学触摸技术会对物体进行声学处理,在物体进入设备视野时产生独特的声音表征。例如,树叶沙沙作响的声音可能代表植物,嗡嗡声可能代表手机。"研究人员受到蝙蝠使用回声定位的启发,蝙蝠发出的声波在物体上反弹,返回的回声提供了物体的大小和距离等信息。FAD由一套增强现实眼镜和一部OPPOFindX3ProAndroid手机组成。UnityGameEngine2022可以管理眼镜的音频输入和摄像头/头部跟踪输出。这样,当物体进入设备视野时,FAD就能将其转化为清晰的声音图标。研究人员在14名成年参与者身上测试了他们的眼镜,其中7人是无视觉障碍者,7人是被蒙住眼睛的视力正常者,作为对照组。研究包括一个训练阶段、一个坐姿任务(使用FAD扫描桌子上的物品并发出声音)和一个站姿任务(探索参与者在杂乱的环境中行走并寻找物品时FAD的性能)。研究中使用了四种物品:碗、书、杯子和瓶子。他们发现,可穿戴设备大大提高了无脑障碍者识别和寻找物品的能力,而无需花费太多的脑力。该研究的第一作者和通讯作者HoweYuanZhu说:"听觉反馈使用户能够非常准确地识别和触摸物体。我们的研究结果表明,声学触摸有可能为视障群体提供一种可穿戴的、有效的感官增强方法。"经过一些调整,声学触摸技术可以成为辅助技术的一个组成部分,让视障人士能够比以前更好地进入属于他们的生活环境。这项研究发表在《PLOSOne》杂志上。...PC版:https://www.cnbeta.com.tw/articles/soft/1392449.htm手机版:https://m.cnbeta.com.tw/view/1392449.htm

相关推荐

封面图片

视频转声音技术可帮助盲人识别人脸

视频转声音技术可帮助盲人识别人脸有趣的是,2009年的一项研究还发现,即使人们看到的东西看起来有点像人脸,FFA也会被激活--因此它参与了"幻视"现象,即我们在无生命的物体上看到人脸。当人们开始发展某一特定领域的专业知识时,同一区域也会开始激活,例如,这显然有助于汽车疯子通过视觉区分不同的车型,或帮助国际象棋专家识别棋盘上熟悉的构型。2020年,麻省理工学院的研究将盲人置于fMRI扫描仪中,让他们感受各种3D打印的形状,包括脸、手、椅子和迷宫,结果发现,触摸这些小脸也会以类似的方式激活FFA。观看示意性面孔的受试者纺锤形面区的视觉激活图/乔治敦大学因此,从某种意义上说,FFA似乎并不在乎是哪个感觉系统向它提供了与脸部有关的信息--乔治敦大学医学中心神经科学小组的最新研究为这一假设提供了证据。该团队招募了6名盲人和10名视力正常的受试者,并开始使用"感觉替代装置"对他们进行训练。该装置包括一个头戴式摄像机、蒙眼目镜、一副耳机和一台处理计算机,处理计算机将摄像机的输入转换成音频,将视野分割成一个64像素的网格,并赋予每个像素各自的听觉音调。研究论文描述,如果图像只是位于摄像机视野右上角的一个点,相关的声音将是高频率的,主要通过右耳机传递。如果点位于视野的中上部,声音将是高频音,但通过左右耳机发出的音量相同。如果图像是左下角的一条线,相关的声音将是低频的混合物,主要通过左耳机发出。受试者用这些设备进行了10次每次一小时的训练,学习用耳朵"看",同时左右移动头部。卡片上会出现一些简单的图形;水平线和垂直线、不同形状的房子、几何图形以及基本的表情符号式喜怒哀乐表情。这是一个相当困难的训练过程,但在训练结束时,所有受试者识别简单形状的准确率都超过了85%。感官替代装置的分辨率仅为64像素。右下方是向受试者展示的一些形状。在fMRI仪器上进行形状识别测试时,当出现基本的脸部形状时,视力正常的受试者和失明的受试者都显示出FFA的激活。一些盲人受试者还能正确识别出人脸是喜脸还是愁脸--您可以从研究中一段45秒的音频片段中听到这一点,您也可以从这段片段中了解到该设备的声音。这项研究的资深作者、神经科学教授JosefRauschecker博士在一份新闻稿中说:"我们从盲人身上获得的结果表明,纺锤形脸部区域的发育并不取决于对实际视觉脸部的体验,而是取决于对脸部几何构型的接触,这种几何构型可以通过其他感官模式传达。"研究小组还发现,视力正常的受试者主要在右侧纺锤形面区出现激活,而失明的受试者则在左侧FFA区出现激活。Rauschecker说:"我们认为,盲人和非盲人之间的左右差异可能与左右两侧的纺锤形区域如何处理人脸有关--要么作为连接的模式,要么作为独立的部分,这可能是帮助我们完善感官替代装置的重要线索。"研究小组希望继续进行实验,有可能开发出分辨率更高的感官替代装置,最终让训练有素的受试者能够识别真实的人脸。需要提醒的是,像这样的图像声音转换设备在实际应用中可能不会有太大帮助--部分原因是它们需要大量的训练,部分原因是盲人已经非常依赖听力,不太可能希望额外的哔哔声和噗噗声扰乱他们对世界的感知。更不用说,随着深度学习多模态人工智能的兴起,已经有一些系统可以让GPT风格的语言模型查看图像或视频,并以人们喜欢的任何详细程度描述正在发生的事情。事实证明,这种自然语言解说比直接从视频到音频的馈送更容易实现、使用和满足个人需求。尽管如此,这仍然是非常吸引人的东西,它显示了两眼一嘴的老形状在我们的硬件中埋藏得有多深,以及这些形状对我们这种社会动物的重要性。这项研究已在《公共科学图书馆》(PLOS)杂志上公开发表。...PC版:https://www.cnbeta.com.tw/articles/soft/1400353.htm手机版:https://m.cnbeta.com.tw/view/1400353.htm

封面图片

微软为盲人和低视力用户推出了Android版Seeing AI应用程序

微软为盲人和低视力用户推出了Android版SeeingAI应用程序几年来,微软一直在更新iOS版的"Seeing"人工智能应用程序,但许多使用Android智能手机的人一直想知道微软是否会推出该操作系统的相应版本。今天,微软正式宣布Android版SeeingAI应用程序终于可以从GooglePlay商店下载了。微软在一篇博文中表示,Android版也将获得iOS版SeeingAI应用程序的最新更新。其中包括:更丰富的照片描述:除了在"场景"频道上提供照片的简要摘要外,你现在还可以点击"更多信息",然后就会生成丰富的描述,包括有关图片内容的更多细节。与文档聊天扫描文档后,除了可以听到文档朗读外,还可以与SeeingAI聊天,提出问题,例如关于菜单上的项目、收据上的项目价格或文章摘要。下载地址:https://play.google.com/store/apps/details?id=com.microsoft.seeingai主要功能包括:简短文本:当文字出现在摄像头前时,立即播放。文档:提供捕捉打印页面的音频引导,并朗读内容及其原始格式。与SeeingAI聊天,快速查找信息。产品:扫描条形码,使用语音提示音进行引导;可听到名称和包装信息。场景:听到拍摄场景的描述,点击"更多信息"生成丰富的描述。在屏幕上移动手指探索照片,听取不同物体的位置。人物识别周围的朋友。货币识别纸币。颜色:识别感知到的颜色。手写读取贺卡等手写文本(支持部分语言)。光线根据周围环境的亮度发出声音。其他应用中的图片:与SeeingAI共享照片,识别照片。目前,Android和iOS版的SeeingAI应用程序有18种不同的语言可供选择:捷克语丹麦语荷兰语荷兰语芬兰语法语德语希腊语匈牙利语意大利语日语韩语挪威语波兰语葡萄牙语俄语西班牙语瑞典语土耳其语微软计划在2024年将SeeingAI应用程序的语言数量增加到34种。...PC版:https://www.cnbeta.com.tw/articles/soft/1401965.htm手机版:https://m.cnbeta.com.tw/view/1401965.htm

封面图片

一种让别人知道你摘掉戴眼镜后真实视力的方法。

一种让别人知道你摘掉戴眼镜后真实视力的方法。用相机对准眼镜拍照,然后在iPhone上长按“AF锁定”。这样,眼镜被移开后,通过相机屏幕看到的画面就是佩戴该眼镜的人的真实视力状况。这种方法可以让视力正常人理解近视者的视觉体验,也会对店铺或城市规划有所帮助。这个方法的原理基于相机的自动对焦(AF)功能。当你用相机对准眼镜并长按以锁定自动对焦时,相机会根据眼镜的光学特性来调整焦距。这样,当眼镜被移开,相机的焦点仍然保持在原来根据眼镜调整的位置。因此,通过相机屏幕看到的画面会模拟出佩戴该眼镜的人的视力状况。from

封面图片

受眼睛启发的设备可记住它所看到的内容 从而实现实时决策

受眼睛启发的设备可记住它所看到的内容从而实现实时决策具有实时态势感知的基于视觉的机器系统代表了下一代隐身技术。目前,这些系统体积庞大,并且由于其独立的处理和存储单元,必须执行一系列计算机步骤来检测、处理和存储图像。模仿人眼查看和处理图像的方式,这被称为神经形态视觉,是一种革新基于视觉的系统的方法。澳大利亚皇家墨尔本理工大学的研究人员领导了概念验证神经形态设备的开发,迪肯大学和墨尔本大学的研究人员也做出了贡献。就像人眼将信息发送到大脑进行处理和存储一样,该设备捕获光,创建和处理信息,并将其分类并存储在内存中。神经形态本质上是指具有神经或神经系统形状或形式的事物。“人眼非常擅长以比相机和计算机更快、更有效的方式响应周围环境的变化,”该研究的通讯作者SumeetWalia说。“从眼睛中汲取灵感,多年来,我们一直致力于通过神经形态工程的过程,打造一款具有类似功能的相机。”该设备包括一个带有传感层的单芯片,传感层由不到3纳米厚的掺锑氧化铟阵列制成,比人的头发丝薄数千倍。这些传感器模仿眼睛的视网膜,在一个平台上存储和处理视觉信息。在开发他们的设备时,研究人员旨在模拟体内神经细胞(神经元)之间的冲动传递,称为突触功能。突触将一个神经元连接到另一个神经元,并将信息从神经传递到大脑,反之亦然。研究人员采用了类似于我们大脑使用的模拟处理,使设备能够以最少的能量快速有效地处理信息。“相比之下,数字处理是能源和碳密集型的,并且会阻碍信息的快速收集和处理,”该研究的第一作者AishaniMazumder说。“神经拟态视觉系统旨在使用与人脑类似的模拟处理,与当今的技术相比,它可以大大减少执行复杂视觉任务所需的能量。”研究人员将紫外线(UV)光照射到设备传感器识别并存储的图案上。他们发现,他们的设备可以比以前报道的设备保留信息更长时间,而无需频繁的电信号来刷新其内存,从而显着降低能耗并提高性能。“迄今为止,在一个小型设备上执行所有这些功能已被证明是一个巨大的挑战,”Walia说。“我们的发明使实时决策成为可能,因为它不需要处理大量不相关的数据,也不会因数据传输到单独的处理器而减慢速度。”研究人员计划继续研究他们的设备,将技术扩展到使用可见光和红外(IR)光。鉴于其微小的尺寸和实时快速检测和处理视觉信息的能力,研究人员认为该设备可用于一系列潜在应用,包括仿生视觉、评估食品保质期和高级取证。“想象一下,一辆自动驾驶汽车可以像人类司机一样看到和识别道路上的物体,或者能够快速检测和跟踪太空垃圾,”Walia说。“这可以通过神经形态视觉技术实现。神经形态机器人有可能在工人暴露于可能的塌方、爆炸和有毒空气的危险情况下长时间自主运行。”该研究发表在《先进功能材料》杂志上。...PC版:https://www.cnbeta.com.tw/articles/soft/1365421.htm手机版:https://m.cnbeta.com.tw/view/1365421.htm

封面图片

MIT研究人员发明可以用声音模拟世界的人工智能系统

MIT研究人员发明可以用声音模拟世界的人工智能系统计算机视觉是一个在过去几十年中被研究得相当多的领域,主要是因为它在建造自动驾驶汽车和其他可以像人类一样"看"世界的工具方面有着直接和明显的应用。然而,直到最近才看到这种水平的研究的一个领域是使用声音而不是视觉来模拟环境。现在,麻省理工学院(MIT)的研究人员已经撰写了一篇研究论文,涉及在这一领域训练的机器学习(ML)模型的构建。PC版:https://www.cnbeta.com.tw/articles/soft/1331483.htm手机版:https://m.cnbeta.com.tw/view/1331483.htm

封面图片

研究人员利用声音培育土壤真菌 可恢复受损的生态系统

研究人员利用声音培育土壤真菌可恢复受损的生态系统研究发现,植物将声音视为一种机械刺激,可以促进养分流动、促进生长和增强免疫系统。现在,南澳大利亚弗林德斯大学(FlindersUniversity)的一项新研究表明,土壤可能也是如此。研究人员调查了声刺激如何影响一种常驻土壤、促进植物生长的真菌,以及是否有可能利用声音来恢复受损的生态系统。"世界上超过75%的土壤已经退化,因此我们需要采取根本性措施来扭转这一趋势,并开始恢复生物多样性,"该研究的第一作者兼通讯作者杰克-罗宾逊(JakeRobinson)说。"这项研究让我们大吃一惊,与声波处于环境水平的对照组相比,一种常见的植物生长促进真菌的孢子细胞生物量的初始数量增加了近五倍"。研究人员首先将普通绿茶包和南非红茶包埋入地下,以促进真菌生物质(一种来自动植物的可再生有机材料)的生长。将茶包放置在隔音箱中,让它们暴露在8千赫的70分贝或90分贝单调声场中。实验开始时,所有茶包都看不到真菌生物量,但经过14天的声波刺激后,在70分贝和90分贝处理组中,绿茶包和红茶包以及每个茶包的内部和外部都明显出现了大量致密的真菌生物量。而在环境声低于30分贝的对照组茶包中,真菌生物量的可见度要低得多。研究人员随后在实验室环境中重复了这一实验,使用的培养皿中含有毛霉培养物。毛霉是一种有效的生物控制剂,能杀死多种土壤中的病原体,促进植物生长。20个培养皿在5天内受到频率为8千赫的80分贝单调声波刺激;20个培养皿没有受到任何刺激。到第五天,观察到声刺激对真菌生长、孢子生长和孢子密度有很大影响。在暴露于声音的培养皿中,孢子活动增加了约五倍。"我们实验室对恢复生态学的研究正在为改善原生植被的重新生长铺平道路,包括重新引入失去的物种,"该研究的共同作者马丁-布里德(MartinBreed)说。"我们对刺激土壤微生物活动潜力的研究利用了其他创新的可能性来帮助恢复自然。"重新植被后,土壤微生物需要几十年才能完全恢复。这项研究为加快这一过程提供了一种潜在的"生态声学"方法。还需要进一步研究声音对真菌生长的影响机制,并确定某些声音参数是否能针对特定的真菌种类。该研究的预印本可在bioRxiv上查阅。...PC版:https://www.cnbeta.com.tw/articles/soft/1415297.htm手机版:https://m.cnbeta.com.tw/view/1415297.htm

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人