视频转声音技术可帮助盲人识别人脸

视频转声音技术可帮助盲人识别人脸有趣的是,2009年的一项研究还发现,即使人们看到的东西看起来有点像人脸,FFA也会被激活--因此它参与了"幻视"现象,即我们在无生命的物体上看到人脸。当人们开始发展某一特定领域的专业知识时,同一区域也会开始激活,例如,这显然有助于汽车疯子通过视觉区分不同的车型,或帮助国际象棋专家识别棋盘上熟悉的构型。2020年,麻省理工学院的研究将盲人置于fMRI扫描仪中,让他们感受各种3D打印的形状,包括脸、手、椅子和迷宫,结果发现,触摸这些小脸也会以类似的方式激活FFA。观看示意性面孔的受试者纺锤形面区的视觉激活图/乔治敦大学因此,从某种意义上说,FFA似乎并不在乎是哪个感觉系统向它提供了与脸部有关的信息--乔治敦大学医学中心神经科学小组的最新研究为这一假设提供了证据。该团队招募了6名盲人和10名视力正常的受试者,并开始使用"感觉替代装置"对他们进行训练。该装置包括一个头戴式摄像机、蒙眼目镜、一副耳机和一台处理计算机,处理计算机将摄像机的输入转换成音频,将视野分割成一个64像素的网格,并赋予每个像素各自的听觉音调。研究论文描述,如果图像只是位于摄像机视野右上角的一个点,相关的声音将是高频率的,主要通过右耳机传递。如果点位于视野的中上部,声音将是高频音,但通过左右耳机发出的音量相同。如果图像是左下角的一条线,相关的声音将是低频的混合物,主要通过左耳机发出。受试者用这些设备进行了10次每次一小时的训练,学习用耳朵"看",同时左右移动头部。卡片上会出现一些简单的图形;水平线和垂直线、不同形状的房子、几何图形以及基本的表情符号式喜怒哀乐表情。这是一个相当困难的训练过程,但在训练结束时,所有受试者识别简单形状的准确率都超过了85%。感官替代装置的分辨率仅为64像素。右下方是向受试者展示的一些形状。在fMRI仪器上进行形状识别测试时,当出现基本的脸部形状时,视力正常的受试者和失明的受试者都显示出FFA的激活。一些盲人受试者还能正确识别出人脸是喜脸还是愁脸--您可以从研究中一段45秒的音频片段中听到这一点,您也可以从这段片段中了解到该设备的声音。这项研究的资深作者、神经科学教授JosefRauschecker博士在一份新闻稿中说:"我们从盲人身上获得的结果表明,纺锤形脸部区域的发育并不取决于对实际视觉脸部的体验,而是取决于对脸部几何构型的接触,这种几何构型可以通过其他感官模式传达。"研究小组还发现,视力正常的受试者主要在右侧纺锤形面区出现激活,而失明的受试者则在左侧FFA区出现激活。Rauschecker说:"我们认为,盲人和非盲人之间的左右差异可能与左右两侧的纺锤形区域如何处理人脸有关--要么作为连接的模式,要么作为独立的部分,这可能是帮助我们完善感官替代装置的重要线索。"研究小组希望继续进行实验,有可能开发出分辨率更高的感官替代装置,最终让训练有素的受试者能够识别真实的人脸。需要提醒的是,像这样的图像声音转换设备在实际应用中可能不会有太大帮助--部分原因是它们需要大量的训练,部分原因是盲人已经非常依赖听力,不太可能希望额外的哔哔声和噗噗声扰乱他们对世界的感知。更不用说,随着深度学习多模态人工智能的兴起,已经有一些系统可以让GPT风格的语言模型查看图像或视频,并以人们喜欢的任何详细程度描述正在发生的事情。事实证明,这种自然语言解说比直接从视频到音频的馈送更容易实现、使用和满足个人需求。尽管如此,这仍然是非常吸引人的东西,它显示了两眼一嘴的老形状在我们的硬件中埋藏得有多深,以及这些形状对我们这种社会动物的重要性。这项研究已在《公共科学图书馆》(PLOS)杂志上公开发表。...PC版:https://www.cnbeta.com.tw/articles/soft/1400353.htm手机版:https://m.cnbeta.com.tw/view/1400353.htm

相关推荐

封面图片

受蝙蝠启发的眼镜帮助盲人和视力受损者用声音"看"东西

受蝙蝠启发的眼镜帮助盲人和视力受损者用声音"看"东西研究人员开发的智能眼镜能将视觉信息转化为独特的声音,帮助盲人"看见"世界辅助技术研究的一个广泛领域是利用视觉、触觉/触觉和听觉反馈作为增强感官的手段。现在,悉尼科技大学(UTS)的研究人员开发出了下一代智能眼镜,可以将视觉信息转化为独特的声音图标,即所谓的"声学触觉",以此帮助无视觉障碍者"看见"。"智能眼镜通常利用计算机视觉和其他感官信息将佩戴者周围的环境转化为计算机合成的语音,"该研究的合著者之一林钦腾(音译)说。"然而,声学触摸技术会对物体进行声学处理,在物体进入设备视野时产生独特的声音表征。例如,树叶沙沙作响的声音可能代表植物,嗡嗡声可能代表手机。"研究人员受到蝙蝠使用回声定位的启发,蝙蝠发出的声波在物体上反弹,返回的回声提供了物体的大小和距离等信息。FAD由一套增强现实眼镜和一部OPPOFindX3ProAndroid手机组成。UnityGameEngine2022可以管理眼镜的音频输入和摄像头/头部跟踪输出。这样,当物体进入设备视野时,FAD就能将其转化为清晰的声音图标。研究人员在14名成年参与者身上测试了他们的眼镜,其中7人是无视觉障碍者,7人是被蒙住眼睛的视力正常者,作为对照组。研究包括一个训练阶段、一个坐姿任务(使用FAD扫描桌子上的物品并发出声音)和一个站姿任务(探索参与者在杂乱的环境中行走并寻找物品时FAD的性能)。研究中使用了四种物品:碗、书、杯子和瓶子。他们发现,可穿戴设备大大提高了无脑障碍者识别和寻找物品的能力,而无需花费太多的脑力。该研究的第一作者和通讯作者HoweYuanZhu说:"听觉反馈使用户能够非常准确地识别和触摸物体。我们的研究结果表明,声学触摸有可能为视障群体提供一种可穿戴的、有效的感官增强方法。"经过一些调整,声学触摸技术可以成为辅助技术的一个组成部分,让视障人士能够比以前更好地进入属于他们的生活环境。这项研究发表在《PLOSOne》杂志上。...PC版:https://www.cnbeta.com.tw/articles/soft/1392449.htm手机版:https://m.cnbeta.com.tw/view/1392449.htm

封面图片

中国网信办就人脸识别技术应用征求意见

中国网信办就人脸识别技术应用征求意见中国国家网信办星期二(8月8日)发布公告,向社会就《人脸识别技术应用安全管理规定(试行)(征求意见稿)》征求意见,以规范人脸识别技术应用。征求意见稿共列出25条规定,涵盖人脸信息的使用范围、信息采集场景和监督检查等。意见稿提出,只有在具有特定的目的和充分的必要性,并采取严格保护措施的情形下,方可使用人脸识别技术处理人脸信息。意见稿还说,使用人脸识别技术处理人脸信息应当取得个人的单独同意或者依法取得书面同意。法律、行政法规规定不需取得个人同意的除外。对于信息采集场景,意见稿提到,旅馆客房、公共浴室、更衣室、卫生间及其他可能侵害他人隐私的场所不得安装图像采集、个人身份识别设备。同时,在公共场所安装图像采集、个人身份识别设备,应当为维护公共安全所必需,遵守国家有关规定,设置显著提示标识。意见稿还提出,任何组织或者个人不得利用人脸识别技术分析个人种族、民族、宗教信仰、健康状况、社会阶层等敏感个人信息。物业服务企业等建筑物管理人也不得将使用人脸识别技术验证个人身份作为出入物业管理区域的唯一方式。此外,在公共场所使用人脸识别技术,或者存储超过1万人人脸信息的人脸识别技术使用者,应当在30个工作日内向所属地市级以上网信部门备案。意见稿最后提出,网信部门会同电信主管部门、公安机关、市场监管部门等有关部门依据职责,加强对人脸识别技术使用的监督检查,指导督促人脸识别技术使用者履行备案手续,及时发现安全隐患并督促限期整改。

封面图片

网信办:使用人脸识别技术应获当事人同意

网信办:使用人脸识别技术应获当事人同意国家网信办就人脸识别技术应用安全管理规定(试行)公开征求意见,明确只有在具有特定目的及充分必要性,并采取严格保护措施之下,方可使用人脸识别技术处理人脸信息。网信办指,使用人脸识别技术处理人脸信息,应取得个人的单独同意或依法取得书面同意。面在实现相同目的或达到同等业务要求,应优先选择非生物特征识别技术方案。另外,旅馆客房、公共浴室、更衣室、卫生间,以及其他可能侵害他人隐私的场所,不得安装图像采集、个人身份识别设备。网信办指,在公共场所使用人脸识别技术,或储存超过1万人人脸信息的人脸识别技术使用者,应在30个工作日内备案。2023-08-0809:44:08

封面图片

中央网信办就《人脸识别技术应用安全管理规定》征求意见,要求人脸识别须“具有特定的目的和充分的必要性”。

中央网信办就《人脸识别技术应用安全管理规定》征求意见,要求人脸识别须“具有特定的目的和充分的必要性”。公共场所人脸识别或存储超1万人脸信息的技术使用者,应向地级以上网信部门备案,提交个人信息保护影响评估报告。不得将人脸识别验证身份作为出入物业管理区域的唯一方式,应向不同意人脸验证者提供其他合理便捷的身份验证方式。除法律和行政法规规定人脸外,宾馆银行车站等经营场所不得强制或误导人脸识别。公安国安可依需要在公共场所远距无感式辨识特定自然人,及人脸识别分析种族民族宗教信仰健康状况社会阶层等敏感个人信息。除此之外,远距识别仅可在紧急情况保护自然人生命健康和财产安全使用,由其主动提出,并限定在最小时空、人群和信息关联范围内。()

封面图片

面向人脸识别的百万人脸图像数据集

面向人脸识别的百万人脸图像数据集DigiFace-1M数据集是100多万张用于人脸识别的不同合成人脸图像的集合。它在我们的论文《DigiFace-1M:1MillionDigitalFaceImagesforFaceRecognition》中被介绍,可用于训练面部识别的深度学习模型。该数据集包含:720K的图像,10K的身份(每个身份72张图像)。对于每个身份,有4组不同的配件被采样,每组有18张图像被渲染。500K的图像,100K的身份(每个身份5张图像)。对于每个身份,只有一套配件被取样。DigiFace-1M数据集可用于非商业研究,并根据LICENSE中的许可进行授权。#数据集

封面图片

亿万富翁找回失散25年儿子 背后的人脸识别技术太牛了

亿万富翁找回失散25年儿子背后的人脸识别技术太牛了公司的“跨年龄同亲缘人脸比对算法”通过分析解清帅父母加上哥哥的面部图像,就匹配到了解清帅,最终通过DNA对比,确认了解清帅的身份。图源:新浪微博截图问题来了:寻找解清帅的人脸识别技术究竟是怎么一回事?跟我们解锁手机时候用到的是同一种技术吗?今天就来说一说人脸识别的前世今生。从人工辅助到纯计算机识别1、用身体特征定义一个人早在1879年,法国犯罪学家阿方斯·贝蒂荣(AlphonseBertillon)就发明了一套用来识别罪犯或者犯罪嫌疑人的方法:通过测量11项身体数据,比如手肘到中指末端、右耳的长度、左脚的长度等等,来识别一个人。阿方斯的人体特征识别方法,图片来源:wikimedia虽然阿方斯的初衷是为了识别坏人,但他这种根据身体数据特征来识别一个人的思想,对于之后的人脸识别技术有很大的启发。2、“半自动”人脸识别在1964年,美国数学家、人工智能专家伍迪·布莱索(woodrowbledsoe)等人开始尝试用计算机识别人类照片。最初的想法是从不同角度去拍摄人脸的照片,然后让计算机学习这些照片上的明暗数据来识别一张脸。但考虑当时的技术限制,这个思路根本行不通。最终,伍迪等人选择了类似于阿方斯的方法,从人脸上寻找大约20个特征,比如眼睛的宽度和间距、耳朵的长度、嘴角的长度等等,通过测量这些特征的数值,来定义一个人。不过当时的计算机还没法直接从照片上测量这些数据,伍迪只好设计了一个软件,由人手动把测量的数据输入进计算机,计算机再将它们与数据库中的数据进行比对,识别出这张脸属于谁。这算得上是最早的人脸识别软件了,但这是个需要人类参与的“半自动”方法,每小时只能处理40张图片。3、全自动人脸识别在二十世纪70年代,日本科学家金出武雄展示了一种新的人脸识别软件。这款软件能够自动定位下巴的位置,从而自动测量人脸的数据,自动进行识别。虽然这款软件依然会受到拍摄角度、光线阴影等因素的影响,识别准确率有限,但它实现了从“半自动”到“全自动”的重要转变。在之后的二十世纪八、九十年代,Eigenfaces、Fisherfaces等方法出现,让全自动人脸识别技术有了显著进步,对于受控环境下的静态照片(比如证件照)识别能力已经比较可靠了。比如,美国的西弗吉尼亚州、新墨西哥州都采用了面部识别技术来识别驾照上的人脸,防止同一个人用不同名字办理多份驾照。在1997年,美国的明尼苏达州也开始用面部识别系统来识别州内罪犯。4、卷积神经网络带来飞跃在2010年前后,基于卷积神经网络的深度学习技术,让人脸识别技术再出现飞跃。卷积神经网络是一种模仿生物视觉建立的神经网络,它本身的架构就非常擅长处理图像信息。人们在卷积神经网络基础上进行各种优化,能够根据需要提取出画面上不同类型的信息,比如光线明暗,线条轮廓等等,从而对图片做出综合判断。人脸识别系统,图片来源:参考文献[2]这种方式跟前面阿方斯的方法已经有一些区别了,不再是根据眼睛宽度、耳朵长度等特定数字来识别人脸,而是直接从人脸整体特征来识别,更类似于动物视觉的识别过程。在2010年前后,能够供深度神经网络训练的计算机视觉数据库也日趋完善,比如李飞飞等人构建的ImageNet,里面包含上千万手动注释过的图片。再加上2012年前后GPU被应用到深度学习领域,人脸识别技术的速度和准确率都得到了极大的提升。比如,2014年FaceBook的DeepFace人脸识别系统已经能达到97.35%的准确率,跟人类的识别准确率相差无几。而谷歌在2015年提出的FaceNet,在一些数据库里的人脸识别准确率更是达到了99.63%。Deepface人脸识别系统,图片来源:参考文献[3]到了今天,人脸识别技术依然在飞速发展,除了能识别静态照片,对于视频画面中的动态人脸也能做到准确快速地识别。无处不在的人脸识别技术随着人脸识别的准确率越来越高,在生活中的应用也越来越多。比如,现在主流的手机几乎都能支持刷脸解锁;在很多便利店里买东西已经可以不用掏出手机打开支付码了,直接刷脸支付就可以;在进出火车站的时候,也可以直接刷脸通过闸机口。除了这些日常应用,人脸识别系统还在一些特殊领域发挥重要作用。比如,自2018年4月起,在张学友演唱会上,安检、监控摄像头就成功抓拍到了将近100名逃犯或犯罪嫌疑人,网友也调侃张学友的演唱会简直就是“缉拿会”。另外,在社会范围内引起比较大争议的劳荣枝案中,人脸识别系统也轻松识别出了潜逃23年之久的劳荣枝。图源:厦门警方视频截图随着人脸识别技术在跨年龄人脸识别、面部有遮挡情况下的人脸识别准确率越来越高,人脸识别技术也能更好地守护我们的安全。前面提到的“跨年龄同亲缘人脸对比算法”,也是对于人脸识别技术在特定领域的优化。这样的功能不仅能够在多年之后寻找到潜逃的犯罪嫌疑人,同时对于走失或者被拐卖的儿童寻找亲生父母有非常大的帮助。基于亲属关系的面部识别系统,图片来源:参考文献[4]值得关注的是,虽然AI人脸识别给我们的生活带来了便利,也守护着我们的安全,但它同样存在着一些风险。比如手机有一些App在使用我们的面部数据,虽然大部分公司会尽力确保这些数据的安全,但依然存在一些软件开发商没有能力或者压根就没打算保护数据安全性,这可能会造成严重的个人信息泄露事件。比如,向美国执法机构提供服务的ClearviewAI公司就曾经被曝出过数据泄露事件。另外,该公司也被曝出在未经用户同意的情况下非法搜集用户照片信息用训练算法。总之,人脸识别技术虽然已经有半个多世纪的历史,但它真正进入高速发展阶段,渗透到生活的各个领域也只是最近十年左右的事情。人脸识别技术用在正确的地方,确实给我们的生活带来便利和安全,也让失散多年的家庭得以团聚。但在享受技术发展便利的同时,我们也要增强自己的隐私意识,尽量避免在不知名的小程序上使用自己的照片、视频,减少信息泄露的可能性。参考文献[1]AdjabiI,OuahabiA,BenzaouiA,etal.Past,present,andfutureoffacerecognition:Areview[J].Electronics,2020,9(8):1188.[2]王亮,黄永祯,张凯皓.一种基于卷积神经网络的人脸亲属关系识别方法及装置,CN105005774A,2019-02-19[3]TaigmanY,YangM,RanzatoMA,etal.Deepface:Closingthegaptohuman-levelperformanceinfaceverification[C]//ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition.2014:1701-1708.[4]RobinsonJP,ShaoM,WuY,etal.Familiesinthewild(fiw):Large-scalekinshipimagedatabaseandbenchmarks[C]//Proceedingsofthe24thACMinternationalconferenceonMultimedia.ACM,2016:242-246策划制作本文为科普中国-星空计划作品出品中国科协科普部监制中国科学技术出版社有限公司、北京中科星河文化传媒有限公司作者丨科学边角料科普创作团队审核丨于旸腾讯玄武实验室负责人策划丨林林责编丨林林...PC版:https://www.cnbeta.com.tw/articles/soft/1402501.htm手机版:https://m.cnbeta.com.tw/view/1402501.htm

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人