不是科幻小说:大脑活动解码器可将思想转化为文字

不是科幻小说:大脑活动解码器可将思想转化为文字一个被称为语义解码器的新人工智能系统可以将一个人的大脑活动--在听故事或默默想象讲故事时--翻译成连续的文本流。德克萨斯大学奥斯汀分校的研究人员开发的这个系统可能会帮助那些精神上有意识但身体上不能说话的人,例如那些因中风而衰弱的人,重新进行理解性的交流。这项研究今天(5月1日)发表在《自然-神经科学》杂志上,由计算机科学博士生JerryTang和德克萨斯大学奥斯汀分校的神经科学和计算机科学助理教授AlexHuth领导。这项工作部分依赖于一个转化器模型,类似于为OpenAI的ChatGPT和Google的Bard提供基础的模型。与其他正在开发的语言解码系统不同,该系统不需要受试者进行手术植入,使这一过程不具有侵入性。参与者也不需要只使用规定列表中的单词。在对解码器进行广泛的训练后,使用fMRI扫描仪测量大脑活动,其中个人在扫描仪中听了几个小时的播客。之后,只要参与者愿意让他们的想法被解码,他们听一个新的故事或想象讲一个故事,机器就能仅通过大脑活动生成相应的文本。研究人员AlexHuth(左)、JerryTang(右)和ShaileeJain(中)准备在德克萨斯大学奥斯汀分校的生物医学成像中心收集大脑活动数据。研究人员对实验室成员在fMRI扫描仪中收集的几十个小时的大脑活动数据进行了语义解码器的训练。Credit:NolanZunk/德克萨斯大学奥斯汀分校Huth说:"对于一个非侵入性的方法来说,与以前所做的相比,这是一个真正的飞跃,以前所做的通常是单个单词或短句。我们正在让这个模型对复杂的想法进行长时间的连续语言解码。"其结果不是逐字逐句的记录。相反,研究人员将其设计为捕捉正在说的或想的东西的要点,尽管并不完美。大约有一半的时间,当解码器经过训练以监测参与者的大脑活动时,机器产生的文本与原词的预期含义密切(有时甚至精确)。例如,在实验中,参与者在听说话者说"我还没有驾照"时,他们的想法被翻译成:"她甚至还没有开始学习驾驶"。听了这句话,"我不知道是要尖叫、哭泣还是逃跑。相反,我说,'别管我!'"被解码为,"开始尖叫和哭泣,然后她只是说,'我告诉你别管我'。"这张图片显示了在用户听四个故事时收集的大脑记录的解码器预测。例子片段是人工选择和注释的,以展示典型的解码器行为。解码器准确地再现了一些单词和短语,并抓住了更多的要点。资料来源:德克萨斯大学奥斯汀分校从作为预印本出现在网上的该论文的早期版本开始,研究人员解决了关于该技术可能被滥用的问题。该论文描述了解码是如何只对那些自愿参与训练解码器的合作参与者发挥作用的。没有接受过解码器训练的人的结果是无法理解的,如果接受过解码器训练的参与者后来进行了抵抗--例如,通过思考其他想法--结果同样是无法使用。"我们非常认真地对待人们对它可能被用于不良目的的担忧,并努力避免这种情况,"唐说。"我们想确保人们只在他们想要的时候使用这些类型的技术,并且对他们有帮助。"除了让参与者聆听或思考故事之外,研究人员还要求受试者在扫描仪中观看四个简短的无声视频。语义解码器能够利用他们的大脑活动来准确描述视频中的某些事件。该系统目前在实验室外并不实用,因为它依赖于fMRI机器上的时间需求。但研究人员认为这项工作可以转移到其他更便携的大脑成像系统,如功能性近红外光谱(fNIRS)。...PC版:https://www.cnbeta.com.tw/articles/soft/1357739.htm手机版:https://m.cnbeta.com.tw/view/1357739.htm

相关推荐

封面图片

AI思维解码器+人体植入物使瘫痪12年的人重新行走

AI思维解码器+人体植入物使瘫痪12年的人重新行走周三发表在《自然》杂志上的一项中,瑞士的研究人员结合了AI思维解码器和大脑-脊柱植入物,使因摩托车事故瘫痪了12年的Gert-JanOskam重新行走。他在植入一年多后继续保留了这些能力并显示出了神经恢复迹象,即使关闭植入物他也拄着拐杖走路。研究人员首先在Oskam的头骨和脊柱中植入了电极。然后让AI观察他的大脑——当他试图移动不同身体部位时哪些部分会亮——最终将某些电极活动与特定意图相匹配。再用另一种算法连接大脑植入物和脊柱植入物,脊柱植入物向不同身体部位发送电信号从而引发运动。该算法能够解释每个肌肉收缩和放松的方向和速度的细微变化。而且,由于大脑和脊柱之间的信号每300毫秒发送一次,Oskam可以根据哪些有效,哪些无效,迅速调整他的策略。——频道:@TestFlightCN

封面图片

新开发的植入物可利用大脑信号解码人们想要表达的意思

新开发的植入物可利用大脑信号解码人们想要表达的意思丧失交流能力可能是肌萎缩性脊髓侧索硬化症(ALS)等使人衰弱的神经退行性疾病的副作用之一,在这种疾病中,认知功能得以保留,但控制语言的肌肉却变得脆弱而紧绷。恢复交流的一种解决方案是直接解码来自大脑运动皮层的信号,从而触发肌肉按照特定顺序运动,发出不同的声音。美国杜克大学的研究人员开发了一种大脑植入物,利用高分辨率的神经记录解码人的大脑信号,将其转化为人想要说的话。这项研究的通讯作者之一格雷戈里-科根(GregoryCogan)说:"有很多患者都患有使人衰弱的运动障碍,如ALS(肌萎缩侧索硬化症)或锁闭综合征,这些都会影响他们的说话能力。但是,目前能让他们进行交流的工具一般都非常缓慢和繁琐"。目前,最佳语音解码速度约为每分钟78个单词,而我们说话的速度约为每分钟150个单词。这种滞后一般归因于所使用的大脑活动传感器的数量;传感器数量越少,意味着可解码的信息越少。为了改进现有设备,研究人员将256个微型大脑传感器装在了一块邮票大小的医用柔性塑料上,这意味着该设备能够以更高的空间分辨率获取更高质量的神经信号。尽管神经元之间的距离很近,但在协调言语时,相距仅几微米的神经元却会有截然不同的活动模式。要准确预测一个人想说什么,就必须区分来自相邻脑细胞的信号。与其他设备相比(左图),杜克大学的设备拥有两倍多的传感器,而且体积更小DanVahaba/DukeUniversity随后,研究人员需要对植入物进行测试,他们招募了四名正在接受脑部手术治疗帕金森病或切除肿瘤的患者,并短暂中断了他们的手术,以便在他们身上使用这种植入物。任务很简单。参与者听到一系列无意义的单词,如"ava"、"kug"或"vip",然后大声说出每一个单词。当患者的运动皮层协调近100块肌肉运动嘴唇、舌头、下巴和声带(喉咙)时,植入体记录下了这些肌肉的活动。然后,这些数据被输入机器学习算法,看它能否仅根据大脑活动记录就准确预测出发出的声音。对于某些声音和参与者,比如"gak"中的"g",当它是组成一个特定无意义单词的三个音串中的第一个音时,解码器有84%的正确率。当解码器解析单词中间或末尾的音时,准确率就会下降;如果两个音相似,如"p"和"b",准确率就会下降。总的来说,解码器的准确率为40%。虽然这听起来并不特别令人印象深刻,但研究人员指出,该算法只使用了15分钟测试中的90秒口语数据。研究人员将继续提高该设备的准确性和解码速度,并利用美国国立卫生研究院(NIH)的资助,开发无线版本。科根说:"我们现在正在开发同类记录设备,但不需要任何电线。患者可以四处走动,也不必被束缚在电源插座上,这真的很令人兴奋"。这项研究发表在《自然通讯》杂志上。...PC版:https://www.cnbeta.com.tw/articles/soft/1395301.htm手机版:https://m.cnbeta.com.tw/view/1395301.htm

封面图片

不是科幻小说:瘫痪的人可以使用意念控制轮椅自由行动

不是科幻小说:瘫痪的人可以使用意念控制轮椅自由行动"我们的研究表明,用户和脑机接口算法的相互学习对用户成功操作这种轮椅都很重要,"该研究的通讯作者、德克萨斯大学奥斯汀分校的JosédelR.Millán说。"我们的研究强调了改进非侵入性脑机接口技术的临床转化的潜在途径。"Millán和他的同事为这项纵向研究招募了三名四肢瘫痪的人。每位参与者都接受了每周三次的训练课程,为期2至5个月。参与者头戴设备,通过脑电图(EEG)检测他们的大脑活动,这些活动将通过脑机接口设备转换为轮椅的机械指令。参与者被要求通过思考移动他们的身体部位来控制轮椅的方向。具体来说,他们需要思考移动双手来转向左,移动双脚来转向右。在第一次训练中,三名参与者的准确率水平相似--当设备的反应与用户的想法一致时,准确率约为43%至55%。在训练过程中,脑机接口设备团队看到参与者1的准确性有了明显的提高,在训练结束时,他的准确性达到了95%以上。该团队还观察到,在团队用新的算法更新参与者3的设备之前,他的准确率在训练的一半时间里增加到98%。在参与者1和3身上看到的改进与特征辨别力的提高有关,这是算法区分编码为"向左走"想法和"向右走"想法的大脑活动模式的能力。研究小组发现,更好的特征判别能力不仅是设备的机器学习的结果,也是参与者大脑学习的结果。参与者1和3的脑电图显示,当他们提高思想控制设备的准确性时,脑波模式发生了明显的转变。"我们从脑电图结果中看到,受试者已经巩固了一种技能,即调节他们大脑的不同部分以产生'向左走'的模式和'向右走'的不同模式,"Millán说。"我们相信,有一种皮质重组是由于参与者的学习过程而发生的。"与参与者1和3相比,参与者2在整个训练过程中的大脑活动模式没有明显变化。他的准确率只在前几次训练中略有增加,在训练期的其余时间里保持稳定。Millán说,这表明仅靠机器学习不足以成功操纵这样一个意念控制的设备。训练结束时,所有参与者都被要求驾驶他们的轮椅穿过一个杂乱的医院房间。他们必须绕过障碍物,如房间的隔板和医院的床,这些都是为了模拟真实世界的环境而设置的。参与者1和3都完成了任务,而参与者2未能完成。看来,要想让一个人获得良好的脑机接口控制,使他们能够完成相对复杂的日常活动,如在自然环境中驾驶轮椅,这需要对我们的大脑皮层进行一些神经可塑性重组。该研究还强调了用户长期训练的作用。Millán说,尽管参与者1在最后的表现异常出色,但他在最初的几次训练中也很挣扎。这项纵向研究是评估无创脑机接口技术在四肢瘫痪者身上的临床转化的首批研究之一。接下来,研究小组希望弄清楚为什么参与者2没有体验到学习效果。他们希望对所有参与者的大脑信号进行更详细的分析,以了解他们的差异和未来对在学习过程中挣扎的人可能采取的干预。...PC版:https://www.cnbeta.com.tw/articles/soft/1333237.htm手机版:https://m.cnbeta.com.tw/view/1333237.htm

封面图片

AV1软件解码器将进入Android设备 有望带来更好的视频体验

AV1软件解码器将进入Android设备有望带来更好的视频体验Google负责Android系统视频和图像编解码器的经理阿里夫-迪基奇(ArifDikici)最近证实,移动操作系统将获得一个基于软件的官方AV1解码器。这一全球最广泛的移动平台终于迎来了dav1d,这是VideoLAN为VLC媒体播放器用汇编语言编写的AV1解码器。据Dikici称,dav1d是目前"最好的"软件AV1解码器。Dikici说,所有追溯到Android12的Android设备都将会通过新的更新获得解码器,OTA的解码器将与2024年3月的GooglePlay系统更新一起推出。有了dav1d,"大多数"智能手机和Android设备都能解码720p30视频,而无需额外的硬件要求。要获得最佳的AV1解码体验,设备必须使用专门为"加速"新格式而设计的特定硬件组件,但AV1硬件解码器并不像媒体公司希望的那样普及。高效、快速的软件解码器能提供一个很好的替代方案,同时随着时间的推移,老式(和廉价)设备也会逐渐被取代。Dikici说,第三方应用程序需要选择使用Android的dav1d才能从中受益,但该库"很快"将成为移动平台的默认AV1软件解码器。与仍在默认情况下使用的AV1编解码器libgav1相比,新的"libdav1d"库似乎更高效,能提供更好的性能水平。当然,硬件解码器仍将远远胜过任何纯软件库。YouTube是已在使用libdav1d的应用程序之一,不过服务器端强制将AV1视频转换到客户端的做法目前可能已被还原。新库可能会导致功耗增加,但用户的体验可能会因设备而异。在低端设备上解码更高分辨率视频的能力可能会吸引Android用户,而应用程序开发人员则可以获得大幅提升的视频功能。VideoLAN还在努力加速其dav1d解码器,以降低功耗,但由于这"只是"一个软件解码器,因此能做的并不多。该组织表示,下一个dav1d版本将在某些情况下提高12%。...PC版:https://www.cnbeta.com.tw/articles/soft/1428241.htm手机版:https://m.cnbeta.com.tw/view/1428241.htm

封面图片

AI读取人脑信息准确率高达82%

AI读取人脑信息准确率高达82%德克萨斯大学奥斯汀分校的神经伦理学家基于GPT-1开发了一种语言解码器,可通过人脑的磁共振成像将人类听到的语音、想象的语言与看到的无声电影转化成文字。研究人员让志愿者们躺在磁共振成像仪中记录大脑活动,同时让他们每人收听16小时的博客,这些博客主要是一些TED演讲和脱口秀。再将脑成像信息与故事细节以及AI理解语义关系的能力相结合,研究人员开发了一张大脑应对不同内容做出反应短语的编码图。结果当志愿者想象「我还没有驾照」这句话时,AI会将之解码为「她甚至还没有开始学开车」;当志愿者观看动画电影《新特尔》中女孩照顾小龙的片段时,AI也会根据大脑信息将之转换成文字。研究人员还发现,这项技术很容易被欺骗,当参与者听着故事录音却想着其它故事时,解码器无法确定他们听到的是什么词,比如内心数数字和罗列动物。并且编码图也因人而异,这意味着研究人员无法创建一种适用于所有人的解码器。https://www.nature.com/articles/s41593-023-01304-9频道:@TestFlightCN

封面图片

微软确认Windows 11 24H2弃用杜比数字AC-3编解码器

微软确认Windows1124H2弃用杜比数字AC-3编解码器安装Windows1124H2并尝试播放AC-3编解码器中的旧媒体内容时,媒体播放器将无法打开。这包括Windows11的现代媒体播放器和其他能够播放音频的内置应用程序。默认情况下,Windows1124H2将不再包含AC-3编解码器(通常称为杜比数字)。微软在本周早些时候悄悄发布的一份支持文档中证实了这一变化。该文件指出,Windows将继续支持FLAC或ALAC等流行的编解码器,但"从24H2版开始,Windows不再包含AC-3编解码器"。"在Windows11版本24H2之前的Windows版本中,包含AC-3编解码器。从Windows11版本24H2开始,AC-3编解码器不再包含在Windows中。不过,微软证实一些设备可能会继续使用AC-3编解码器,但这仅限于制造商选择预装的情况。例如,如果OEM是杜比公司的紧密合作伙伴,就可能预装AC-3编解码器。手动添加AC-3编解码器后,您仍然可以在本地应用程序中播放使用AC-3音频编解码器(杜比数字)编码的文件。AC-3编解码器(杜比数字)于上世纪90年代问世,目前正逐渐被淘汰,因此这一举措并不令人惊讶。所有流媒体平台和媒体公司在编码新媒体文件时都已停止使用该编解码器。不过,你可能还会遇到一些以AC-3编解码器编码的老文件,因为这种编解码器曾经在音频市场上占有重要地位。在这种情况下,您将无法使用Windows11上的原生应用程序播放音频文件,但您可以随时切换到更好的替代程序,如开源MPV播放器。微软表示,它致力于支持流行的现代编解码器。该公司继续通过MicrosoftStore中的"包"提供一些编解码器。这些编解码器包包括MPEG-2VideoExtension、HEVCVideoExtension、VP9VideoExtension、AV1VideoExtension和WebMediaExtension。该公司还澄清说,它不会取消对旧版本Windows中AC-3编解码器的支持。除AC-3编解码器外,Windows1124H2还将移除Cortana、WordPad、StepsRecorder和其他一些传统服务。该更新将于9月/10月开始在现有PC上推出。...PC版:https://www.cnbeta.com.tw/articles/soft/1432729.htm手机版:https://m.cnbeta.com.tw/view/1432729.htm

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人