不是科幻小说：大脑活动解码器可将思想转化为文字

不是科幻小说：大脑活动解码器可将思想转化为文字一个被称为语义解码器的新人工智能系统可以将一个人的大脑活动--在听故事或默默想象讲故事时--翻译成连续的文本流。德克萨斯大学奥斯汀分校的研究人员开发的这个系统可能会帮助那些精神上有意识但身体上不能说话的人，例如那些因中风而衰弱的人，重新进行理解性的交流。这项研究今天（5月1日）发表在《自然-神经科学》杂志上，由计算机科学博士生JerryTang和德克萨斯大学奥斯汀分校的神经科学和计算机科学助理教授AlexHuth领导。这项工作部分依赖于一个转化器模型，类似于为OpenAI的ChatGPT和Google的Bard提供基础的模型。与其他正在开发的语言解码系统不同，该系统不需要受试者进行手术植入，使这一过程不具有侵入性。参与者也不需要只使用规定列表中的单词。在对解码器进行广泛的训练后，使用fMRI扫描仪测量大脑活动，其中个人在扫描仪中听了几个小时的播客。之后，只要参与者愿意让他们的想法被解码，他们听一个新的故事或想象讲一个故事，机器就能仅通过大脑活动生成相应的文本。研究人员AlexHuth（左）、JerryTang（右）和ShaileeJain（中）准备在德克萨斯大学奥斯汀分校的生物医学成像中心收集大脑活动数据。研究人员对实验室成员在fMRI扫描仪中收集的几十个小时的大脑活动数据进行了语义解码器的训练。Credit:NolanZunk/德克萨斯大学奥斯汀分校Huth说："对于一个非侵入性的方法来说，与以前所做的相比，这是一个真正的飞跃，以前所做的通常是单个单词或短句。我们正在让这个模型对复杂的想法进行长时间的连续语言解码。"其结果不是逐字逐句的记录。相反，研究人员将其设计为捕捉正在说的或想的东西的要点，尽管并不完美。大约有一半的时间，当解码器经过训练以监测参与者的大脑活动时，机器产生的文本与原词的预期含义密切（有时甚至精确）。例如，在实验中，参与者在听说话者说"我还没有驾照"时，他们的想法被翻译成："她甚至还没有开始学习驾驶"。听了这句话，"我不知道是要尖叫、哭泣还是逃跑。相反，我说，'别管我！'"被解码为，"开始尖叫和哭泣，然后她只是说，'我告诉你别管我'。"这张图片显示了在用户听四个故事时收集的大脑记录的解码器预测。例子片段是人工选择和注释的，以展示典型的解码器行为。解码器准确地再现了一些单词和短语，并抓住了更多的要点。资料来源：德克萨斯大学奥斯汀分校从作为预印本出现在网上的该论文的早期版本开始，研究人员解决了关于该技术可能被滥用的问题。该论文描述了解码是如何只对那些自愿参与训练解码器的合作参与者发挥作用的。没有接受过解码器训练的人的结果是无法理解的，如果接受过解码器训练的参与者后来进行了抵抗--例如，通过思考其他想法--结果同样是无法使用。"我们非常认真地对待人们对它可能被用于不良目的的担忧，并努力避免这种情况，"唐说。"我们想确保人们只在他们想要的时候使用这些类型的技术，并且对他们有帮助。"除了让参与者聆听或思考故事之外，研究人员还要求受试者在扫描仪中观看四个简短的无声视频。语义解码器能够利用他们的大脑活动来准确描述视频中的某些事件。该系统目前在实验室外并不实用，因为它依赖于fMRI机器上的时间需求。但研究人员认为这项工作可以转移到其他更便携的大脑成像系统，如功能性近红外光谱（fNIRS）。...PC版：https://www.cnbeta.com.tw/articles/soft/1357739.htm手机版：https://m.cnbeta.com.tw/view/1357739.htm

脑机接口新设备实时解码脑内语音信号

脑机接口新设备实时解码脑内语音信号美国加州理工学院大脑科学科研团队开发出一种新设备。它是首个可通过记录单个神经元信号，实时解码人脑内想说的单词的脑机接口设备。尽管这项技术目前还处于早期阶段，只适用于少数单词，但未来有望让那些失去语言能力的人用想法“说话”。相关论文发表在最新一期《自然・人类行为》杂志上。在最新试验里，研究人员对两位参与者进行了测试，并让他们想象说出屏幕上显示的单词，这个过程重复了好几次。然后，通过脑机接口设备，将参与者大脑内的语音信号测量结果与计算机模型相结合，可实时预测他们想说的单词。对于第一个参与者，脑机接口捕捉到了所有单词的不同神经信号，并能够以79%的准确率识别它们。但第二名参与者的解码准确率仅为23%。（科技日报）

斯坦福大学新研究 或将实现用意念控制AI机器人

斯坦福大学新研究或将实现用意念控制AI机器人为了解码大脑信号，研究人员选择使用脑电图（EEG）。然而，由于复杂的行为涉及选择物体、决定如何拾取、决定如何处理以及最终执行动作等方面，EEG的解码相对困难。为了解决这个问题，NOIR模型包括两个关键组件:模块化目标解码器和执行动作的机器人。这样的设计使得通过大脑信号想象的动作能够被准确地传达给机器人，实现了对机器人的思维操控。NOIR的突破为身体受损的人们带来了新的可能性，使他们能够独立地控制周围环境，过上与其他人无异的生活。这一技术的进步不仅在科技领域引起了极大关注，也在人机交互和康复领域具有潜在的广泛应用。总的来说，NOIR模型的出现标志着大脑与机器人之间沟通的新时代的开始。这一突破性的技术将为未来的科技发展开辟新的方向，为社会的发展带来更多可能性。...PC版：https://www.cnbeta.com.tw/articles/soft/1400019.htm手机版：https://m.cnbeta.com.tw/view/1400019.htm

新研究发现儿童的大脑受他们使用科技设备时间的影响

新研究发现儿童的大脑受他们使用科技设备时间的影响研究人员在承认这些影响的同时，并没有建议对屏幕时间进行具体限制，因为这有可能引发冲突。他们建议，政策制定者应通过支持促进积极大脑发育的项目，帮助家长管理孩子的数字参与。最近发表在同行评审期刊《早期教育与发展》（EarlyEducationandDevelopment）上的证据综述分析了33项使用神经成像技术测量数字技术对12岁以下儿童大脑影响的研究。研究共涉及3万多名参与者。研究发现，屏幕时间尤其会导致大脑前额叶皮层发生变化，而前额叶皮层是工作记忆、计划能力或灵活应对情况等执行功能的基础。研究还发现，顶叶（帮助我们处理触觉、压力、冷热和疼痛）、颞叶（对记忆、听力和语言非常重要）和枕叶（帮助我们解读视觉信息）也会受到影响。数字体验与认知发展这项研究的通讯作者、香港教育大学教育与人类发展学院讲席教授李慧说："教育者和照顾者都应该认识到，儿童的认知发展可能会受到他们的数字体验的影响。限制他们的屏幕时间是一种有效但具有挑战性的方法，还可以开发和实施更多创新、友好和实用的策略。那些处于决策地位的人应该为儿童的数字使用提供适当的指导、参与和支持"。除了香港教育大学的专家外，研究团队还包括来自中国上海师范大学和澳大利亚麦考瑞大学的专家，他们希望了解在发育的关键时期，数字活动如何影响大脑的可塑性（或可塑性）。众所周知，视觉发育大多发生在8岁之前，而语言学习的关键时期则在12岁之前。他们综合并评估了2000年1月至2023年4月期间发表的有关儿童数字使用和相关大脑发育的研究，参与者的年龄在6个月以上。研究结果参与者最常使用的是屏幕媒体，其次是游戏、虚拟视觉场景、视频观看和编辑，以及互联网或Pad的使用。论文的结论是，这些早期数字体验对儿童大脑的形态和功能产生了重大影响。这既有潜在的积极影响，也有消极影响，但主要是消极影响。例如，在一些关于屏幕时间如何影响注意力、执行控制能力、抑制控制、认知过程和功能连接所需的大脑功能的研究中，我们看到了负面影响。其他研究表明，屏幕时间越长，与语言和认知控制有关的大脑区域的功能连接性越低，可能对认知发展产生不利影响。研究库中评估了一些基于设备的研究。研究发现，平板设备用户的大脑功能和解决问题的能力较差。在四项研究中发现，视频游戏和大量上网者的大脑区域会产生负面变化，影响智力分数和脑容量。而一般的"密集媒体使用"被证明可能会影响视觉处理和高级认知功能区域。不过，有六项研究表明，这些数字体验会对儿童的大脑功能产生积极影响。例如，一项研究发现，大脑额叶的专注力和学习能力得到了提高。同时，另一项研究表明，玩电子游戏可以增加认知需求，从而有可能提高儿童的执行功能和认知技能。教授的团队得出结论，政策制定者必须根据这些研究结果采取行动，为教师和家长提供循证实践支持。呼吁行动和政策制定主要作者、香港教育大学的吴丹丹博士说："这项调查对实际改进和政策制定具有重要意义。首先，教育者和看护者都应认识到，儿童的认知发展可能会受到其数字体验的影响。因此，他们应为儿童的数字使用提供适当的指导、参与和支持。政策制定者必须制定和执行以实证为基础的政策，以保障和促进儿童在数字时代的大脑发育。这可能涉及提供资源和激励措施，以创建和审查旨在促进儿童大脑发育的数字干预措施。"作者评论说，这项研究的一个局限性是缺乏研究综述，他们表示，这可能是因为这一主题"新颖且正在兴起，研究技术也在不断发展"。此外，他们还补充说，"这篇范围界定综述""还没有解决一些关键问题，例如是早期数字使用（例如屏幕时间）还是认知过程（即学习经验）推动了大脑功能和结构的变化，以及数字设备类型和使用模式是否会产生不同的影响。因此，作者建议未来的研究应探索屏幕对大脑功能影响的纵向研究等技术。...PC版：https://www.cnbeta.com.tw/articles/soft/1398357.htm手机版：https://m.cnbeta.com.tw/view/1398357.htm

研究发现深部脑刺激有助于中风后的康复

研究发现深部脑刺激有助于中风后的康复一项研究发现，脑深部刺激与物理疗法相配合有助于中风后康复/克利夫兰诊所虽然紧急医疗保健、成像和医疗设备的进步改善了急性期中风的治疗，但高达50%的幸存者在中风后留下慢性残疾，这往往导致他们需要他人的帮助才能完成日常活动。中风患者通常会留下上肢损伤，包括肌肉和肌张力减弱或受损以及感觉变化。克利夫兰诊所的研究人员研究了使用一种新的侵入性手术方法来帮助中风后长期受损的人康复。他们的首次人体一期临床试验涉及齿状核的深部脑刺激（DBS），齿状核是大脑中负责调节随意运动、认知、语言和感觉功能精细控制的部分。12名在12至36个月前单侧大脑中动脉中风后出现持续中度至重度上肢损伤的参与者，通过手术将电极插入他们的小脑。类似心脏起搏器的设备会发出微小的电脉冲，帮助参与者恢复对运动的控制。手术后出院后，参与者接受了数月的物理治疗，首先关闭DBS设备几周，然后打开四到八个月。研究人员在设备打开后看到了最大的改善，12名参与者中有9名的运动损伤和功能都有改善。没有观察到严重的不良反应。损伤的严重程度影响了参与者的表现。根据使用Fugl-Meyer中风恢复评估的治疗前和治疗后评分，那些至少保留最低限度运动功能的人的收益几乎增加了两倍。该研究的通讯作者安德烈·马查多(AndreMachado)表示：“这些[研究结果]让患者感到安心，因为研究参与者在中风后已经残疾一年多，在某些情况下甚至三年了。这为我们提供了一个潜在的机会，可以在中风恢复的慢性阶段进行急需的康复改善。对治疗有反应的研究参与者的生活质量影响是显着的。”研究人员得出结论，DBS联合物理治疗是安全可行的。他们计划使用更大的样本量进行进一步的研究。该研究的主要作者肯尼斯·贝克说：“目前没有有效的方法来改善数十万中风幸存者的身体康复结果。研究结果发现，深部脑刺激与物理治疗相结合，可以改善中风一年多后患者的运动能力，并且其运动改善已基本趋于稳定。这告诉我们，这项研究值得在更大的患者样本中进行进一步调查。”该研究发表在《自然医学》杂志上。...PC版：https://www.cnbeta.com.tw/articles/soft/1377413.htm手机版：https://m.cnbeta.com.tw/view/1377413.htm

AI读心术来了，准确率高达82%？论文已刊登在Nature

AI读心术来了，准确率高达82%？论文已刊登在Nature根据实验结果显示，GPT人工智能大模型感知语音的准确率可高达82%，令人惊叹。01.“读心术”的探索事实上，科技圈对“读心术”的探索并非近日才展开。过去，马斯克建立的神经科技公司Neuralink也一直在寻找高效实现脑机接口的方法，其还与加州大学戴维斯分校合作，实现用猴子大脑控制电脑的实验，旨在最终想要将芯片植入大脑，用“细丝”探测神经元活动。不过，值得注意的是，Neuralink的这种方案属于侵入式的。所谓侵入式，是指将脑机接口直接植入到大脑的灰质，因而所获取的神经信号的质量比较高。这种方式的缺点是容易引发免疫反应和愈伤组织（疤），进而导致信号质量的衰退甚至消失。与之相对应的是非侵入式脑机接口，它是一种能够在人脑与外部设备之间直接建立通讯的人机交互技术，具有操作便捷、风险性小等优点。以往，行业内可以通过功能性磁共振成像（FMRI）捕捉人类大脑活动的粗糙、彩色快照。虽然这种特殊类型的磁共振成像已经改变了认知神经科学，但是它始终不是一台读心机：神经科学家无法通过大脑扫描来判断某人在扫描仪中看到、听到或思考的内容。此后，神经科学家一直希望可以使用fMRI等非侵入性技术来破译人类大脑内部的声音，而无需手术。如今，随着《Semanticreconstructionofcontinuouslanguagefromnon-invasivebrainrecordings》论文的发布，该论文的主要作者JerryTang通过将fMRI检测神经活动的能力与人工智能语言模型的预测能力相结合，可以以惊人的准确度重现人们在扫描仪中听到或想象的故事。解码器甚至可以猜出某人在扫描仪中观看短片背后的故事，尽管准确性较低，但也实现了一大进步。这也意味着，参与者不需要植入任何外界设备，AI系统就能解码大脑中的想法。02.没说过的话，AI是怎么知道的？自ChatGPT、GPT-4发布的几个月间，我们见证了大模型根据提示词不断输出内容的过程。要问AI系统如何了解人类大脑中的想法，在论文中，研究人员透露，首先让参与者听新故事，然后功能性磁共振成像（FMRI）可以呈现出参与者大脑的活动状态。进而，基于最新开发的语义解码器将这些状态，生成相应的单词序列，并通过将用户大脑反应的预测与实际记录的大脑反应进行比较，最终预测每个候选单词序列与实际单词序列的相似程度，看看准确率如何，是否能“读心”。具体来看，为了收集大脑活动数据，研究人员让研究对象在fMRI扫描仪内听一些音频故事。与此同时，通过fMRI扫描仪观察他们的大脑在听这些话时反应情况。如图a所示，3名受试者在听16小时的叙述性的故事时，AI系统记录了MRI（磁共振成像）的反应。然后，MRI数据被发送到计算机系统中。在这个过程中，研究人员使用了基于贝叶斯统计的解码框架。大型语言模型GPT-1在系统的自然语言处理部分提供了帮助。由于这个神经语言模型是在大量的自然英语单词序列数据集上进行训练的，它擅长预测最可能的单词。接下来，研究人员在这个数据集上训练编码模型。在初始训练时，如b图所示，当受试者在试听此前没有用于模型训练的测试故事时，大脑会做出不同的反应。进而，语义解码器可以根据参与者的大脑活动生成词汇序列，语言模型（LM）为每个序列提出连续性，而编码模型对每个连续性下记录的大脑反应的可能性进行评分。简单来看，语义解码器学会了将特定的大脑活动与特定的单词流相匹配。然后根据匹配出来的单词流，试图重新输出这些故事。不过，语义解码器主要捕捉了参与者想法中的要点，并不是一字一句的完整思想内容。如参与者听到的是，“我从气垫上站起来，把脸贴在卧室窗户的玻璃上，希望看到有一双眼睛盯着我，但却发现只有一片黑暗。”但是想法却是，“我继续走到窗前，打开窗户，我什么也没看见，再抬头看，什么也没看见。”又比如说参与者听到的是，“我还没有驾照”，语义解码器解码之后的版本可能是，“她还没有学会开车”。语义解码器捕捉参与者的想法通过这种方法，在一系列语言相似性指标下，语义解码器对测试故事的预测与实际刺激词的相似度明显高于预期。准确率也高达82%。该论文的另一位作者AlexanderHuth表示，他们对系统出色的表现感到惊讶。他们发现解码后的单词序列通常能够准确地捕捉到单词和短语。他们还发现他们可以从大脑的不同区域分别提取连续的语言信息。除此之外，为了测试解码的文本是否准确捕捉到故事的含义，研究人员还进行了一项行为实验，通过向只阅读解码后单词的受试者提问一系列问题。受试者在没有看过视频的情况下，能够正确回答超过一半的问题。03.语义解码器刚起步，道阻且长不过，当前，该语义解码器还无法在实验室以外的地方使用，因为它依赖于fMRI设备。对于未来的工作，研究人员希望自然语言神经网络的快速进展能够带来更好的准确性。到目前为止，他们发现较大、现代的语言模型至少在编码部分工作得更好。他们还希望能够使用更大的数据集，比如每个受试者100或200小时的数据。虽然这种非侵入性的方式，可能会对医学维度的研究以及患者有极大的好处，使其可以与他人进行可理解的交流，但是也存在隐私、伦理审查、不平等和歧视、滥用和侵犯人权等诸多问题，所以想要现实中应用也大有难度。与此同时，研究人员表明，语义解码器仅在接受过训练的人身上以及与其合作下才能正常工作，因为针对一个人训练的模型不适用于另一个人，当前还无法做到通用。“虽然这项技术还处于起步阶段，但重要的是要规范它能做什么，不能做什么，”该论文的主要作者JerryTang警告说。“如果它最终可以在未经个人许可的情况下使用，就必须有（严格的）监管程序，因为如果滥用预测框架可能会产生负面后果。”该小组已在GitHub上提供了其自定义解码代码。据悉该团队也在得克萨斯大学系统的支持下提交了与这项研究直接相关的专利申请。...PC版：https://www.cnbeta.com.tw/articles/soft/1358759.htm手机版：https://m.cnbeta.com.tw/view/1358759.htm