可调谐忆阻器的研发进展有助于人工神经网络更高效处理随时间变化的数据

可调谐忆阻器的研发进展有助于人工神经网络更高效处理随时间变化的数据人工神经网络也许很快就能更高效地处理随时间变化的信息,如音频和视频数据。密歇根大学领导的一项研究在今天的《自然-电子学》(NatureElectronics)杂志上报告了首个具有可调节"弛豫时间"的忆阻器。忆阻器是一种将信息存储在电阻中的电子元件,与当今的图形处理单元相比,它可以将人工智能的能源需求降低约90倍。预计到2027年,人工智能的耗电量将占全球总耗电量的一半左右,而且随着越来越多的公司销售和使用人工智能工具,这一比例还有可能进一步上升。"现在,人们对人工智能很感兴趣,但要处理更大、更有趣的数据,方法就是扩大网络规模。这效率并不高,"麻省理工大学詹姆斯-R-梅勒工程学教授WeiLu说,他与麻省理工大学材料科学与工程学副教授JohnHeron是这项研究的共同通讯作者。图形处理器的问题问题在于,GPU的运行方式与运行人工智能算法的人工神经网络截然不同--整个网络及其所有互动都必须从外部存储器中顺序加载,这既耗时又耗能。相比之下,忆阻器可以节省能源,因为它们模仿了人工神经网络和生物神经网络在没有外部存储器的情况下运行的主要方式。在某种程度上,忆阻器网络可以体现人工神经网络。麻省理工学院材料科学与工程系应届博士毕业生SieunChae与麻省理工学院电气与计算机工程系应届博士毕业生SangminYoo是这项研究的共同第一作者。在生物神经网络中,计时是通过放松来实现的。每个神经元都会接收电信号并将其发送出去,但这并不能保证信号会向前推进。在神经元发送自己的信号之前,必须先达到接收信号的某个阈值,而且必须在一定时间内达到该阈值。如果时间过长,神经元就会随着电能的渗出而松弛。神经网络中具有不同松弛时间的神经元有助于我们理解事件的顺序。忆阻器如何工作忆阻器的工作原理略有不同。改变的不是信号的存在与否,而是有多少电信号可以通过。接触到一个信号,忆阻器的电阻就会降低,从而允许更多的下一个信号通过。在忆阻器中,弛豫意味着随着时间的推移,电阻会再次上升。Lu的研究小组过去曾探索过在忆阻器中加入弛豫时间,但这并不是可以系统控制的。但现在,Lu和Heron的团队已经证明,基础材料的变化可以提供不同的弛豫时间,从而使忆阻器网络能够模仿这种计时机制。材料成分和测试研究小组在超导体YBCO(由钇、钡、碳和氧制成)的基础上构建了这些材料。YBCO在零下292华氏度的温度下没有电阻,但他们想要它的晶体结构。它引导着镁氧化物、钴氧化物、镍氧化物、铜氧化物和锌氧化物在忆阻器材料中的组织。赫伦称这种熵稳定氧化物为"原子世界的厨房水槽"--添加的元素越多,它就越稳定。通过改变这些氧化物的比例,研究小组获得了159到278纳秒(即万亿分之一秒)的时间常数。他们构建的简单忆阻器网络学会了识别0到9数字的发音。一旦经过训练,它就能在音频输入完成之前识别出每个数字。未来展望这些忆阻器是通过能源密集型工艺制造的,因为研究小组需要完美的晶体来精确测量它们的特性,但他们预计,更简单的工艺也适用于大规模制造。赫伦说:"到目前为止,这只是一个愿景,但我认为有一些途径可以使这些材料具有可扩展性,而且价格合理。这些材料是地球上丰富的资源,无毒、廉价,你几乎可以把它们喷洒在上面。"编译来源:ScitechDailyDOI:10.1038/s41928-024-01169-1...PC版:https://www.cnbeta.com.tw/articles/soft/1433229.htm手机版:https://m.cnbeta.com.tw/view/1433229.htm

相关推荐

封面图片

研究人员在高精度计算中释放忆阻器的威力

研究人员在高精度计算中释放忆阻器的威力麻省理工大学阿默斯特分校制作的集成芯片示例照片,其中包含不同尺寸的忆阻器横条阵列。图片来源:CanLi马萨诸塞大学阿默斯特分校电气与计算机工程系教授、《科学》(Science)杂志上发表的这项研究的通讯作者之一夏强飞解释说,在当前的计算方法下,每次要存储信息或给计算机布置任务时,都需要在内存和计算单元之间移动数据。当复杂的任务需要移动大量数据时,处理过程中就会出现"交通堵塞"。传统计算解决这一问题的方法之一是增加带宽。相反,Xia和他在阿默斯特大学、南加州大学以及计算技术制造商TetraMem公司的同事们利用模拟忆阻器技术实现了内存计算,通过减少数据传输次数来避免这些瓶颈。该团队的内存计算依赖于一种名为"忆阻器"的电子元件--它是内存和电阻器(控制电路中的电流)的结合体。忆阻器可以控制电路中的电流流向,同时还能"记忆"先前的状态,即使在电源关闭的情况下也是如此,这与当今基于晶体管的计算机芯片不同,后者只能在有电的情况下保存信息。忆阻器装置可编程为多个电阻等级,从而提高了一个单元的信息密度。当这种忆阻器电路被组织成一个交叉棒阵列时,就能以大规模并行的方式利用物理定律进行模拟计算,从而大大加快矩阵运算的速度,而矩阵运算是神经网络中最常用但却非常耗电的计算。计算在设备现场进行,而不是在内存和处理之间移动数据。夏用交通作类比,把内存计算比作大流行病高峰期几乎空无一人的道路:"你消除了交通,因为(几乎)每个人都在家工作,"他说。"我们同时工作,但只将重要数据/结果发送出去"。此前,这些研究人员已经证明,他们的忆阻器可以完成低精度计算任务,如机器学习。其他应用还包括模拟信号处理、射频传感和硬件安全。夏说:"在这项工作中,我们提出并演示了一种新的电路架构和编程协议,它可以使用多个相对低精度的模拟器件(如忆阻器)的加权和来有效地表示高精度数,与现有的量化方法相比,大大降低了电路开销、能耗和延迟。这篇论文的突破在于,我们进一步推动了这一领域的发展。这项技术不仅适用于低精度的神经网络计算,也适用于高精度的科学计算"。在原理验证演示中,忆阻器解决了静态和时变偏微分方程、纳维-斯托克斯方程和磁流体力学问题。他说:"我们突破了自己的舒适区,从边缘计算神经网络的低精度要求扩展到高精度科学计算。"马萨诸塞大学阿默斯特分校的团队和合作者花了十多年时间才设计出合适的忆阻器设备,并为模拟内存计算构建了相当规模的电路和计算机芯片。"我们过去十年的研究使模拟忆阻器成为一项可行的技术。现在是时候把这样一项伟大的技术推向半导体行业,使广大的人工智能硬件社区受益了。"编译自:ScitechDaily...PC版:https://www.cnbeta.com.tw/articles/soft/1425908.htm手机版:https://m.cnbeta.com.tw/view/1425908.htm

封面图片

WorldBrain 神经网络 beta 系统 APP 正式上线

WorldBrain神经网络beta系统APP正式上线6月21日消息,WorldBrain神经网络系统AndroidAPP已于6月20日正式上线。WorldBrain神经网络系统APP涵盖WBC激活质押、每日交互奖励、邀请奖励等交互激励,利用先进的神经网络算法,为用户带来了丰富的交互体验。据悉,WorldBrain神经网络系统beta版上线两个月以来,目前注册用户近300万,链上持币地址超过15万。在WorldBrain生态,用户可以更直接地参与到去中心化人工智能网络中,享受更安全、更高效、去中心化的智能交互和价值创造。

封面图片

采用芯原股份神经网络处理器 IP 的 AI 类芯片累计出货超 1 亿颗

采用芯原股份神经网络处理器IP的AI类芯片累计出货超1亿颗据芯原股份2月29日消息,全球采用芯原神经网络处理器(NPU)IP的人工智能(AI)类芯片累计出货超过1亿颗,主要应用于物联网、可穿戴设备、智慧电视等10个市场领域;过去7年,芯原股份NPUIP已被72家客户用于上述市场领域的128款AI芯片中。另外,芯原最新推出的VIP9000系列NPUIP提供了可扩展和高性能的处理能力,适用于Transformer和卷积神经网络(CNN),并具备4位量化和压缩技术,以解决带宽限制问题。(证券时报)

封面图片

在水中进行神经网络计算的离子电路问世

在水中进行神经网络计算的离子电路问世美国哈佛大学工程与应用科学学院 (SEAS)团队与生物技术初创公司DNA Script合作,开发出一种由数百个离子晶体管组成的离子电路,并执行了神经网络计算的核心过程。该研究发表在最近的《先进材料》上。PC版:https://www.cnbeta.com/articles/soft/1322795.htm手机版:https://m.cnbeta.com/view/1322795.htm

封面图片

人工智能的未来:自学习机器可能取代当前的神经网络

人工智能的未来:自学习机器可能取代当前的神经网络基于物理学的新型自学机器可以取代目前的人工神经网络并节约能源。人工智能(AI)不仅性能惊人,而且需要大量能源。承担的任务越复杂,能耗就越大。德国埃尔兰根马克斯-普朗克光科学研究所的科学家维克托-洛佩斯-帕斯托尔和弗洛里安-马夸特开发出了一种更高效的人工智能训练方法。他们的方法利用物理过程,有别于传统的数字人工神经网络。负责开发为ChatGPT提供动力的GPT-3技术的OpenAI公司没有透露训练这个知识渊博的高级人工智能聊天机器人所需的能量。根据德国统计公司Statista的数据,这将需要1000兆瓦时,大约相当于200个三人或三人以上的德国家庭的年消耗量。虽然这种能源消耗使GPT-3能够了解在其数据集中,"deep"一词后面更有可能出现的是"sea"还是"learning",但无论如何,它都无法理解这些短语的深层含义。神经形态计算机上的神经网络在过去几年中,为了降低计算机,特别是人工智能应用的能耗,一些研究机构一直在研究一种全新的概念,即未来计算机如何处理数据。这一概念被称为神经形态计算。虽然这听起来类似于人工神经网络,但实际上与人工神经网络关系不大,因为人工神经网络是在传统的数字计算机上运行的。这意味着,软件或更准确地说算法是以大脑的工作方式为模型的,但数字计算机是硬件。它们依次执行神经元网络的计算步骤,一个接一个,区分处理器和内存。马克斯-普朗克光科学研究所所长、埃尔兰根大学教授弗洛里安-马夸特(FlorianMarquardt)说:"当一个神经网络用多达1TB的数据训练数千亿个参数(即突触)时,仅这两个组件之间的数据传输就会消耗大量能量。"如果人脑的工作能效与使用硅晶体管的计算机类似,那么人脑就完全不同,在进化过程中可能永远不会具有竞争力。它很可能会因过热而失效。大脑的特点是并行而非顺序地完成思维过程的众多步骤。神经细胞,或者更准确地说,突触,既是处理器,又是存储器。世界各地的各种系统都被视为神经细胞的神经形态对应物的可能候选者,其中包括利用光而不是电子进行计算的光子电路。它们的元件同时充当开关和存储单元。自学物理机器独立优化突触弗洛里安-马夸特与马克斯-普朗克光科学研究所的博士生维克托-洛佩斯-帕斯托尔(VíctorLópez-Pastor)一起,为神经形态计算机设计出了一种高效的训练方法。他解释说:"我们提出了自我学习物理机器的概念。核心思想是以物理过程的形式进行训练,其中机器的参数由过程本身进行优化。在训练传统人工神经网络时,需要外部反馈来调整数十亿个突触连接的强度。不需要这种反馈,训练效率就会高得多。在自学习物理机器上实施和训练人工智能,不仅可以节约能源,还能节省计算时间。我们的方法不管自学机器中的物理过程是什么,都能发挥作用,我们甚至不需要知道具体的过程。不过,这个过程必须满足几个条件,最重要的是,它必须是可逆的,也就是说,它必须能够以最小的能量损失向前或向后运行。""此外,物理过程必须是非线性的,即足够复杂。只有非线性过程才能完成输入数据和结果之间的复杂转换。一个弹球在盘子上滚动而不会与另一个弹球相撞,这是一个线性动作。但是,如果它受到另一个弹球的干扰,情况就会变成非线性的。"光学神经形态计算机的实际测试光学中也有可逆非线性过程的例子。事实上,维克多-洛佩斯-帕斯托尔(VíctorLópez-Pastor)和弗洛里安-马夸特(FlorianMarquardt)已经与一个实验小组合作开发了一台光学神经形态计算机。这台机器以叠加光波的形式处理信息,由合适的元件调节互动的类型和强度。研究人员的目标是将自学物理机器的概念付诸实践。弗洛里安-马夸特说:"我们希望能在三年内推出第一台自学物理机器。到那时,神经网络的突触数量和训练数据量都将大大超过今天的水平。因此,人们可能会更加希望在传统数字计算机之外实现神经网络,并用训练有素的神经形态计算机取而代之。我们相信,自学物理机器很有可能被用于人工智能的进一步发展。"...PC版:https://www.cnbeta.com.tw/articles/soft/1399137.htm手机版:https://m.cnbeta.com.tw/view/1399137.htm

封面图片

CIANNA - 天体物理学家的卷积交互式人工神经网络

CIANNA-天体物理学家的卷积交互式人工神经网络CIANNA是一个通用深度学习框架,主要开发和用于天文数据分析。根据天体物理问题解决的相关性添加功能和优化。CIANNA可用于构建和训练用于各种任务的大型神经网络模型,并提供高级Python接口(类似于keras、pytorch等)。CIANNA的特点之一是其定制实现的受YOLO启发的物体检测器,用于2D或3D射电天文数据产品中的星系检测。该框架通过低级CUDA编程完全由GPU加速。#框架

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人