DeepL 是一款基于神经网络技术的在线翻译工具，「翻译质量好到不需要人工校对」，支持包括中文在内的总计 26 种语言，500

DeepL是一款基于神经网络技术的在线翻译工具，「翻译质量好到不需要人工校对」，支持包括中文在内的总计26种语言，500多种语言组合互相翻译，在拥有网页版本、Windows、macOS客户端之后，2021年5月发布了官方iPhone、iPad客户端，目前依旧免费。链接：https://www.appmiu.com/9928.html标签：#全平台#翻译#语言群聊：@appmiu

人工智能的未来：自学习机器可能取代当前的神经网络

人工智能的未来：自学习机器可能取代当前的神经网络基于物理学的新型自学机器可以取代目前的人工神经网络并节约能源。人工智能（AI）不仅性能惊人，而且需要大量能源。承担的任务越复杂，能耗就越大。德国埃尔兰根马克斯-普朗克光科学研究所的科学家维克托-洛佩斯-帕斯托尔和弗洛里安-马夸特开发出了一种更高效的人工智能训练方法。他们的方法利用物理过程，有别于传统的数字人工神经网络。负责开发为ChatGPT提供动力的GPT-3技术的OpenAI公司没有透露训练这个知识渊博的高级人工智能聊天机器人所需的能量。根据德国统计公司Statista的数据，这将需要1000兆瓦时，大约相当于200个三人或三人以上的德国家庭的年消耗量。虽然这种能源消耗使GPT-3能够了解在其数据集中，"deep"一词后面更有可能出现的是"sea"还是"learning"，但无论如何，它都无法理解这些短语的深层含义。神经形态计算机上的神经网络在过去几年中，为了降低计算机，特别是人工智能应用的能耗，一些研究机构一直在研究一种全新的概念，即未来计算机如何处理数据。这一概念被称为神经形态计算。虽然这听起来类似于人工神经网络，但实际上与人工神经网络关系不大，因为人工神经网络是在传统的数字计算机上运行的。这意味着，软件或更准确地说算法是以大脑的工作方式为模型的，但数字计算机是硬件。它们依次执行神经元网络的计算步骤，一个接一个，区分处理器和内存。马克斯-普朗克光科学研究所所长、埃尔兰根大学教授弗洛里安-马夸特（FlorianMarquardt）说："当一个神经网络用多达1TB的数据训练数千亿个参数（即突触）时，仅这两个组件之间的数据传输就会消耗大量能量。"如果人脑的工作能效与使用硅晶体管的计算机类似，那么人脑就完全不同，在进化过程中可能永远不会具有竞争力。它很可能会因过热而失效。大脑的特点是并行而非顺序地完成思维过程的众多步骤。神经细胞，或者更准确地说，突触，既是处理器，又是存储器。世界各地的各种系统都被视为神经细胞的神经形态对应物的可能候选者，其中包括利用光而不是电子进行计算的光子电路。它们的元件同时充当开关和存储单元。自学物理机器独立优化突触弗洛里安-马夸特与马克斯-普朗克光科学研究所的博士生维克托-洛佩斯-帕斯托尔（VíctorLópez-Pastor）一起，为神经形态计算机设计出了一种高效的训练方法。他解释说："我们提出了自我学习物理机器的概念。核心思想是以物理过程的形式进行训练，其中机器的参数由过程本身进行优化。在训练传统人工神经网络时，需要外部反馈来调整数十亿个突触连接的强度。不需要这种反馈，训练效率就会高得多。在自学习物理机器上实施和训练人工智能，不仅可以节约能源，还能节省计算时间。我们的方法不管自学机器中的物理过程是什么，都能发挥作用，我们甚至不需要知道具体的过程。不过，这个过程必须满足几个条件，最重要的是，它必须是可逆的，也就是说，它必须能够以最小的能量损失向前或向后运行。""此外，物理过程必须是非线性的，即足够复杂。只有非线性过程才能完成输入数据和结果之间的复杂转换。一个弹球在盘子上滚动而不会与另一个弹球相撞，这是一个线性动作。但是，如果它受到另一个弹球的干扰，情况就会变成非线性的。"光学神经形态计算机的实际测试光学中也有可逆非线性过程的例子。事实上，维克多-洛佩斯-帕斯托尔（VíctorLópez-Pastor）和弗洛里安-马夸特（FlorianMarquardt）已经与一个实验小组合作开发了一台光学神经形态计算机。这台机器以叠加光波的形式处理信息，由合适的元件调节互动的类型和强度。研究人员的目标是将自学物理机器的概念付诸实践。弗洛里安-马夸特说："我们希望能在三年内推出第一台自学物理机器。到那时，神经网络的突触数量和训练数据量都将大大超过今天的水平。因此，人们可能会更加希望在传统数字计算机之外实现神经网络，并用训练有素的神经形态计算机取而代之。我们相信，自学物理机器很有可能被用于人工智能的进一步发展。"...PC版：https://www.cnbeta.com.tw/articles/soft/1399137.htm手机版：https://m.cnbeta.com.tw/view/1399137.htm

可调谐忆阻器的研发进展有助于人工神经网络更高效处理随时间变化的数据

可调谐忆阻器的研发进展有助于人工神经网络更高效处理随时间变化的数据人工神经网络也许很快就能更高效地处理随时间变化的信息，如音频和视频数据。密歇根大学领导的一项研究在今天的《自然-电子学》（NatureElectronics）杂志上报告了首个具有可调节"弛豫时间"的忆阻器。忆阻器是一种将信息存储在电阻中的电子元件，与当今的图形处理单元相比，它可以将人工智能的能源需求降低约90倍。预计到2027年，人工智能的耗电量将占全球总耗电量的一半左右，而且随着越来越多的公司销售和使用人工智能工具，这一比例还有可能进一步上升。"现在，人们对人工智能很感兴趣，但要处理更大、更有趣的数据，方法就是扩大网络规模。这效率并不高，"麻省理工大学詹姆斯-R-梅勒工程学教授WeiLu说，他与麻省理工大学材料科学与工程学副教授JohnHeron是这项研究的共同通讯作者。图形处理器的问题问题在于，GPU的运行方式与运行人工智能算法的人工神经网络截然不同--整个网络及其所有互动都必须从外部存储器中顺序加载，这既耗时又耗能。相比之下，忆阻器可以节省能源，因为它们模仿了人工神经网络和生物神经网络在没有外部存储器的情况下运行的主要方式。在某种程度上，忆阻器网络可以体现人工神经网络。麻省理工学院材料科学与工程系应届博士毕业生SieunChae与麻省理工学院电气与计算机工程系应届博士毕业生SangminYoo是这项研究的共同第一作者。在生物神经网络中，计时是通过放松来实现的。每个神经元都会接收电信号并将其发送出去，但这并不能保证信号会向前推进。在神经元发送自己的信号之前，必须先达到接收信号的某个阈值，而且必须在一定时间内达到该阈值。如果时间过长，神经元就会随着电能的渗出而松弛。神经网络中具有不同松弛时间的神经元有助于我们理解事件的顺序。忆阻器如何工作忆阻器的工作原理略有不同。改变的不是信号的存在与否，而是有多少电信号可以通过。接触到一个信号，忆阻器的电阻就会降低，从而允许更多的下一个信号通过。在忆阻器中，弛豫意味着随着时间的推移，电阻会再次上升。Lu的研究小组过去曾探索过在忆阻器中加入弛豫时间，但这并不是可以系统控制的。但现在，Lu和Heron的团队已经证明，基础材料的变化可以提供不同的弛豫时间，从而使忆阻器网络能够模仿这种计时机制。材料成分和测试研究小组在超导体YBCO（由钇、钡、碳和氧制成）的基础上构建了这些材料。YBCO在零下292华氏度的温度下没有电阻，但他们想要它的晶体结构。它引导着镁氧化物、钴氧化物、镍氧化物、铜氧化物和锌氧化物在忆阻器材料中的组织。赫伦称这种熵稳定氧化物为"原子世界的厨房水槽"--添加的元素越多，它就越稳定。通过改变这些氧化物的比例，研究小组获得了159到278纳秒（即万亿分之一秒）的时间常数。他们构建的简单忆阻器网络学会了识别0到9数字的发音。一旦经过训练，它就能在音频输入完成之前识别出每个数字。未来展望这些忆阻器是通过能源密集型工艺制造的，因为研究小组需要完美的晶体来精确测量它们的特性，但他们预计，更简单的工艺也适用于大规模制造。赫伦说："到目前为止，这只是一个愿景，但我认为有一些途径可以使这些材料具有可扩展性，而且价格合理。这些材料是地球上丰富的资源，无毒、廉价，你几乎可以把它们喷洒在上面。"编译来源：ScitechDailyDOI:10.1038/s41928-024-01169-1...PC版：https://www.cnbeta.com.tw/articles/soft/1433229.htm手机版：https://m.cnbeta.com.tw/view/1433229.htm

生物启发的神经网络模型令其记忆能力大大提升

生物启发的神经网络模型令其记忆能力大大提升电信号和生物化学信号的错综复杂的相互作用，以及神经元和其他细胞类型之间的连接网络，为记忆的形成创造了基础结构。尽管如此，由于对大脑基础生物学的了解有限，将大脑的复杂生物学编码到计算机模型中进行进一步研究已被证明是一项困难的任务。冲绳科学与技术研究所（OIST）的研究人员通过纳入生物学的见解，对广泛使用的记忆计算机模型（称为霍普菲尔德网络）进行了改进。这一改变启发了一个神经网络，它不仅更好地反映了神经元和其他细胞在大脑中的连接方式，而且还有能力储存更多的记忆。深井智树教授小组的博士生托马斯-伯恩斯说，网络中增加的复杂性使其更加现实，深井教授是OIST神经编码和脑计算部门的负责人。"为什么生物学会有这么多的复杂性？记忆能力可能是一个原因，"伯恩斯先生说。在经典的霍普菲尔德网络（左）中，每个神经元（I、j、k、l）都以成对的方式与其他神经元相连。在伯恩斯和深井教授制作的改良网络中，三个或更多的神经元组可以同时连接。资料来源：托马斯-伯恩斯（OIST）霍普菲尔德网络将记忆存储为系统中不同神经元之间的加权连接模式。网络被"训练"来编码这些模式，然后研究人员可以通过呈现一系列模糊或不完整的模式来测试它对这些模式的记忆，观察这一网络是否能将它们识别为它已经知道的模式。然而，在经典的霍普菲尔德网络中，模型中的神经元与网络中的其他神经元相互连接，形成一系列所谓的"配对"连接。成对连接代表了两个神经元在突触处的连接方式，突触是大脑中两个神经元的连接点。但在现实中，神经元有复杂的分支结构，称为树突，提供多个连接点，因此大脑依靠更复杂的突触安排来完成其认知工作。此外，神经元之间的连接是由称为星形胶质细胞的其他细胞类型调节的。伯恩斯解释说："大脑中只存在神经元之间的成对连接，这根本不现实。他创建了一个改良的霍普菲尔德网络，其中不仅有成对的神经元，而且有三组、四组或更多的神经元也可以连接起来，例如在大脑中可能通过星形胶质细胞和树突树发生。"尽管新的网络允许这些所谓的"集合式"连接，但总的来说，它包含的连接总数与以前一样。研究人员发现，一个包含成对连接和集合连接的混合网络表现最好，保留的记忆数量也最多。他们估计它的效果是传统霍普菲尔德网络的两倍以上。"事实证明，你实际上需要在某种程度上平衡各种特征的组合，"伯恩斯说，"单独的突触是必要的，但也应该需要一些树突树和一些星形胶质细胞。"霍普菲尔德网络对于模拟大脑过程非常重要，但它们也有强大的其他用途。例如，被称为变形金刚的非常类似的网络类型是基于人工智能的语言工具，如ChatGPT，所以伯恩斯和深井教授所确定的改进也可能使这类工具更加强大。伯恩斯和他的同事们计划继续研究他们修改后的霍普菲尔德网络，以使它们更加强大。例如，在大脑中，神经元之间的连接强度通常在两个方向上是不一样的，所以研究人员想知道这种不对称的特点是否也能提高网络的性能。此外，他还想探索使网络的记忆相互作用的方法，就像它们在人脑中的作用一样。我们的记忆是多方面的，而且很庞大。我们仍然有很多东西需要发掘。"...PC版：https://www.cnbeta.com.tw/articles/soft/1348821.htm手机版：https://m.cnbeta.com.tw/view/1348821.htm

韩国科学技术院研发出用于神经形态计算的新型超低功耗存储器

韩国科学技术院研发出用于神经形态计算的新型超低功耗存储器韩国科学技术院（KAIST）（院长Kwang-HyungLee）4月4日宣布，电气工程学院ShinhyunChoi教授的研究团队开发出了下一代相变存储器*设备，具有超低功耗的特点，可以取代DRAM和NAND闪存。相变记忆体指的是一种存储和/或处理信息的存储器件，利用热量将材料的结晶状态改变为非晶态或结晶态，从而改变其电阻状态。现有的相变存储器存在一些问题，如制造高比例器件的制造工艺昂贵，运行时需要大量电力。为了解决这些问题，Choi教授的研究团队开发出了一种超低功耗相变存储器件，它不需要昂贵的制造工艺，而是通过电学方法形成非常小的纳米（nm）级相变丝。这一新研发成果具有突破性的优势，不仅加工成本极低，而且还能以超低功耗运行。DRAM是最常用的存储器之一，速度非常快，但具有易失性，当电源关闭时数据就会消失。存储设备NAND闪存的读/写速度相对较慢，但它具有非易失性特点，即使在电源切断时也能保存数据。图1.本研究开发的超低功耗相变存储器件的图示，以及新开发的相变存储器件与传统相变存储器件的功耗对比。资料来源：韩国科学技术院新兴纳米技术与集成系统研究所另一方面，相变存储器结合了DRAM和NAND闪存的优点，具有高速和非易失性的特点。因此，相变存储器作为可替代现有存储器的下一代存储器备受瞩目，目前正被作为一种存储器技术或模拟人脑的神经形态计算技术而积极研究。然而，传统的相变存储器件在运行时需要消耗大量电能，因此难以制造出实用的大容量存储器产品或实现神经形态计算系统。为了最大限度地提高存储器件运行时的热效率，以前的研究工作主要集中在通过使用最先进的光刻技术缩小存储器件的物理尺寸来降低功耗，但这些研究在实用性方面受到了限制，因为功耗的改善程度微乎其微，而成本和制造难度却随着每次改进而增加。为了解决相变存储器的功耗问题，ShinhyunChoi教授的研究团队创造了一种在极小面积内电形成相变材料的方法，成功实现了超低功耗相变存储器件，其功耗比使用昂贵的光刻工具制造的传统相变存储器件低15倍。ShinhyunChoi教授对这项研究未来在新研究领域的发展充满信心，他说："我们开发的相变存储器件意义重大，因为它提供了一种新颖的方法，可以解决生产存储器件过程中的遗留问题，同时大大提高制造成本和能源效率。我们期待我们的研究成果能成为未来电子工程的基础，实现包括高密度三维垂直存储器和神经形态计算系统在内的各种应用，因为它开辟了从多种材料中进行选择的可能性。我要感谢韩国国家研究基金会和国家纳米实验室中心对这项研究的支持。"4月4日，国际著名学术期刊《自然》（Nature）4月刊发表了这项研究的论文，KAIST电气工程学院博士生See-OnPark和博士生SeokmanHong作为第一作者参与了这项研究。编译自:ScitechDaily...PC版：https://www.cnbeta.com.tw/articles/soft/1426588.htm手机版：https://m.cnbeta.com.tw/view/1426588.htm

IBM模拟AI芯片登Nature：能效提升14倍 语音识别速度提升7倍

IBM模拟AI芯片登Nature：能效提升14倍语音识别速度提升7倍一、利用PCM存储数据，模拟芯片解决AI技术高能耗问题AI相关技术在飞速发展的同时，也面临着能源消耗的问题。为了提升能源效率，IBM来自世界各地实验室的研究人员共同研发了这款模拟AI芯片。据称，在两个AI推理实验中，该芯片都像同类数字芯片一样可靠地执行任务，但其完成任务的速度更快，能耗更低。IBM称，其研究人员一直都在深耕模拟AI芯片领域。2021年，其团队就发布了一款名为Fusion的模拟芯片，利用PCM设备的存储能力和物理属性，更高效地实现人工神经网络。传统计算机基于冯·诺依曼结构——一种将程序指令存储器和数据存储器合并在一起的电脑设计概念结构，每次计算都将数据从DRAM（动态随机存取存储器）内存传输到CPU，导致工作速度受到实际限制，永远无法实现CPU的真正计算能力，这被称为“冯·诺依曼瓶颈”。▲当每次计算将数据从DRAM内存传输到CPU时，传统计算机就会出现瓶颈（图源：IBM官网）通过利用PCM设备的物理特性，模拟芯片可以克服冯·诺依曼瓶颈，在存储数据的同一位置执行计算。由于没有数据移动，它可以在很短的时间内执行任务，并且消耗的能源更少。▲模拟芯片通过在存储数据的地方执行计算来克服瓶颈（图源：IBM官网）例如，将64位数据从DRAM移动到CPU会消耗1-2nJ（纳焦）能量，而在PCM设备上执行只需消耗1-100fJ（飞焦），是前者的1万至200万分之一。当扩展到数十亿次操作时，所节省的能源是巨大的。此外，当设备不活动时，PCM不会消耗电力，即使断电数据也将保留10年。二、采用全新设计方式，14nm芯片可编码3500万个PCM虽然IBM早在两年前便以研发出了模拟芯片，并尝试将其用于提升AI计算性能，但Fusion芯片一次只能访问一个PCM设备，对速度和能效的提升并不显著。IBM本次发布的这款芯片采用了新的设计方式，利用34个大型PCM阵列，结合了数模转换输入、模拟外围电路、模数转换输出和大规模并行二维网格路由。每个14nm芯片上可编码3500万个PCM，在每权重对应2-PCMs的方案中，可容纳1700万个参数。将这些芯片组合在一起，便能够像数字芯片一样有效地处理真实AI用例的实验。▲IBM模拟AI芯片的显微照片（图源：论文插图）上图中，图a显示了芯片的显微照片，突出显示了34个PCM阵列模块的2D网格，每个模块都有自己的512×2,048PCM交叉阵列。PCM器件集成在14nm前端电路上方的后端布线中（图b），可通过电脉冲调整窄底电极上晶体相（高导电性）和非晶相（高电阻性）材料的相对体积来编码模拟电导状态。对PCM器件进行编程时采用并行编程方案（图c），这样同一行中的所有512个权值都会同时更新。该研发团队采用的方法是优化主导深度学习计算的MAC（乘积累加运算）。通过读取电阻式NVM（非易失性存储器）设备阵列的行，然后沿列收集电流，团队证明可以在存储器内执行MAC，无需在芯片的存储器和计算区域之间或跨芯片移动权重。三、精确度不减，语音识别速度提升7倍、大模型运行能效提升14倍为了验证芯片的有效性，该团队设计了两个实验对其进行测试。他们从MLPerf中选择了两个神经网络模型，分别是语音唤醒和语音转文本模型。MLPerf由斯坦福、哈佛等顶尖学术机构发起成立的，权威性最大、影响力最广的国际AI性能基准测试。第一个实验围绕关键词语音检测展开。该团队提出了一种卷积神经网络架构，并在包含12个关键字的谷歌语音命令数据集上进行训练。团队采用了架构更简单的FC（全连接）网络结构，最终达到了86.14%的识别精度，且提交速度比MLPerf目前最佳情况快7倍。该模型使用硬件感知训练在GPU上进行训练，然后部署在团队的模拟AI芯片上。▲端到端语音唤醒任务相关图表（图源：论文插图）第二个实验围绕语音转文本展开，规模更大。团队使用5个模拟AI芯片组合在一起，运行RNN-T（循环神经网络转换器）模型，以逐个字母地转录语音内容。该系统包含5个芯片上1.4亿个PCM设备的4500万个权重，能够采集人们说话的音频并以非常接近数字硬件设置的精度进行转录。该实验最终达到9.258%的单词错误率，能量效率达6.704TOPS/W（万亿次操作每秒/瓦），比MLPerf目前最佳能效提高了14倍。▲模拟AI芯片在RNN-T模型上表现出的性能相关图表（图源：论文插图）与第一个实验不同，这个实验并不完全是端到端的，这意味着它确实需要一些片外数字计算。IBM称，这里涉及的额外计算很少，如果在芯片上实现，最终的能效仍然高于当今市场上的产品。结语：模拟AI芯片能否成为下一个趋势继2021年推出第一款模拟芯片Fusion后，IBM于近日发布了专攻AI的模拟芯片，速度、能效均比传统数字芯片大幅提升，准确率也保持高水准。传统芯片受制于“冯·诺依曼瓶颈”，而模拟芯片可以打破这一桎梏，为AI技术带来新的生命力。未来，模拟芯片市场能否得到进一步发展，我们会持续关注。来源：Nature、IBM官网...PC版：https://www.cnbeta.com.tw/articles/soft/1379447.htm手机版：https://m.cnbeta.com.tw/view/1379447.htm