MIT研究人员发现深层神经网络并不会像人类一样看待世界

MIT研究人员发现深层神经网络并不会像人类一样看待世界该研究的资深作者麦克德莫特说：“这篇论文表明，你可以使用这些模型来导出非自然信号，这些信号最终可以对模型中的表征进行诊断。这项测试将成为我们这个领域用来评估模型的一系列测试的一部分。”JenelleFeather博士22岁，现任Flatiron研究所计算神经科学研究中心研究员，是这篇开放获取论文的主要作者，该论文今天发表在《自然神经科学》杂志上。麻省理工学院研究生GuillaumeLeclerc和麻省理工学院Cadence设计系统计算教授AleksanderMądry也是该论文的作者。近年来，研究人员训练了深度神经网络，可以分析数百万个输入（声音或图像）并学习共同特征，使他们能够像人类一样准确地对目标单词或物体进行分类。这些模型目前被认为是生物感觉系统的领先模型。人们相信，当人类感觉系统执行这种分类时，它会学会忽略与物体核心身份无关的特征，例如照射在物体上的光线数量或从什么角度观看物体。这被称为不变性，意味着即使对象在那些不太重要的特征上表现出差异，也会被认为是相同的。“传统上，我们对感觉系统的思考方式是，它们为同一事物的不同示例可能具有的所有变异来源建立了不变性，”Feather说。“有机体必须认识到它们是同一件事，即使它们表现为非常不同的感官信号。”研究人员想知道，经过训练来执行分类任务的深度神经网络是否可能会产生类似的不变性。为了尝试回答这个问题，他们使用这些模型来生成刺激，这些刺激在模型内产生与研究人员给予模型的示例刺激相同的反应。当这些神经网络被要求生成图像或单词并将其与特定输入（例如熊的图片）归为同一类别时，它们生成的大部分内容对于人类观察者来说是无法识别的。右侧是模型分类为“熊”的示例。图片来源：麻省理工学院研究人员他们将这些刺激称为“模型同色异体”，复兴了经典感知研究中的一个想法，即系统无法区分的刺激可以用来诊断其不变性。同色异谱的概念最初是在人类感知研究中发展起来的，用于描述看起来相同的颜色，即使它们是由不同波长的光组成的。令他们惊讶的是，研究人员发现，以这种方式产生的大多数图像和声音看起来和听起来都与模型最初给出的例子完全不同。大多数图像都是一堆看起来随机的像素，声音类似于难以理解的噪音。当研究人员向人类观察者展示图像时，在大多数情况下，人类不会将模型合成的图像分类为与原始目标示例相同的类别。“人类根本无法识别它们。它们看起来或听起来都不自然，而且不具有人们可以用来对物体或单词进行分类的可解释特征，”Feather说。研究结果表明，这些模型以某种方式发展出了自己的不变性，与人类感知系统中发现的不变性不同。这导致模型将成对的刺激视为相同，尽管它们与人类截然不同。研究人员在许多不同的视觉和听觉模型中发现了相同的效果。然而，这些模型中的每一个似乎都发展出了自己独特的不变性。当一个模型的同色异谱显示给另一个模型时，第二个模型和人类观察者一样无法识别同色异谱。“从中得出的关键推论是，这些模型似乎具有我们所说的特殊不变性，他们已经学会了对刺激空间中的这些特定维度保持不变，并且它是特定于模型的，因此其他模型不具有相同的不变性。”研究人员还发现，他们可以通过使用一种称为对抗性训练的方法，使模型的同色异聚体更容易被人类识别。这种方法最初是为了克服对象识别模型的另一个限制而开发的，即对图像引入微小的、几乎难以察觉的变化可能会导致模型误识别它。研究人员发现，对抗性训练涉及在训练数据中包含一些稍微改变的图像，产生的模型的同色异体更容易被人类识别，尽管它们仍然不如原始刺激那么容易识别。研究人员表示，这种改进似乎与训练对模型抵抗对抗性攻击的能力的影响无关。“这种特殊形式的训练有很大的效果，但我们真的不知道为什么会产生这种效果，”Feather说。“这是未来研究的一个领域。”研究人员表示，分析计算模型产生的同色异体可能是一个有用的工具，可以帮助评估计算模型对人类感官知觉系统底层组织的模仿程度。“这是一个行为测试，你可以在给定的模型上运行，看看模型和人类观察者之间是否共享不变性，它还可以用来评估给定模型中不变性的特殊性，这可以帮助发现未来改进我们模型的潜在方法。”...PC版：https://www.cnbeta.com.tw/articles/soft/1393463.htm手机版：https://m.cnbeta.com.tw/view/1393463.htm

继续神经网络工具 ——

继续神经网络工具——1.Everything(https://www.voidtools.com/en-au/)--只需输入文件名，即可快速查找电脑中的文件和文件夹；3.Replicate(https://replicate.com/methexis-inc/img2prompt)-一种反向神经网络，可将图片分解为文字线索（提示）；4.WaJourney(https://audio-agi.github.io/WavJourney_demopage/)-根据描述为对话添加背景伴奏；5.LingoStar(https://www.lingostar.ai/)-随时练习实时对话，可检查您的发音；6.ChatDOC(https://chatdoc.com/)-从.pdf文件中提取内容；#AI#tools

神经网络工具继续 ——

神经网络工具继续——1.SimpleVideoTools(https://videobolt.net/browse-all-simple-video-tools)-一个不错的在线视频编辑器；2.PredisAI(https://predis.ai/free-ai-tools/ai-meme-generator)-meme生成器；3.Kapwing(https://www.kapwing.com/)-在浏览器中使用的简单视频编辑器；4.GetHeadShots(https://www.getheadshots.ai/)-用任何照片都能制作精美的肖像；5.TheDailyDadJoke(https://dailydadjoke.app/)-笑话生成器(这个用例似乎有点无语)；6.Smry(https://www.smry.ai/)-拆除付费墙的工具,可以总结/综述文章内容；7.VersatileAudioResolution(https://github.com/haoheliu/versatile_audio_super_resolution)-提高音频文件的质量；8.HuggingFace(https://huggingface.co/ostris/ikea-instructions-lora-sdxl)-生成宜家风格的各种说明(也似乎比较无聊)；9.OSAbyLoopsie(https://apps.apple.com/us/app/loopsie-ai-art-generator/id1259909228)-以动漫风格重绘照片；10.MatchColors(https://apps.apple.com/us/app/loopsie-ai-art-generator/id1259909228)-按需重绘视频和图像；#tools#AI

研究人员实现精确跟踪运动动物的神经元

研究人员实现精确跟踪运动动物的神经元EPFL和哈佛大学的科学家们开发出一种基于人工智能的方法，用于追踪移动动物的神经元，从而以最少的人工标注提高大脑研究的效率。最近的研究进展允许对自由移动动物体内的神经元进行成像。然而，要解码电路活动，必须通过计算识别和跟踪这些成像神经元。当大脑本身在生物体（如蠕虫）灵活的身体内移动和变形时，这就变得尤其具有挑战性。到目前为止，科学界还缺乏解决这一问题的工具。现在，来自洛桑联邦理工学院（EPFL）和哈佛大学的科学家团队开发出了一种开创性的人工智能方法，用于追踪移动和变形动物体内的神经元。这项研究发表在《自然-方法》（NatureMethods）上，由EPFL基础科学学院的萨罕德-贾迈勒-拉希（SahandJamalRahi）领导。新方法以卷积神经网络（CNN）为基础，CNN是一种经过训练的人工智能，能够识别和理解图像中的模式。这涉及一个称为"卷积"的过程，它每次查看图片的小部分，如边缘、颜色或形状，然后将所有信息组合在一起，使其具有意义，并识别物体或模式。问题在于，要在拍摄动物大脑的过程中识别和追踪神经元，许多图像都必须手工标注，因为动物在不同时间由于身体变形的不同而呈现出截然不同的样子。考虑到动物姿态的多样性，手动生成足够数量的注释来训练CNN可能会令人生畏。秀丽隐杆线虫三维体积脑活动记录的二维投影。绿色：基因编码的钙指示器，各种颜色：分割和追踪的神经元。资料来源：MahsaBarzegar-Keshteli（EPFL）为了解决这个问题，研究人员开发了一种具有"定向增强"功能的增强型CNN。这项创新技术仅从有限的手动注释中自动合成可靠的注释作为参考。其结果是，CNN可以有效地学习大脑的内部变形，然后利用它们为新姿势创建注释，从而大大减少了人工注释和重复检查的需要。这种新方法用途广泛，无论神经元在图像中表现为单个点还是三维体积，它都能识别出来。研究人员在秀丽隐杆线虫（Caenorhabditiselegans）上对其进行了测试，该线虫仅有302个神经元，使其成为神经科学领域广受欢迎的模式生物。利用增强型CNN，科学家们测量了该蠕虫的一些中间神经元（在神经元之间传递信号的神经元）的活动。他们发现，这些神经元表现出复杂的行为，例如，当受到不同的刺激（如周期性爆发的气味）时，它们会改变自己的反应模式。研究小组将他们的CNN变得易于访问，提供了一个用户友好的图形用户界面，集成了有针对性的增强功能，将整个过程简化为一个从手动注释到最终校对的综合流水线。SahandJamalRahi说："通过大幅减少神经元分割和跟踪所需的人工工作，新方法将分析吞吐量提高到全人工标注的三倍。这一突破有可能加速大脑成像研究，加深我们对神经回路和行为的理解"。编译来源：ScitechDaily...PC版：https://www.cnbeta.com.tw/articles/soft/1402931.htm手机版：https://m.cnbeta.com.tw/view/1402931.htm