【文章推荐】Deep Mind 研究科学家Sander Dieleman写的关于《扩散模型蒸馏的悖论》。##ai画图#

【文章推荐】DeepMind研究科学家SanderDieleman写的关于《扩散模型蒸馏的悖论》。特别关注了各种形式的蒸馏方法,这是通过用一个模型(学生)的预测结果受到另一个模型(教师)的监督来训练新模型的做法。这些蒸馏方法为扩散模型带来了极其引人注目的结果。详细解释了为什么扩散模型需要多个步骤才能获得好的结果,以及如何通过各种方法减少这些步骤而不会太大程度上损害输出质量。还探讨了多种扩散采样算法,这些算法旨在更快地通过输入空间移动并减少达到一定输出质量所需的采样步骤数量。文章链接:

相关推荐

封面图片

就知道会有这个,AnimateLCM-SVD-xt 利用了 LCM 技术蒸馏的 SVD 模型,只需要四步就能生成不错的视频,相比

就知道会有这个,AnimateLCM-SVD-xt利用了LCM技术蒸馏的SVD模型,只需要四步就能生成不错的视频,相比原来的模型生成时间缩短了好几倍。遵循AnimateLCM论文中提出的策略,一致性蒸馏稳定视频扩散Image2Video-XT(SVD-xt)。AnimateLCM-SVD-xt可以通过2~8个步骤生成25帧的高质量图像调节视频,分辨率为576x1024。AnimateLCM-SVD-xt通常能在无需依赖分类器的自由引导下,仅通过四个步骤就生成高质量的演示。因此与普通的SVD模型相比,可以节省25x2/4=12.5倍的计算资源。模型地址:

封面图片

这个真不错,TCD 模型解决了 LCM 模型由于多步采样中累积的错误导致的图像细节丢失和性能下降的问题。#ai画图#

这个真不错,TCD模型解决了LCM模型由于多步采样中累积的错误导致的图像细节丢失和性能下降的问题。可以快速生成图片,并且保证生成图片的质量和细节。还支持SDXL生态的所有内容,比如Lora和Controlnet。详细介绍:潜在一致性模型(LatentConsistencyModel,LCM)通过将一致性模型扩展到潜在空间,并利用引导一致性蒸馏技术,在加速文本到图像合成方面取得了令人印象深刻的性能。然而,研究人员观察到LCM在生成清晰且细节精致的图像方面存在困难。为了解决这一限制,研究人员首先深入研究并阐明了潜在的原因,发现主要问题源自三个不同的领域的错误。因此,他们引入了轨迹一致性蒸馏(TrajectoryConsistencyDistillation,TCD),包括轨迹一致性函数(TrajectoryConsistencyFunction,TCF)和战略性随机采样(StrategicStochasticSampling,SSS)。轨迹一致性函数通过扩大自我一致性边界条件的范围,减少了蒸馏错误,并使TCD能够准确追踪整个概率流常微分方程(ProbabilityFlowODE)的轨迹。此外,战略性随机采样专门设计用于规避多步一致性采样中固有的累积错误,这种采样方式被精心设计以补充TCD模型。实验表明,TCD不仅在低噪声函数评估次数(NumberofFunctionEvaluations,NFEs)时显著提高了图像质量,而且与教师模型相比,在高NFEs时产生了更详细的结果。TCD在低NFEs和高NFEs时都保持了优越的生成质量,甚至超过了带有原始SDXL的DPM-Solver++(2S)的性能。值得注意的是,在训练期间没有额外的鉴别器或LPIPS监督。研究人员展示了在20NFEs下的一些示例。与Turbo系列相比,TCD采样的NFEs可以随意变化,而不会对结果质量产生不利影响;与LCMs相比,TCD解决了由于多步采样中累积的错误导致的图像细节丢失和性能下降的问题。在推理过程中,可以通过调整一个超参数gamma来简单地修改图像的细节水平,这不需要引入任何额外的参数。TCD可以适应社区中基于SDXL的各种扩展和插件,例如LoRA、ControlNet、IPAdapter以及其他基础模型,例如AnimagineXL。项目地址:Invalidmedia:

封面图片

科学家归纳出驱动大脑洞察力的通用工作流程

科学家归纳出驱动大脑洞察力的通用工作流程揭开神经元功能的秘密:通用工作流程。蓝脑公司推出了一种通用工作流程,利用进化算法创建精确的神经元模型。这种方法简化了模型的创建,产生了代表整个神经元类型的典型模型,并为未来的改进铺平了道路。图片来源:©BlueBrainProject/EPFL这些电子模型在推动我们了解神经元形态如何影响兴奋性以及特定离子电流如何促进细胞功能方面发挥了关键作用。此外,它们在构建神经元回路以模拟和研究大脑活动方面也发挥了重要作用,让我们得以一窥支撑我们思想和行动的神经元的复杂舞动。创建能忠实复制实验观察结果的精确电子模型并非易事。这需要量化模型响应与实际电生理行为之间的相似性,而当离子通道电导和被动膜特性等参数无法直接测量时,这就具有挑战性。要想获得较高的相似性分数,往往需要对参数空间进行广泛的探索,这项工作既艰巨又耗时。为了应对这些挑战,研究人员向进化算法(EAs)寻求帮助。进化算法是在高维空间中进行全局参数优化的高效工具。其中,基于指标的进化算法(IBEA)在这方面大有可为。然而,该领域仍然缺乏完全开源和可复制的模型优化工作流程。在这项刊登在11月份《模式》杂志封面上的新研究中,蓝脑(BlueBrain)项目提出了一种开创性的通用工作流程,用于创建、验证和推广详细的神经元模型。这种方法建立在开源工具的基础上,所有步骤均可免费使用,为研究人员构建神经元模型提供了全面的解决方案,这些模型既可以代表单个生物细胞,也可以代表预定义的细胞类型。该工作流程的独特功能之一是能够构建所谓的典型神经元模型。BBP小组组长维尔纳-范盖特(WernerVanGeit)解释说:"我们创建的不是针对单个神经元定制的模型,而是代表整个神经元类型的模型。"这种方法在研究特定神经元类型的特性和构建大型神经元回路时特别有用"。在这项研究中,作者应用工作流程创建了40个模型,代表了幼鼠体感皮层中的11种电类型(e-types),体感皮层是大脑皮层中负责处理来自身体各部位的与触觉、压力、温度和疼痛有关的感觉信息的区域。每个模型都根据一组电生理特征进行了优化,以确保与实验数据密切匹配。然后在各种形态上对这些典型模型进行测试,以评估它们的通用性。通过分析这些模型中使用的参数,科学家们深入了解了它们的生物物理特性。"灵敏度分析有助于揭示哪些参数对模型性能至关重要,哪些参数可以变化而不影响结果,"共同第一作者克里斯蒂安-罗塞特(ChristianRössert)强调说,"这种更深入的理解对完善模型的创建大有帮助。虽然这种方法很强大,但作者指出了目前的一些局限性。某些神经元类型能很好地概括各种形状,而其他类型则很难。了解为什么某些模型在特定形态下效果更好是一个正在进行的研究领域。此外,创建一个单一的典型模型意味着忽略真实神经元中的一些变异性。为了解决这个问题,神经科学家可以根据相同的输入创建多个模型,引入变异以代表真实世界的多样性。共同第一作者玛丽亚-雷瓦(MariaReva)指出:"这里介绍的这套电子模型是基于对神经元主体的贴片钳记录进行的电学测量。在未来的版本中,这些模型可以丰富更多细节,如突触和树突整合以及额外的离子电流,这些改进将使我们更接近于了解神经元的功能。"...PC版:https://www.cnbeta.com.tw/articles/soft/1389221.htm手机版:https://m.cnbeta.com.tw/view/1389221.htm

封面图片

麻省理工学院研究人员开发出对图像质量影响最小的超快速图像生成方法

麻省理工学院研究人员开发出对图像质量影响最小的超快速图像生成方法图像生成人工智能通常采用一种称为扩散的过程,通过几个采样步骤来完善视觉输出,以达到最终希望"逼真"的结果。研究人员表示,扩散模型可以生成高质量的图像,但需要数十次前向传递。Adobe研究中心和麻省理工学院的专家们正在引入一种名为"分布匹配蒸馏"(DMD)的技术。这一程序将多步扩散模型简化为一步图像生成解决方案。由此产生的模型可以生成与StableDiffusion1.5等"传统"扩散模型相当的图像,但速度要快上几个数量级。"我们的核心理念是训练两个扩散模型,不仅能估计目标真实分布的得分函数,还能估计假分布的得分函数。"研究人员称,他们的模型可以在现代GPU硬件上每秒生成20幅图像。上面的视频短片重点介绍了DMD与StableDiffusion1.5相比的图像生成能力。标清每幅图像需要1.4秒,而DMD只需几分之一秒就能生成类似的图像。虽然在质量和性能之间有所权衡,但最终结果仍在普通用户可接受的范围之内。该团队发表的关于新渲染方法的文章展示了使用DMD生成图像结果的更多示例。它比较了稳定扩散和DMD,同时提供了生成图像的重要文字提示。主题包括通过虚拟数码单反相机镜头取景的一只狗、多洛米蒂山脉、森林中一只神奇的鹿、一只鹦鹉宝宝的3D渲染、独角兽、胡须、汽车、猫,甚至更多的狗。分布匹配蒸馏法并不是第一种用于生成人工智能图像的单步方法。StabilityAI公司开发了一种被称为逆向扩散蒸馏(ADD)的技术,用于实时生成100万像素的图像。该公司通过ADD训练其SDXLTurbo模型,在单个NVIDIAA100AIGPU加速器上实现了仅207毫秒的图像生成速度。Stability的ADD采用了与麻省理工学院的DMD类似的方法。...PC版:https://www.cnbeta.com.tw/articles/soft/1425166.htm手机版:https://m.cnbeta.com.tw/view/1425166.htm

封面图片

科学家为先进材料设计开发"扩展的朗道自由能模型"

科学家为先进材料设计开发"扩展的朗道自由能模型"传统上,研究人员已经对微观图像数据进行了视觉分析。然而,这往往使得对这些数据的解释是定性的和高度主观的。目前缺乏的是对纳米级磁性材料中复杂的相互作用机制的因果分析。东京科学大学的一个研究小组开发的扩展兰道自由能模型的图像,它能够对纳米磁体中的磁化反转进行因果分析。通过这个模型,研究小组可以有效地将磁域图像可视化,并成功地以低能量要求逆向设计纳米结构。资料来源:日本东京科学大学的小杉实验室在最近的一项突破中,一个研究小组成功地实现了微观图像数据的自动解释。这是用一个"扩展的朗道自由能模型"实现的,该团队利用拓扑学、数据科学和自由能的组合开发了该模型。该模型可以说明物理机制以及磁效应的关键位置,并为纳米设备提出一个最佳结构。该模型使用基于物理学的特征来绘制信息空间中的能量景观,可以应用于理解各种材料中纳米尺度上的复杂相互作用。该研究的细节将于今天(11月29日)发表在《科学报告》杂志上。这项研究由日本东京科学大学的MasatoKotsugi教授领导。"传统的分析是基于显微镜图像的视觉检查,与材料功能的关系只是定性地表达,这是材料设计的一个主要瓶颈。我们扩展的朗道自由能模型使我们能够确定这些材料中复杂现象的物理起源和位置。这种方法克服了深度学习所面临的可解释性问题,在某种程度上,这相当于重新发明了新的物理规律,"Kotsugi教授解释说。这项工作得到了KAKENHI、JSPS和文部科学省的电力电子创新核心技术创建计划的支持。原则成分分析的降维结果的散点图。颜色代表总能量。在可解释的特征空间中,磁域和总能量之间的关系是相连的。资料来源:日本东京科学大学的MasatoKotsugi在设计该模型时,该团队利用了拓扑学和数据科学领域的最先进技术来扩展朗道自由能模型。这带来了一个能够对纳米磁体的磁化逆转进行因果分析的模型。然后,该团队进行了物理起源的自动识别和原始磁域图像的可视化。研究结果表明,缺陷附近的消磁能量产生了磁效应,这就是"钉住现象"的原因。此外,该团队可以将能量障碍的空间集中可视化,这是迄今为止尚未实现的创举。最后,研究小组提出了一种具有低功耗的记录设备和纳米结构的拓扑逆向设计。本研究提出的模型有望为自旋电子器件、量子信息技术和Web3的发展做出广泛的应用。原则成分分析的降维结果的散点图。颜色代表总能量。在可解释的特征空间中,磁域和总能量之间的关系是相连的。资料来源:日本东京科学大学的MasatoKotsugi"我们提出的模型为优化材料工程的磁特性提供了新的可能性。扩展的方法将最终使我们能够澄清'为什么'和'在哪里'表达一个材料的功能。对材料功能的分析,过去依赖于视觉检查,现在可以被量化,使精确的功能设计成为可能,"Kotsugi教授乐观总结道。...PC版:https://www.cnbeta.com.tw/articles/soft/1333947.htm手机版:https://m.cnbeta.com.tw/view/1333947.htm

封面图片

科学家发现导致前列腺癌扩散的基因“首领”

科学家发现导致前列腺癌扩散的基因“首领”前列腺癌生长和转移的生物学过程涉及肿瘤细胞和微环境之间复杂的相互作用。众所周知,一种特殊的基因--黑色素瘤分化相关基因-9(MDA-9)--不仅存在于癌细胞中,而且存在于所有形式的组织中,是导致癌症扩散的一个主要因素,但"如何"却并不完全清楚。现在,弗吉尼亚联邦大学梅西综合癌症中心(VCUMasseyComprehensiveCancerCenter)和弗吉尼亚联邦大学分子医学研究所(VCUInstituteofMolecularMedicine,VIMM)的研究人员进行了一项新研究,探讨了MDA-9在前列腺癌扩散过程中的作用,并首次发现了它是如何引发细胞连锁反应,导致转移并使肿瘤细胞控制骨骼本身的。该研究的共同通讯作者斯瓦德什-达斯(SwadeshDas)说:"MDA-9在肿瘤中扮演着从A到Z的角色;它本质上是直接促进肿瘤进展和转移的基因。"研究人员确定的途径有许多步骤。MDA-9会激活肿瘤细胞中的血小板衍生生长因子AA(PDGF-AA)--一种调节细胞生长和分裂的蛋白质--并将其释放到骨环境中。在那里,PDGF-AA与骨髓间充质基质细胞(BM-MSCs)上的受体结合,骨髓间充质基质细胞是多能干细胞,对制造和修复骨骼组织非常重要。基质细胞与MDA-9相互作用,激活负责细胞再生的Hippo信号通路。这将导致释放一种较小的迁移刺激蛋白--趋化因子CXCL5,从而吸引癌细胞进入骨组织;这将导致产生更多的CXCL5,并周期性地吸引更多的癌细胞。除了吸引癌细胞进入骨组织,CXCL5还能促进破骨细胞的繁殖,破骨细胞是骨细胞的一个分支,能破坏骨骼。Das说:"这项研究明确证明了前列腺癌细胞与肿瘤微环境中的正常BM-间充质干细胞之间的交流,以及它们之间的这种生物对话如何使转移细胞扩散到骨骼中并在骨骼中增殖。"研究人员发现,通过敲除前列腺癌细胞中的MDA-9,可以中断这种多米诺骨牌式的通路,防止疾病扩散。他们还发现,清除骨细胞中的MDA-9不会对骨组织的健康产生负面影响。虽然研究人员在动物、人类和患者来源的前列腺癌细胞中观察到了MDA-9通路,但他们认为他们的发现对存在MDA-9的其他实体瘤类型也有影响,包括脑癌、乳腺癌、黑色素瘤、肺癌和胰腺癌。研究人员与InVaMetTherapeutics公司合作,在弗吉尼亚大学内部开发出了一种新型抑制剂药物,在针对癌症中MDA-9的研究中显示出了前景。另一位通讯作者保罗-费舍尔(PaulFisher)说:"我们已经接近可能进入临床的东西了。未来的研究将探讨MDA-9抑制剂在临床肿瘤样本中的应用,并最终在患者中应用。"该研究发表在《美国国家科学院院刊》(PNAS)上。...PC版:https://www.cnbeta.com.tw/articles/soft/1395667.htm手机版:https://m.cnbeta.com.tw/view/1395667.htm

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人