【文章推荐】Deep Mind 研究科学家Sander Dieleman写的关于《扩散模型蒸馏的悖论》。

【文章推荐】Deep Mind 研究科学家Sander Dieleman写的关于《扩散模型蒸馏的悖论》。 特别关注了各种形式的蒸馏方法,这是通过用一个模型(学生)的预测结果受到另一个模型(教师)的监督来训练新模型的做法。这些蒸馏方法为扩散模型带来了极其引人注目的结果。 详细解释了为什么扩散模型需要多个步骤才能获得好的结果,以及如何通过各种方法减少这些步骤而不会太大程度上损害输出质量。 还探讨了多种扩散采样算法,这些算法旨在更快地通过输入空间移动并减少达到一定输出质量所需的采样步骤数量。 文章链接:

相关推荐

封面图片

麻省理工学院研究人员开发出对图像质量影响最小的超快速图像生成方法

麻省理工学院研究人员开发出对图像质量影响最小的超快速图像生成方法 图像生成人工智能通常采用一种称为扩散的过程,通过几个采样步骤来完善视觉输出,以达到最终希望"逼真"的结果。研究人员表示,扩散模型可以生成高质量的图像,但需要数十次前向传递。Adobe 研究中心和麻省理工学院的专家们正在引入一种名为"分布匹配蒸馏"(DMD)的技术。这一程序将多步扩散模型简化为一步图像生成解决方案。由此产生的模型可以生成与Stable Diffusion 1.5 等"传统"扩散模型相当的图像,但速度要快上几个数量级。"我们的核心理念是训练两个扩散模型,不仅能估计目标真实分布的得分函数,还能估计假分布的得分函数。"研究人员称,他们的模型可以在现代 GPU 硬件上每秒生成 20 幅图像。上面的视频短片重点介绍了 DMD 与 Stable Diffusion 1.5 相比的图像生成能力。标清每幅图像需要 1.4 秒,而 DMD 只需几分之一秒就能生成类似的图像。虽然在质量和性能之间有所权衡,但最终结果仍在普通用户可接受的范围之内。该团队发表的关于新渲染方法的文章展示了使用 DMD 生成图像结果的更多示例。它比较了稳定扩散和 DMD,同时提供了生成图像的重要文字提示。主题包括通过虚拟数码单反相机镜头取景的一只狗、多洛米蒂山脉、森林中一只神奇的鹿、一只鹦鹉宝宝的 3D 渲染、独角兽、胡须、汽车、猫,甚至更多的狗。分布匹配蒸馏法并不是第一种用于生成人工智能图像的单步方法。Stability AI 公司开发了一种被称为逆向扩散蒸馏(ADD)的技术,用于实时生成 100 万像素的图像。该公司通过 ADD 训练其 SDXL Turbo 模型,在单个 NVIDIA A100 AI GPU 加速器上实现了仅 207 毫秒的图像生成速度。Stability 的 ADD 采用了与麻省理工学院的 DMD 类似的方法。 ... PC版: 手机版:

封面图片

计算机科学家认为不应神化 AI

计算机科学家认为不应神化 AI 计算机科学家 Jaron Lanier 在《纽约客》发表文章《There Is No AI》,提出应停止对人工智能的神化,而将其作为一种创新的社会协作形式来看待。他反对最近呼吁停止训练更高级人工智能的联署信,并再次提出“数据尊严”概念:结束人工智能黑箱,记录比特的来源,“人们可以为他们创造的东西获得报酬,即使这些东西是通过大模型过滤和重新组合的”,“当一个大模型提供有价值的输出时,数据尊严的方法将追踪最独特和有影响力的贡献者。” 频道 @WidgetChannel 投稿 @WidgetPlusBot

封面图片

科学家利用仿真血管三维模型实现蛇毒研究领域的技术突破

科学家利用仿真血管三维模型实现蛇毒研究领域的技术突破 每年约有十万人死于蛇咬。四倍于这一数字的人受到慢性伤害。需要研究蛇毒是如何发挥作用的,以找到解决方案,但仍然难以实施。现在,来自阿姆斯特丹自由大学(VU)、MIMETAS 和 Naturalis 生物多样性中心的研究小组首次证明,可以在三维仿真血管上检测蛇毒。西非地毯蝰(Echis ocellatus)的毒液是用于测试新型 3D 血管模型效果的四种毒液之一。图片来源:Wolfgang Wuster芯片上的器官这种三维仿真血管的新方法改进了使用实验动物或细胞培养物等传统研究方法,模仿了人体血管。"这种用于毒液研究的血管模型的优势在于,它考虑到了人体面临的几个重要影响因素,"毒液专家、该研究的第一作者、来自 VU 和 Naturalis 的 Mátyás Bittenbinder 解释说。"比如血液的流动,或者血管的构造和形状"。三维血管模型有助于更好地了解蛇毒对血管和身体其他部位的破坏作用。"该模型准确地揭示了毒素是如何攻击血管的。这些知识将帮助我们开发出更好的方法来治疗蛇咬伤,同时也减少了在小鼠身上进行研究的需要,"Bittenbinder说。毒液的效果用印度眼镜蛇(Naja naja)、西非地毯毒蛇(Echis ocellatus)、银环蛇(Bungarus multicinctus)和莫桑比克喷吐眼镜蛇(Naja mossambica)的毒液对血管模型的功能进行了测试。被毒蛇咬伤通常会导致严重的(内)出血。这是因为毒液会攻击循环系统,破坏血管并产生凝血,全世界的科学家都在寻找解决办法。如果能更好地了解蛇毒中含有哪些物质,就能更好地知道如何中和毒素。全球问题蛇咬伤是每年影响数百万人的安全危机,但却很少见诸新闻。据估计,每年有 8 万至 14 万人死于毒蛇咬伤。另有 400000 人幸存下来,但因被蛇咬伤而失明或失去一只手、一只脚或一条腿。编译来源:ScitechDaily ... PC版: 手机版:

封面图片

科学家发现塑料垃圾的扩散范围超出了已知海洋垃圾带

科学家发现塑料垃圾的扩散范围超出了已知海洋垃圾带 在最近的一项研究中,亥姆霍兹环境研究中心(UFZ)的一个研究小组与阿尔弗雷德-魏格纳研究所(AWI)合作,在太平洋的一个偏远海洋保护区发现了大量塑料垃圾和微塑料。这些塑料垃圾和微塑料的数量与世界上已知的最大垃圾区之一中发现的数量相似。研究人员强调,塑料的分布范围比预期的要广泛得多。整个海洋生态系统都受到了威胁。因此,他们呼吁全球尽快停止向海洋排放塑料。这项研究发表在《环境科学与技术》上。来自 neuston 网的样本,其中含有大量不同的塑料颗粒(2019 年北太平洋考察)。资料来源:UFZ问题的范围和研究结果"海洋中的塑料是一个严重的问题。每年都有数百万吨的塑料通过河流、风力、航运和捕鱼进入海洋,并在海洋中存留。目前还很难评估其对海洋生态系统造成的后果,"MICRO-FATE 项目协调人、德国联邦科学院环境化学家安妮卡-雅克(Annika Jahnke)教授说。塑料在海洋中的分布情况如何?哪些区域尤其受到影响?有没有无塑料区?塑料在靠近源头或远离源头的大洋中具有什么样的特性?雅克和她的研究团队对这些问题进行了研究。德国 RV SONNE 号侧面拖曳的 Neuston 网,在穿越北太平洋时收集海面漂浮的塑料样本。图片来源:Philipp Klöckner / UFZ2019 年,在德国"Sonne"号科考船上进行的为期五周的考察中,研究人员采集了北太平洋温哥华(加拿大)和新加坡之间的地表水样本。研究小组根据夏威夷大学的一个预测模型(Surface CUrrents from a Diagnostic model (SCUD))选择了沿航道的采样站。该模型可以计算出特定海域可能存在的塑料含量。Jahnke 说:"我们选择了预测塑料负荷较高和较低的站点进行调查。有些站点位于已经进行过深入研究的区域,如所谓的太平洋大垃圾场。我们还想调查大洋中几乎没有被探索过的区域。例如,我们在夏威夷西北部的一个海洋保护区帕帕哈瑙木卡海洋国家纪念碑采集了样本。"研究小组采用了两种不同的方法来确定地表水中的塑料含量。第一种是垃圾调查,由两名科学家组成的小组在"松恩"号的甲板上对船只航行过程中肉眼可见的塑料制品进行计数,并记录其形状和大小。第二项调查是在海面拖曳纽斯顿网,在九个站点采集样本。用 neuston 网收集到的部分塑料微粒,显示出很大程度的风化以及大小、形状和颜色的多样性。图片来源:Annika Jahnke / UFZ"网眼大小为 0.3 毫米。这使我们不仅能收集较大的物品,还能收集较小的塑料微粒,以确定直径小于 5 毫米的微塑料的数量,"该研究的主要作者、UFZ 研究员 Robby Rynek 说。"每个样本中的塑料颗粒都按大小进行了分类和计数。然后,我们使用一种特殊形式的红外光谱对颗粒进行化学分析,并根据其外观估计其风化状态"。塑料暴露在阳光、风、海浪和海水中的时间越长,风化和分解的程度就越大。其他研究表明,较大的未降解塑料物品和颗粒主要出现在塑料入海的地方。颗粒被运得越远,其风化程度就越高,体积就越小。"这正是我们调查的结果。不出所料,我们在被称为太平洋大垃圾场的地区采集的样本中发现了最多的塑料,"Rynek 说。"然而,这些塑料制品并没有以任何方式形成塑料地毯,密集地覆盖整个表面。在考虑塑料清除技术时,这一点非常重要,因为这种技术必须覆盖广阔的区域,才能收集大量塑料。大多数塑料都是小碎片,它们会逃过渔网,或者只能通过大量的动物'副渔获物'来收集,"合著者之一、来自 AWI 的 Melanie Bergmann 博士说。因此,减少塑料的排放至关重要。用 neuston 网采集的样本特写,显示塑料微粒与相当多的动物"副渔获物"。图片来源:Annika Jahnke / UFZ"我们的研究结果最令人惊讶,同时也最令人担忧的是,我们在夏威夷西北部偏远的海洋保护区发现了同样大量的特别小的微塑料。这是我们始料未及的。根据预测模型的计算,这一区域的塑料数量应该少得多,"Rynek 说。"微塑料在海洋中的分布范围很可能比之前假设的要远得多。实际上,我们在所有采样站都发现了塑料。没有一个样本是没有塑料的。因此,我们不能认为塑料主要是在已知的积聚区造成问题这个问题要大得多,实际上会影响整个海洋生态系统。"今年,联合国会员国打算通过一项具有法律约束力的全球性《塑料条约》,以阻止海洋中的塑料污染。伯格曼说:"作为独立的科学家,我们作为科学家联盟的一员,为有效的塑料条约向联合国会员国代表提供建议。"除了通过避免生产不必要的塑料产品和推广再利用系统来大幅减少塑料产量外,许多研究人员还认为,需要简化和改进塑料产品的化学成分。这是确保安全再利用和提高回收率的唯一途径。编译自:ScitechDaily ... PC版: 手机版:

封面图片

挑战现有模型 中国科学家发现宇宙更年轻

挑战现有模型 中国科学家发现宇宙更年轻 在标准宇宙学模型中,先形成小结构,然后逐级并合,形成越来越大的结构。大质量星系群和星系团作为宇宙中最大的结构,其维里化状态反映了宇宙演化的状态。研究团队测量了813个大质量星系群周围卫星星系对的动力学,特别侧重于沿视线方向的运动相关性。结果发现,分布在中央星系两侧的卫星星系对,相对于中央星系的视向速度偏移,更倾向具有相同方向,而卫星星系对同向运动通常表征了它们沿着大尺度结构被吸积的过程。卫星星系对同向运动的超出在基于标准宇宙学模型的数值模拟中也被预测到,但其比例要远低于观测结果。观测数据相比于两个数值模拟的预测值,分别出现了4.1σ和3.6σ的超出。观测和理论预测之间的巨大差异,表明在真实的宇宙中,大质量星系群比根据宇宙微波背景辐射推测的形成更晚,因此也预示了更年轻的宇宙,倾向于支持比PLANCK结果更高的哈勃常数,更接近于近邻宇宙中对哈勃常数的测量结果,这挑战了目前的宇宙学模型。另一方面,目前数值模拟中的重子物质过程偏差,也提供了一种可能的解释。未来需要结合理论和观测的进一步发展,才能最终确定宇宙的年龄。上图中,左侧是往大质量星系群中掉落的星系,其中红色区域为一个大质量星系群,黄色圆圈里的为正沿着大尺度纤维状结构掉落的星系,它们相对于中央星系沿相同方向运动。右图是同向运动卫星星系对占比随张角的变化。黑色带圆点的实线为观测结果,蓝线和红线为理论模拟预测结果,黑色虚线为随机分布,阴影区为自举标准误差范围。 ... PC版: 手机版:

封面图片

就知道会有这个,AnimateLCM-SVD-xt 利用了 LCM 技术蒸馏的 SVD 模型,只需要四步就能生成不错的视频,相比

就知道会有这个,AnimateLCM-SVD-xt 利用了 LCM 技术蒸馏的 SVD 模型,只需要四步就能生成不错的视频,相比原来的模型生成时间缩短了好几倍。 遵循 AnimateLCM 论文中提出的策略,一致性蒸馏稳定视频扩散 Image2Video-XT (SVD-xt)。 AnimateLCM-SVD-xt 可以通过 2~8 个步骤生成 25 帧的高质量图像调节视频,分辨率为 576x1024。 AnimateLCM-SVD-xt 通常能在无需依赖分类器的自由引导下,仅通过四个步骤就生成高质量的演示。因此与普通的 SVD 模型相比,可以节省 25 x 2 / 4 = 12.5 倍的计算资源。 模型地址:

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人