接上条动态，我刚让 New Bing 帮我读的就是这篇阿里最新发布的论文 —— Composer，一个很能打的图像生成模型。

接上条动态，我刚让NewBing帮我读的就是这篇阿里最新发布的论文——Composer，一个很能打的图像生成模型。它不仅拥有主流模型的生成能力，还有基于描述词、深度图、蒙版等的编辑能力。更厉害的是（也是这次的主打功能），它能对这些编辑条件进行混搭使用，让AI编辑能力直线上升。（用调色板改图的功能我实在太爱了…[苦涩]）▶论文地址：arxiv.org/abs/2302.09778▶项目地址：damo-vilab.github.io/composer-page/（项目地址还有很多案例，记得点进去看看）噢对，即将开源。

卧槽，字节昨天发布这个项目DreamTuner，可以一举解决图像生成中角色一致性的问题。

卧槽，字节昨天发布这个项目DreamTuner，可以一举解决图像生成中角色一致性的问题。效果也太好了，可以将输入图片的角色在生成新图是完美保留，并且融合度非常好，这下小说、漫画和视频的人物一致性和商品一致性问题彻底解决了。并且可以和ContorlNet联动确保动画的稳定，间接实现了前段时间的让单张图片动起来的功能。项目简介：我们提出了一种新颖的方法DreamTurner，该方法将定制主题的参考信息从粗到细注入。首先提出了一个主题编码器，用于粗略主题身份保留，通过额外的注意力层在视觉-文本交叉注意力之前引入了压缩的一般主题特征。然后，注意到预训练的文本到图像模型中的自注意力层自然地执行了详细的空间上下文关联功能，我们将其修改为自主题注意力层，以细化目标主题的细节，生成的图像从参考图像和自身查询详细特征。值得强调的是，自主题注意力是一种优雅、有效且无需训练的方法，用于保持定制概念的详细特征，可在推断过程中作为即插即用的解决方案。最后，通过对单个图像进行额外微调，DreamTurner在受主题驱动的图像生成方面取得了显著的表现，可由文本或其他条件（如姿势）进行控制。项目地址：https://dreamtuner-diffusion.github.io/

阿里又tm 整了个大活，输入图片和音频就可以生成富有表现力的视频，并且嘴型是可以跟声音匹配的。

阿里又tm整了个大活，输入图片和音频就可以生成富有表现力的视频，并且嘴型是可以跟声音匹配的。支持多语言、谈话、唱歌以及快语速的适配，这玩意又是一个造假利器，这下可能很多名人真要说“不是我说的，你别瞎说”了。可以根据输入视频的长度生成任意持续时间的视频。实现方式：该方法主要分为两个阶段。第一阶段是“帧编码”阶段，在这个阶段，我们使用ReferenceNet来从参考图像和运动帧中提取特征。随后进入“扩散过程”阶段，在这一阶段，一个预先训练好的音频编码器用于处理音频数据的嵌入。此外，面部区域的掩码与多帧的噪声数据结合在一起，用于引导面部图像的生成过程。紧接着，我们使用BackboneNetwork来执行去噪处理。在BackboneNetwork中，我们运用了两种关键的注意力机制：一种是基于参考图像的“参考注意力（Reference-Attention）”，另一种是基于音频的“音频注意力（Audio-Attention）”。这两种机制对于确保角色的面部特征保持一致和调整角色的面部运动至关重要。最后，我们还利用了时间模块来调节图像的时间维度，使角色的运动速度得以调整。这些组合在一起构成了我们的整体框架。项目地址：https://humanaigc.github.io/emote-portrait-alive/Invalidmedia:

阿里又tm 整了个大活，输入图片和音频就可以生成富有表现力的视频，并且嘴型是可以跟声音匹配的。#ai#

阿里又tm整了个大活，输入图片和音频就可以生成富有表现力的视频，并且嘴型是可以跟声音匹配的。支持多语言、谈话、唱歌以及快语速的适配，这玩意又是一个造假利器，这下可能很多名人真要说“不是我说的，你别瞎说”了。可以根据输入视频的长度生成任意持续时间的视频。实现方式：该方法主要分为两个阶段。第一阶段是“帧编码”阶段，在这个阶段，我们使用ReferenceNet来从参考图像和运动帧中提取特征。随后进入“扩散过程”阶段，在这一阶段，一个预先训练好的音频编码器用于处理音频数据的嵌入。此外，面部区域的掩码与多帧的噪声数据结合在一起，用于引导面部图像的生成过程。紧接着，我们使用BackboneNetwork来执行去噪处理。在BackboneNetwork中，我们运用了两种关键的注意力机制：一种是基于参考图像的“参考注意力（Reference-Attention）”，另一种是基于音频的“音频注意力（Audio-Attention）”。这两种机制对于确保角色的面部特征保持一致和调整角色的面部运动至关重要。最后，我们还利用了时间模块来调节图像的时间维度，使角色的运动速度得以调整。这些组合在一起构成了我们的整体框架。项目地址：

LUMIERE 这是谷歌这段时间发布的第三个视频生成模型了，不过看起来是最重要的一个，演示的质量非常高，运动幅度和一致性表现

LUMIERE这是谷歌这段时间发布的第三个视频生成模型了，不过看起来是最重要的一个，演示视频的质量非常高，运动幅度和一致性表现都很好。整个模型的能力非常全面，除了视频生成之外支持各种视频编辑和生成控制能力。支持各种内容创建任务和视频编辑应用程序，包括图像到视频、视频修复和风格化生成。详细介绍：Lumiere——一款将文本转换为视频的先进模型，它专门用于制作展现真实、多样化及连贯动态的视频，这在视频合成领域是一大挑战。为了实现这一目标，我们采用了一种创新的空间-时间U-Net架构（Space-TimeU-Netarchitecture）。这种架构能够在模型中一次性完成整个视频时长的生成，这与传统视频模型不同。传统模型通常是先合成关键的远程帧，然后通过时间上的超级分辨率技术来处理，这种方法往往难以保持视频的全局时间连贯性。Lumiere通过在空间和关键的时间维度进行上下采样，并利用预先训练好的文本到图像扩散模型（text-to-imagediffusionmodel），使我们的模型能够直接生成全帧率、低分辨率的视频，并且在多个空间-时间尺度上进行处理。我们展现了该模型在将文本转换成视频方面的领先成果，并且证明了该设计能够轻松应用于各种内容创作和视频编辑任务，包括将图像转换为视频、视频修补和风格化视频创作。项目地址：https://lumiere-video.github.io/Invalidmedia:

爆火Sora震惊威尔·史密斯 OpenAI技术路线或早在1月被成功预言

爆火Sora震惊威尔·史密斯OpenAI技术路线或早在1月被成功预言你以为，上面是一年前的AI视频，下面是如今的AI视频？错！这个所谓AI生成的视频，其实正是威尔史密斯本人！威尔·史密斯吃意面这个“图灵测试”，曾让Runway、Pika等屡屡翻车。Runway生成的，是这样的——但如今，Sora已经做到了逼真似真人、毫无破绽，所以才让威尔史密斯成功骗过了大众，这太可怕了！Sora的出现，其实在今年1月就已被人预言1月5日，一位前阿里的AI专家表示——我认为，Transformer框架和LLM路线，将是AI视频的一个突破口和新范式，它将使AI视频更加连贯、一致，并且时长更长。目前的Diffusion+Unet路线（如Runway、Pika等），只是暂时的解决方案。无独有偶，斯坦福学者李飞飞在去年年底，就用Transformer就做出了逼真的视频。而马毅教授也表示，自己团队去年在NeurIPS一篇论文中也已经证实，用Transformer可以实现diffusion和denosing。马毅团队提出：假设数据分布是mixedGaussians，那Transformerblocks就是在实现diffusion/扩散和denoising/压缩能想到Sora技术路线的，肯定不止一个人。可是全世界第一个把Sora做出来的，就是OpenAI。OpenAI为何总能成功？无他，唯手快尔。Runway和Pika“点歪”的科技树，被OpenAI掰正了在此之前，Runway、Pika等AI视频工具吸引了不少聚光灯。而OpenAI的Sora，不仅效果更加真实，就是把Transformer对前后文的理解和强大的一致性，发挥得淋漓尽致。这个全新的科技树，可真是够震撼的。不过我们在开头也可以看到，OpenAI并不是第一个想到这个的人。Transformer框架+LLM路线这种新范式，其实早已有人想到了。就如同AI大V“阑夕”所言，OpenAI用最简单的话，把最复杂的技术讲清楚了——“图片只是单帧的视频。”科技行业这种从容的公共表达，真是前所未见，令人醍醐灌顶。“阑夕”指出，“图片只是单帧的视频”的妙处就在于，图片的创建不会脱离时间轴而存在，Sora实际上是提前给视频写了脚本的。甚至无论用户怎样Prompt，SoraAI都有自己的构图思维。而这，就是困住Runway、Pika等公司最大的问题。它们的思路，基本都是基于一张图片来让AI去想象，完成延伸和填补，从而叠加成视频。比拼的是谁家的AI更能理解用户想要的内容。因此，这些AI视频极易发生变形，如何保持一致性成了登天般的难题。DiffusionModel这一局，是彻底输给Transformer了。ChatGPT故事再次重演，Sora其实站在Google的肩膀上让我们深入扒一扒，Sora是站在哪些前人的肩膀上。简而言之，最大创新Patch的论文，是Google发表的。DiffusionTransformer的论文，来自WilliamPeebles和谢赛宁。此外，Meta等机构、UC伯克利等名校皆有贡献。WilliamPeebles和谢赛宁提出的框架纽约大学计算机系助理教授谢赛宁在分析了Sora的技术报告后表示，Sora应该是基于自己和WilliamPeebles提出的框架设计而成。这篇提出了Sora基础架构的论文，去年被ICCV收录。论文地址：https://arxiv.org/abs/2212.09748随后，WilliamPeebles加入了OpenAI，领导了开发Sora的技术团队。图灵三巨头之一、MetaAI主管LeCun，也转发了谢赛宁的帖子表示认可。巧合的是，谢赛宁是LeCun的前FAIR同事、现纽约大学同事，WilliamPeebles是LeCun的前伯克利学生、现任OpenAI工程师。AI果然是个圈。最近，谢赛宁对说自己是Sora作者的说法进行了辟谣CVPR“有眼不识泰山”，拒掉Sora基础论文有趣的是，DiffusionTransformer这篇论文曾因“缺乏创新性”被CVPR2023拒收，后来才被ICCV2003接收。谢赛宁表示，他们在DIT项目没有创造太多的新东西，但是两个方面的问题：简单性和可扩展性。这可能就是Sora为什么要基于DIT构建的主要原因。此前，生成模型的方法包括GAN、自回归、扩散模型。它们都有各自的优势和局限性。而Sora引入的，是一种全新的范式转变——新的建模技术和灵活性，可以处理各种时间、纵横比和分辨率。Sora所做的，是把Diffusion和Transformer架构结合在一起，创建了diffusiontransformer模型。这也即是OpenAI的创新之处。时空Patch是Google的创新时空Patch，是Sora创新的核心。它建立在GoogleDeepMind早期对NaViT和ViT（视觉Transformer）的研究之上。论文地址：https://arxiv.org/abs/2307.06304而这项研究，又是基于一篇2021年的论文“AnImageisWorth16x16Words”。论文地址：https://arxiv.org/abs/2010.11929传统上，对于视觉Transformer，研究者都是使用一系列图像Patch来训练用于图像识别的Transformer模型，而不是用于语言Transformer的单词。这些Patch，能使我们能够摆脱卷积神经网络进行图像处理。然而，视觉Transforemr对图像训练数据的限制是固定的，这些数据的大小和纵横比是固定的，这就限制了质量，并且需要大量的图像预处理。而通过将视频视为Patch序列，Sora保持了原始的纵横比和分辨率，类似于NaViT对图像的处理。这种保存，对于捕捉视觉数据的真正本质至关重要！通过这种方法，模型能够从更准确的世界表示中学习，从而赋予Sora近乎神奇的准确性。时空Patch的可视化GooglePatch的论文，发表于2021年。3年后，OpenAI基于这项技术，做出了Sora。这段历史看起来是不是有点眼熟？简直就像“AttentionIsAllYouNeed”的历史重演。2017年6月12日，8位Google研究人员发表了AttentionisAllYouNeed，大名鼎鼎的Transformer横空出世。它的出现，让NLP变了天，成为自然语言领域的主流模型。论文地址：https://arxiv.org/pdf/1706.03762.pdf它完全摒弃了递归结构，依赖注意力机制，挖掘输入和输出之间的关系，进而实现了并行计算。在Google看来，Transformer是一种语言理解的新型神经网络架构。不过它当初被设计出来，是为了解决翻译问题。而后来，Transformer架构被OpenAI拿来发扬光大，成为ChatGPT这类LLM的核心。2022年，OpenAI用Google17年发表的Transformer做出ChatGPT。2024年，OpenAI用Google21年发表的Patch做出Sora。这也让人不由感慨：诚如《为什么伟大不能被计划》一书中所言，伟大的成就与发明，往往是偏离最初计划的结果。前人的无心插柳，给后人的成功做好了奠基石，而一条成功的道路是如何踏出的，完全是出于偶然。Meta微软UC伯克利斯坦福MIT亦有贡献此外，从Sora参考文献中可以看出，多个机构和名校都对Sora做出了贡献。比如，用Transformer做扩散模型的去噪骨干这个方法，早已被斯坦福学者李飞飞证明。在去年12月，李飞飞携斯坦福联袂Google，用Transformer生成了逼真视频。生成的效果可谓媲美Gen-2比肩Pika，当时许多人激动地感慨——2023年已成AI视频元年，谁成想2024一开年，OpenAI新的震撼就来了！李飞飞团队做的，是一个在共享潜空间中训练图像和视频生成的，基于Transformer的扩散模型。史上首次，AI学者证明了：Transformer架构可以将图像和视频编码到一个共享的潜空间中！论文：https://walt-video-diffusion.github.io/assets/W.A.L.T.pdfMSRA和北大联合团队提出的统一多模态预训练模型——NÜWA（女娲），也为Sora做出了贡献。此前的多模态模型要么只能处理图像，要么只能处理视频，而NÜWA则可以为各种视觉合成任务，生成新的图像和视频数据。项目地址：https://github.com/microsoft/NUWA为了在不同场景下同时覆盖语言、图像和视频，团队设计了一个三维变换器编码器-解码器框架。它不仅可以处理作为三维数据的视频，还可以适应分别作为一维和二维数据的文本和图像。在8个下游任务中，NÜWA都取得了新的SOTA，在文本到图像生成中的表现，更是直接超越了DALL-E。NÜWA模型支持的8种典型视觉生成任务草蛇灰线，伏脉千里。踩在前人的肩膀上，通过敏锐的直觉和不眠不休的高强度工作，OpenAI的研究者...PC版：https://www.cnbeta.com.tw/articles/soft/1419363.htm手机版：https://m.cnbeta.com.tw/view/1419363.htm