Google推出Lumiere生成式AI 可基于文本提示创建逼真的图像和视频

Google推出Lumiere生成式AI可基于文本提示创建逼真的图像和视频这听起来可能并不令人印象深刻，但有了最新的生成式人工智能工具的帮助，我们就能走得更远，创造出令人惊叹的作品。Lumiere还使用扩散概率模型来帮助生成图像。这与时空U-Net相结合。对于那些不了解的人来说，U-Net是一种架构，它能带来时间上的放大和缩小，以及添加到图像中的注意力区块。最棒的是，这种新的生成式人工智能工具可以与许多其他模型一起使用，这将有助于创建比我们之前看到的任何图像和视频都更加逼真的图像和视频。Lumiere可用于创建以下内容：电影胶片将图像的单一部分制作成动画动画视频中的一个物体可以被另一个物体取代风格化生成：任何创作的艺术风格都可以改变为其他风格图像到视频：帮助制作任何所需图像的动画视频到视频：允许用户创建不同艺术风格的视频在撰写本文时，Lumiere创建的视频长度最长仅为5秒，而且还不具备创建视频转换和多角度摄像的功能。另外值得注意的是，如果你想试用Lumiere，仅靠标准GPU是不行的。PC本身必须有强大的图形处理能力，否则该工具根本无法运行。访问试用：https://lumiere-video.github.io/...PC版：https://www.cnbeta.com.tw/articles/soft/1415363.htm手机版：https://m.cnbeta.com.tw/view/1415363.htm

华为发布 DiT 架构的图像生成模型，可以直出 4K 分辨率图像。#ai画图#

华为发布DiT架构的图像生成模型，可以直出4K分辨率图像。论文简介：我们引入了PixArt-\Sigma,一个能够直接生成4K分辨率图像的DiffusionTransformer(DiffusionTransformer,DiT)模型。相比其前身PixArt-\alpha,PixArt-\Sigma有了显著进步,提供了明显更高保真度的图像,并改进了与文本提示的一致性。PixArt-\Sigma的一个关键特点是其训练效率。借助PixArt-\alpha的基础预训练,它通过合并更高质量的数据,从"较弱"的基线演变为"较强"的模型,我们将这个过程称为"弱到强训练"。PixArt-\Sigma的进步主要体现在两个方面:高质量训练数据:PixArt-\Sigma结合了更高质量的图像数据,与更精确和详细的图像标题配对。高效的Token压缩:我们在DiT框架内提出了一个新的注意力模块,可以压缩键(Key)和值(Value),显著提高效率,并促进超高分辨率图像生成。得益于这些改进,PixArt-\Sigma以显著较小的模型规模(6亿参数)实现了优于现有文本到图像扩散模型(如SDXL(26亿参数)和SDCascade(51亿参数))的图像质量和用户提示遵从能力。此外,PixArt-\Sigma生成4K图像的能力支持创建高分辨率海报和壁纸,有效地增强了电影和游戏等行业中高质量视觉内容的制作。项目地址：

Stability AI 发布草图到图像生成 AI 工具

StabilityAI发布草图到图像生成AI工具StabilityAILtd.今天推出了StableDoodle，进一步丰富了其生成式人工智能工具库。该公司表示，这是一款草图到图像工具，可以将简单的草图转换为更动态的图像，它的目标受众是从创意专业人士到业余艺术家的所有人。该公司表示，StableDoodle可供专业人士和新手使用，并且不需要熟悉人工智能工具。用户只需勾画出基本草图并上传，模型就会根据用户的选择将其转换为专业的卡通风格动画、折纸模型甚至逼真的图像。https://clipdrop.co/stable-doodle——

Stability AI发布最新图像生成模型Stable Diffusion XL 1.0

StabilityAI发布最新图像生成模型StableDiffusionXL1.0今天，StabilityAI宣布推出StableDiffusionXL1.0，这是该公司迄今为止描述为“最先进”的文本到图像模型。StableDiffusionXL1.0可在上以开源形式使用，并提供给Stability的和消费者应用程序和。Stability声称，与其前代产品相比，StableDiffusionXL1.0提供了“更生动”和“更准确”的颜色，更好的对比度、阴影和照明效果。在接受采访时，StabilityAI的应用机器学习负责人JoePenna指出，StableDiffusionXL1.0包含35亿个参数，可以“在几秒钟内”生成多种长宽比的100万像素分辨率的完整图像。“参数”是模型从训练数据中学习到的部分，基本上定义了模型在解决问题上的技能水平。上一代稳定扩散模型稳定扩散XL0.9也可以生成更高分辨率的图像，但需要更多的计算能力。——、

NVIDIA 正在设法大幅提高生成 AI 图像和视频的速度

NVIDIA正在设法大幅提高生成AI图像和视频的速度Nvidia多伦多人工智能实验室的研究人员正在解决生成图像和视频的时间问题，本周在该公司的GTC2024会议上，他们概述了这项工作的一些成果，展示了旨在实现这一目标的进步更快（因此更经济）生成“噪音”明显更少的图像和更详细的3D图像，将时间从几周或几个月缩短为几天或几分钟。对于图像生成，研究人员着眼于加速扩散模型的工作，该模型用于解决生成高保真度高分辨率图像的棘手问题，并且是OpenAI的Dall-E3等文本到图像模型的基础谷歌的图像。从本质上讲，它们消除了“噪声”——图像原始场景内容中不存在的伪影，但这些伪影可能使图像看起来模糊、像素化、颗粒状或以其他方式表现不佳。——

一个可以在多个 GPU 之间处理来加速图像生成的项目DistriFusion。#ai#

一个可以在多个GPU之间处理来加速图像生成的项目DistriFusion。实现了在八个NVIDIAA100GPU上比单个GPU生成速度快6.1倍。且不会降低图像质量。论文简介：提出了一种名为DistriFusion的新方法。该方法通过在多个GPU之间实现并行处理来加速图像生成。具体来说，我们将输入的图像分割成多个小块，每块分配给一个GPU处理。不过，简单地这样做会导致不同块之间缺乏有效交互，影响图像的整体质量。而想要增加这些块之间的交互，又会带来巨大的通信负担。为了解决这个矛盾，我们发现相邻扩散步骤中输入数据的高度相似，于是提出了一种“移位块并行机制”。这种机制利用了扩散过程的连续特性，通过重用上一步计算好的特征图为当前步骤提供背景信息。因此，我们的方法能够支持异步通信，并且能够与计算过程并行运行。通过广泛的实验，我们证明了这种方法可以应用于最新的StableDiffusionXL模型，而且不会降低图像质量，并且在八个NVIDIAA100GPU上比单个GPU快达6.1倍。项目地址：github.com