StoryDiffusion 是一个开源的图像和视频生成模型，它通过一致自注意力机制和运动预测器，能够生成连贯的长序列图像和

StoryDiffusion 是一个开源的图像和视频生成模型，它通过一致自注意力机制和运动预测器，能够生成连贯的长序列图像和视频。 这个模型的主要优点在于它能够生成具有角色一致性的图像，并且可以扩展到视频生成，为用户提供了一个创造长视频的新方法。该模型对AI驱动的图像和视频生成领域有积极的影响，并且鼓励用户负责任地使用该工具。 使用场景示例： 使用StoryDiffusion生成一系列漫画风格的图像。 创建一个基于文本提示的长视频，展示一个连贯的故事。 利用StoryDiffusion进行角色设计和场景布局的预可视化。 产品特色： 一致自注意力机制：生成长序列中的角色一致图像。 运动预测器：在压缩的图像语义空间中预测运动，实现更大的运动预测。 漫画生成：利用一致自注意力机制生成的图像，无缝过渡创建视频。 图像到视频的生成：提供用户输入的条件图像序列来生成视频。 两阶段长视频生成：结合两个部分生成非常长且高质量的AIGC视频。 条件图像使用：图像到视频模型可以通过提供一系列用户输入的条件图像来生成视频。 短视频生成：提供快速的视频生成结果。 |

：视频生成技术的新前沿，实现高保真度、可控性生成

：视频生成技术的新前沿，实现高保真度、可控性视频生成 - 与视频和图像联合训练，支持从文字到视频、从图像到视频以及从文字到图像等工具，同时保留运动笔刷、高级相机控制、导演模式等控制模式。 - 引入了一系列安全保障措施，包括内部视觉审查系统和C2PA来源标准。 - 训练数据包含描述性细致和时间密集的描述，支持场景元素的富有想象力的过渡和精确的关键帧设置。 - 表现出色的生成式真人角色，可以展示广泛的动作、手势和情绪，解锁新的叙事方式。 - 由跨学科团队的科研人员、工程师和艺术家合作训练，旨在解释各种风格和电影术语。 - 与主要娱乐和媒体组织合作，为Gen-3创建定制版本，允许更具风格的控制和一致的字符，达到特定的艺术和叙事要求。 - 所有示例视频均完全由Gen-3 Alpha生成，无任何修改。 - Gen-3 Alpha代表了高保真、可控视频生成的新前沿。它为艺术家提供了强大的新工具，为多种行业带来自定义解决方案的可能性。

阿里巴巴的图像转视频模型在本周迅速走红，它抓取 TikTok 进行训练

阿里巴巴的图像转视频模型在本周迅速走红，它抓取 TikTok 视频进行训练 中国零售和科技巨头阿里巴巴的研究团队本周发布了一篇论文，详细介绍了一种新模型，他们称之为“”。网上对此的普遍反应是「RIP TikTokers」，暗示舞蹈类 TikTok 内容创作者将很快被人工智能取代。 该模型在接受输入「在他们的示例中为 TikTok 舞蹈视频」并创建一个新版本作为输出。其结果比之前尝试的类似模型略好。 阿里巴巴研究人员在论文中写道，他们使用的是“TikTok 数据集，包括 340 个训练和 100 个测试的单人舞蹈视频 (长 10-15 秒)”。该数据集源自明尼苏达大学 2021 年的一个项目“通过观看社交媒体舞蹈视频学习着装人类的高保真深度”，该项目概述了一种“人体深度估计和人体形状恢复方法”的技术，例如使用 AI 给视频中的某人穿上新衣服。

阿里巴巴开源能理解图像的 AI 模型 Qwen-VL

阿里巴巴开源能理解图像的 AI 模型 Qwen-VL 阿里巴巴周五开源了能理解图像和完成更复杂对话的 AI 模型和 Qwen-VL-Chat。阿里巴巴称，Qwen-VL 基于 Qwen-7B，可以以图像、文本、检测框作为输入，并以文本和检测框作为输出，它使用了约 1.5B 的图文数据训练。在四大类多模态任务的标准英文测评中上，Qwen-VL 均取得同等通用模型大小下最好效果；支持英文、中文等多语言对话，端到端支持图片里中英双语的长文本识别；支持多图输入和比较，指定图片问答，多图文学创作等；相比于目前其它开源 LVLM使用的 224 分辨率，Qwen-VL 是首个开源的 448 分辨率的 LVLM 模型。更高分辨率可以提升细粒度的文字识别、文档问答和检测框标注。Qwen-VL 和 Qwen-VL-Chat 使用名为 Tongyi Qianwen LICENSE AGREEMENT 的许可证，有限制条件，如果商业使用，则需要从阿里巴巴获得授权。来源 ， 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

MagicEdit - 字节跳动发布视频生成AI

MagicEdit - 字节跳动发布视频生成AI MagicEdit 是一种出奇简单但有效的文本引导视频编辑任务的解决方案，通过在AI训练期间明确地解开内容、结构和运动信号的学习，可以实现高保真和连贯的视频到视频翻译#AI #视频剪辑 链接：点击获取 频道 | 圈子 | 群聊 | 投稿

NVIDIA 正在设法大幅提高生成 AI 图像和视频的速度

NVIDIA 正在设法大幅提高生成 AI 图像和视频的速度 Nvidia 多伦多人工智能实验室的研究人员正在解决生成图像和视频的时间问题，本周在该公司的 GTC 2024 会议上，他们概述了这项工作的一些成果，展示了旨在实现这一目标的进步更快（因此更经济）生成“噪音”明显更少的图像和更详细的 3D 图像，将时间从几周或几个月缩短为几天或几分钟。 对于图像生成，研究人员着眼于加速扩散模型的工作，该模型用于解决生成高保真度高分辨率图像的棘手问题，并且是 OpenAI 的 Dall-E3 等文本到图像模型的基础谷歌的图像。从本质上讲，它们消除了“噪声”图像原始场景内容中不存在的伪影，但这些伪影可能使图像看起来模糊、像素化、颗粒状或以其他方式表现不佳。