古希腊掌管 Animatediff 工作流的神 Jerry Davos 的新作品,一个支持非常详细的面部修复和唇形同步的视频转视

古希腊掌管 Animatediff 工作流的神 Jerry Davos 的新作品,一个支持非常详细的面部修复和唇形同步的视频转视频 ComfyUI工作流。 工作流包括三个阶段: 阶段1:将原始视频的每一帧中的面部替换为风格化的面部(目的是使其更接近animatediff风格的面部),同时确保嘴唇同步效果不受影响。 阶段2:此时,从阶段1得到的“只包含面部”的每张图像被覆盖到更精细处理过的图像上,然后将这些图像保存到名为Swapped_A的目录中。 阶段3:(颜色匹配):接下来,Swapped_A目录中的每张图像将与细化目录中相同的图像进行交换。这一过程旨在尽可能实现颜色匹配的最佳效果,同时在一定程度上保持嘴唇同步的准确性。 查看教程及下载工作流:

相关推荐

封面图片

ML Blocks:无代码AI图像生成和分析工作流平台

ML Blocks:无代码AI图像生成和分析工作流平台 它提供了一个拖放式的界面,允许用户轻松地创建复杂的图像处理工作流,无需编写任何代码。 你只根据需要将不同的功能块(如图像编辑功能和AI模型)组合在一起,即可实现个性化的图像自动化处理。 该工具主要解决在电商领域遇到的批量处理图片问题。 ML Blocks允许用户创建可以处理多步骤图像生成或分析管道的自定义图像处理工作流,使用基于图的工作流。用户只需按顺序连接几个块,如去背景 -> 裁剪 -> AI上采样,就可以在几分钟内得到完整的图像处理工作流。 主要功能: 生成图像:使用 Stable Diffusion 等 AI 模型生成或绘制图像。 编辑图像:提供编辑功能,如裁剪、调整大小、重新着色等,来修改图像。 分析图像:利用检测或分割模型从图像中提取数据。 实际应用示例:基于提示模糊图像特定区域:传统方法需要使用DINO模型生成提示中提到的对象周围的边界框,然后使用像Segment Anything这样的分割模型生成这些区域的遮罩,最后使用Pillow或OpenCV库编写模糊功能来模糊遮罩区域。 而使用ML Blocks,用户只需将分割、遮罩和模糊块连接起来,就能在2分钟内完成工作流程。 你还可以自动生成博客帖子或推文的横幅图像、根据提示移除图像中的对象、去除背景并用AI创建新背景等多种工作流程。 |

封面图片

一个开源的 E2EE 工具,可帮助团队在其开发工作流程和基础架构中管理和同步环境变量。它的设计很简单,只需几分钟即可开始。

一个开源的 E2EE 工具,可帮助团队在其开发工作流程和基础架构中管理和同步环境变量。它的设计很简单,只需几分钟即可开始。 用户友好的仪表板,用于管理项目中团队的环境变量 与语言无关的 CLI,可将环境变量提取并注入到本地工作流中 完全控制您的数据 - 在任何基础架构上自行托管数据 浏览每个项目的多个环境(例如开发、暂存、生产等) 环境变量的个人/共享范围 与 CI/CD 和生产基础设施的集成(Heroku 可用,更多即将推出) 一键部署到数字海洋和 Heroku 项目的身份验证/授权(即将进行读/写控制) 自动密钥轮换 2FA 访问日志 Slack 集成和 MS Teams 集成 | || #工具

封面图片

这个利用 3D 制作白膜然后 SD 重绘生成视频的项目,最后的效果非常好,同时作者给了相对详细的操作步骤。

这个利用 3D 制作白膜然后 SD 重绘生成视频的项目,最后的效果非常好,同时作者给了相对详细的操作步骤。 下面是他的工作流: 基础渲染: 首先在Cinema 4D软件中创建并动画化了一个3D虚拟角色,这个角色的体型和面部结构都是依照客户的样貌设计的。 我还细致地给这个3D角色做了纹理处理,以便使用EbSynth软件更好地追踪角色身体的不同部位。这里还涉及到了我为角色设计的3D服装,我将它们作为一个独立的渲染通道,在后期合成阶段加入。 AI输出: 接着,我利用了一个AI模型(SD 1.5版本,当然是得到客户许可后进行的)来处理客户的相貌特征,并使用了一个名为Warp Fusion的技术来生成你现在看到的图像序列。使用Warp Fusion的过程非常耗时,主要是因为它需要不断地尝试和调整。 去闪烁: 这是最复杂的一个步骤。我使用EbSynth进行初步处理,然后通过Davinci Resolve和Topaz Video AI软件来平滑化Warp Fusion的输出结果,同时尽量保持细节。 此外,我还使用了Google Research的帧插值工具来优化角色脸部的某些动作(这些动作在EbSynth中无法得到很好的处理),然后在After Effects软件中把这些处理后的画面加入到视频中。 3D服装: 这一步主要是把之前“基础渲染”阶段制作的服装渲染通道加入进来,并尽可能地进行蒙版处理和合成。由于去闪烁过程对角色动作的插值有所改变,所以服装渲染并不完全同步于角色,但效果依然可以接受。 后期处理: 这个步骤主要是在After Effects中进行常规的视频合成工作。 来源:Reddit 用户Jushooter

封面图片

一种开源工具,可轻松快速构建和部署计算机视觉工作流。你可以将喜欢的框架(如OpenCV,Detectron2,OpenMMLab

一种开源工具,可轻松快速构建和部署计算机视觉工作流。你可以将喜欢的框架(如OpenCV,Detectron2,OpenMMLab或YOLO)与来自各个存储库的最佳先进算法混合在一起。 毫不费力,只需选择想要的内容,Ikomia 就会下载,安装需求并在几行代码中运行所有内容。 | | #计算机视觉 #工具

封面图片

下一代注释工具,整合了计算机视觉最先进模型的强大功能,让标注图像数据集变得比以往更容易,提供无缝的体验和直观的工作流程。

下一代注释工具,整合了计算机视觉最先进模型的强大功能,让标注图像数据集变得比以往更容易,提供无缝的体验和直观的工作流程。 其他特性 阈值选择(置信度和 IoU) 选择类(从 80 个 COCO 类中),并可以选择保存默认类 仅跟踪分配的对象 合并模型(运行两个模型并合并结果) 显示运行时类型(CPU/GPU) 显示 GPU 内存使用情况 视频导航(逐帧、快进、快退、播放/暂停) 浅色/深色主题支持(与操作系统主题同步) 完全可定制的用户界面(拖放、显示/隐藏) 操作系统通知(针对长时间运行的任务) 使用 orjson 实现更快的 json 序列化 附加脚本(外部)来评估分割结果(COCO) 用于从视频文件中提取帧以供将来使用的附加脚本(外部) 用户快捷方式和首选项设置 | #工具

封面图片

通过我这段时间高强度使用Midjourney,总结一下我保证(尽量)高效稳定出图的AI工作流:

通过我这段时间高强度使用Midjourney,总结一下我保证(尽量)高效稳定出图的AI工作流: 1. 心中有明确的画面:使用图片Describe,找到AI是如何描述这种图像的,然后通过输入prompt找到描述和期望最准确的,不断调整修改关键词,实在不行尝试垫图。(弥散渐变就是依靠这种方式) 2.没有明确的画面:使用Chatgpt,给它一个主题,让其自由发挥,前期需要先调教过。然后不断调整修改关键词。 3.积累参数类的关键词:过程中需要积累一些midjourney打标得比较好的关键词,比如close up,就会产生特写镜头的画面。风格类的关键词不建议记忆了,难以通用适配到所有画面,我目前的做法是先存到表格上。 通过以上一些磨合,能让Midjourney生成一些比较符合我预期的图片。

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人