这个利用 3D 制作白膜然后 SD 重绘生成视频的项目,最后的效果非常好,同时作者给了相对详细的操作步骤。

这个利用 3D 制作白膜然后 SD 重绘生成视频的项目,最后的效果非常好,同时作者给了相对详细的操作步骤。 下面是他的工作流: 基础渲染: 首先在Cinema 4D软件中创建并动画化了一个3D虚拟角色,这个角色的体型和面部结构都是依照客户的样貌设计的。 我还细致地给这个3D角色做了纹理处理,以便使用EbSynth软件更好地追踪角色身体的不同部位。这里还涉及到了我为角色设计的3D服装,我将它们作为一个独立的渲染通道,在后期合成阶段加入。 AI输出: 接着,我利用了一个AI模型(SD 1.5版本,当然是得到客户许可后进行的)来处理客户的相貌特征,并使用了一个名为Warp Fusion的技术来生成你现在看到的图像序列。使用Warp Fusion的过程非常耗时,主要是因为它需要不断地尝试和调整。 去闪烁: 这是最复杂的一个步骤。我使用EbSynth进行初步处理,然后通过Davinci Resolve和Topaz Video AI软件来平滑化Warp Fusion的输出结果,同时尽量保持细节。 此外,我还使用了Google Research的帧插值工具来优化角色脸部的某些动作(这些动作在EbSynth中无法得到很好的处理),然后在After Effects软件中把这些处理后的画面加入到视频中。 3D服装: 这一步主要是把之前“基础渲染”阶段制作的服装渲染通道加入进来,并尽可能地进行蒙版处理和合成。由于去闪烁过程对角色动作的插值有所改变,所以服装渲染并不完全同步于角色,但效果依然可以接受。 后期处理: 这个步骤主要是在After Effects中进行常规的视频合成工作。 来源:Reddit 用户Jushooter

相关推荐

封面图片

全能三维软件-Blender 快速入门视频教程

全能三维软件-Blender 快速入门视频教程 描述:Blender是开源的三维动画制作软件,包括用于3D建模,动画,渲染,视频处理的工具,用于创建交互式游戏的一组选项,视觉3D效果等等。使用此程序,您可以创建逼真的3D图像,具有数码摄影的质量。该课程定位为Blender快速入门,通过案例学习到各个技术点,系统的教学方式,从建模、UV编辑、材质、纹理绘制、合成、粒子、渲染、骨骼绑定等一整套的工作流程。 链接: 大小:18G 标签:#Blender 来自:雷锋 频道:@Aliyundrive_Share_Channel 群组:@alyd_g 投稿:@AliYunPanBot

封面图片

卧槽 MagicClothing 这个AI 换装的演示效果有点强啊。

卧槽 MagicClothing 这个AI 换装的演示效果有点强啊。 而且还可以与 ControlNet 和 IP-Adapter 等其他技术结合使用。还是开源的,期待对应的 ComfUI 节点。 详细介绍: 推出了一种名为 Magic Clothing 的新型网络架构,它基于潜在扩散模型(LDM)进行开发,专门处理一项新的图像合成任务服装驱动的图像合成。 该系统旨在生成根据不同文本提示定制的、穿着特定服装的角色。在这一过程中,图像的可控性至关重要,主要是要确保服装的细节得以保留,并且生成的图像要忠实于文本提示。 为了实现这一点,我们开发了一种服装特征提取器,用以详细捕捉服装的特征,并通过自注意力融合技术,将这些特征有效整合到预训练好的LDMs中,确保目标角色的服装细节不发生改变。 同时,我们还使用了一种称为联合无分类器指导的技术,以平衡服装特征和文本提示在生成图像中的影响。 此外,我们提出的服装提取器是一个可插拔模块,可以应用于多种经过微调的LDMs,并能与 ControlNet 和 IP-Adapter 等其他技术结合使用,进一步提高生成角色的多样性和可控性。 我们还开发了一种名为匹配点LPIPS(MP-LPIPS)的新型评估指标,用于评价生成图像与原始服装之间的一致性。 论文地址:

封面图片

Reddit 上的一个帖子,很厉害,利用简陋的 3D 模型动画和 Animatediff 生成 高度自定义的 2D 动画。

Reddit 上的一个帖子,很厉害,利用简陋的 3D 模型动画和 Animatediff 生成 高度自定义的 2D 动画。 B 站前段时间胶囊计划有个片子也是类似的处理方式。 具体的工作流为: 将文本转化为3D效果: 由LumaLabs提供技术支持 背景设计: 使用ComfyUI和Photoshop的生成式填充功能 3D动画制作: 采用Mixamo和Blender工具 2D风格动画: 由ComfyUI提供支持 所有其他特效: 通过After Effects实现

封面图片

Jim Fan 详细介绍了一下 Sora 的实现原理,这不仅仅是一个视频生成模型这么简单,还是一个基于数据驱动的虚幻 5 引擎。

Jim Fan 详细介绍了一下 Sora 的实现原理,这不仅仅是一个视频生成模型这么简单,还是一个基于数据驱动的虚幻 5 引擎。 如果你以为OpenAI Sora只是一个像DALLE这样的创意小玩具,那你可要重新认识一下了。Sora实际上是一个基于数据驱动的物理引擎,能够模拟各种真实或奇幻的世界。这款模拟器能学会复杂的渲染技术、直观的物理规律、长期的逻辑推理以及语义理解,而这一切都是通过先进的去噪技术和梯度计算实现的。 我甚至猜测,Sora可能是通过使用Unreal Engine 5生成的大量合成数据来进行训练的。这听起来非常有可能! 下面我们来详细分析一段视频。这段视频的提示是:“一杯咖啡里,两艘海盗船相互战斗的逼真特写视频。” •视频中,模拟器创建了两艘装饰各异的精美海盗船的3D模型。Sora需要在其庞大的数据空间中隐式地完成从文本到3D模型的转换。 •这些3D模型的海盗船在航行中能够自然地动起来,它们在避开对方的同时,动作流畅协调。 •还有咖啡的流体动力学表现,包括船只周围形成的泡沫。流体模拟本身就是计算机图形学中一个复杂的分支,通常需要复杂的算法和方程式来实现。 •视频的光影效果逼真,几乎可以媲美光线追踪技术的渲染效果。 •模拟器还考虑到了杯子与海洋相比较小的尺寸,并运用了移轴摄影技术(Tilt-shift photography),为整个场景增添了一种微观世界的感觉。 •虽然视频中的场景在现实世界里找不到对应,但模拟器还是根据我们的期望,准确实现了物理规则。 接下来的步骤是:引入更多的模态和条件变量,我们就可以得到一个全面的、基于数据驱动的Unreal Engine。它将有望替代所有现有的手工设计图形处理流程。 Invalid media:

封面图片

Jim Fan 详细介绍了一下 Sora 的实现原理,这不仅仅是一个视频生成模型这么简单,还是一个基于数据驱动的虚幻 5 引擎。

Jim Fan 详细介绍了一下 Sora 的实现原理,这不仅仅是一个视频生成模型这么简单,还是一个基于数据驱动的虚幻 5 引擎。 如果你以为OpenAI Sora只是一个像DALLE这样的创意小玩具,那你可要重新认识一下了。Sora实际上是一个基于数据驱动的物理引擎,能够模拟各种真实或奇幻的世界。这款模拟器能学会复杂的渲染技术、直观的物理规律、长期的逻辑推理以及语义理解,而这一切都是通过先进的去噪技术和梯度计算实现的。 我甚至猜测,Sora可能是通过使用Unreal Engine 5生成的大量合成数据来进行训练的。这听起来非常有可能! 下面我们来详细分析一段视频。这段视频的提示是:“一杯咖啡里,两艘海盗船相互战斗的逼真特写视频。” •视频中,模拟器创建了两艘装饰各异的精美海盗船的3D模型。Sora需要在其庞大的数据空间中隐式地完成从文本到3D模型的转换。 •这些3D模型的海盗船在航行中能够自然地动起来,它们在避开对方的同时,动作流畅协调。 •还有咖啡的流体动力学表现,包括船只周围形成的泡沫。流体模拟本身就是计算机图形学中一个复杂的分支,通常需要复杂的算法和方程式来实现。 •视频的光影效果逼真,几乎可以媲美光线追踪技术的渲染效果。 •模拟器还考虑到了杯子与海洋相比较小的尺寸,并运用了移轴摄影技术(Tilt-shift photography),为整个场景增添了一种微观世界的感觉。 •虽然视频中的场景在现实世界里找不到对应,但模拟器还是根据我们的期望,准确实现了物理规则。 接下来的步骤是:引入更多的模态和条件变量,我们就可以得到一个全面的、基于数据驱动的Unreal Engine。它将有望替代所有现有的手工设计图形处理流程。

封面图片

手工爱好者3D打印出一台功能强大的DIY苹果电脑

手工爱好者3D打印出一台功能强大的DIY苹果电脑 在一段 47 分钟的视频中,Noki 讲述了他制作这款设备的过程。Noki 完成了超过 29 个复杂的步骤,每个步骤本身都是一项重大任务。他首先测量了 Macintosh Plus 的每一个表面和角度,在 AutoDesk Fusion 360 中对其进行建模,然后打印部件、将它们拼接在一起、填补缝隙、打磨和纹理处理。他改装了一个 10 英寸的廉价商店屏幕,使其具有 LED 背光和调光旋钮,他还制作了一个电源组件,内置连接器、扬声器和其他硬件,并使用 Linux 设计了一个 Mini vMac 模拟器。整个过程令人目不暇接。Mac Plus 的大小和质地都非常合适,它支持 3.5 英寸磁盘,支持适当的苹果键盘和鼠标,并拥有你所期望的真正 Mac 的所有其他细节。部件的打印耗时超过 48 小时,整个项目耗时 40 周。 ... PC版: 手机版:

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人