如何做一部风格化鲜明又统一的 AI 短片？

如何做一部风格化鲜明又统一的 AI 短片？ 「VISION」视频制作流程分享 分享色彩统一、主题鲜明、流动感强的技巧 原视频： 偶然在 MJ 中抽卡“Monument Valley”发现了这个色彩斑斓红色岩石般的风格 便开启这次 AI 创作之旅，文案、配音、配乐、图片、视频均由 AI 制作，我提供灵感和剪辑。 1⃣MJ Style Prompt 在 MJ 网页版更好操作，用第一张图作为风格参考图后，后面的 prompt 只需要描述物体意向即可。比如鸟、树、森林、月亮，是本次我想创作的主题。如图2。 2⃣文案与配音 想营造马丁卢瑟金充满希望向上的生命力，我使用11labs 克隆自己的声音，用日语念独白。 独白让 GPT4o 生成一份“模仿马丁 I have a dream 演讲，关于生活向往的文章” 我上传了在干净环境下录制的4mins 说话素材到11labs 即可完成 instant clone voice，如图3。实测声音特别像我念日语！很惊艳 3⃣配乐 配乐用 Suno ，描绘创作想法就可以找到你想要的配乐，没抽卡几次。 prompt 很简单：flying through a monument valley, relaxing , exciting, and a little bit halarious and weird. 因为想要一种向上，但又不是正能量向上的感觉。所以加上了“略微奇怪” 4⃣动起来的视频 Luma 和 Runway 均使用了（为了分摊成本和时间）。从视频右上角水印你可以看出哪些是 Luma 的。 Runway 适合只有一点动感的场景，比如水波纹流动，略微场景透视变化。 Luma 适合开头飞跃山谷这种透视变化的3D/2.5D 场景。 Runway 更稳定一些，Luma 抽卡失败率较高，可以酌情考虑成本和抽卡时间。 5⃣蒙太奇剪辑 只需要使用 text based 剪辑手法即可，根据音乐节奏调整素材速度。字幕和字体很关键，适当加一些转场特效。 一个小 tips，让画面与音乐变化或台词变化的节奏错开一点，会增加视频的有机程度，没那么像卡点剪辑。

通过我这段时间高强度使用Midjourney，总结一下我保证（尽量）高效稳定出图的AI工作流：

通过我这段时间高强度使用Midjourney，总结一下我保证（尽量）高效稳定出图的AI工作流： 1. 心中有明确的画面：使用图片Describe，找到AI是如何描述这种图像的，然后通过输入prompt找到描述和期望最准确的，不断调整修改关键词，实在不行尝试垫图。（弥散渐变就是依靠这种方式） 2.没有明确的画面：使用Chatgpt，给它一个主题，让其自由发挥，前期需要先调教过。然后不断调整修改关键词。 3.积累参数类的关键词：过程中需要积累一些midjourney打标得比较好的关键词，比如close up，就会产生特写镜头的画面。风格类的关键词不建议记忆了，难以通用适配到所有画面，我目前的做法是先存到表格上。 通过以上一些磨合，能让Midjourney生成一些比较符合我预期的图片。

看到@归藏 推荐了这个项目，看了一下的工作流，非常适合开发者学习。

看到@归藏 推荐了这个项目，看了一下项目的工作流，非常适合开发者学习。 项目依赖了如下的服务： Replicate - AI provider Bun - package manager PlanetScale - database Prisma - ORM Next.js - app router, server actions Vercel Blob - storage Vercel - hosting 模型训练和部署：通过Replicate，您可以为项目创建和部署AI模型，通过api的形式访问你的模型。 数据库管理：使用PlanetScale获得可扩展的数据库解决方案，并利用Prisma以类型安全的方式与您的数据库交互，云端mysql。数据大了他也能给你优化。 Web开发和托管：使用Next.js构建Web应用程序，并在为现代Web开发工作流程和无服务器函数优化的Vercel上托管它们。从前后端混合开发的php到前后端分离的项目，再到next又混合回去了。 文件存储：Vercel Blob是您用于存储和服务文件的首选解决方案。 出海的小伙伴可以参考下。 了解完vercel的blob，看了下他们家还有postgres的服务，一个月20刀这些都包含了，还是爽啊，不需要自己折腾基础运维，以上仅供参考。

AI会改变世界！优化了一下工作流，预先给每个场景的服装、妆容、背景写一段提示词，然后复制给这个场景的所有帧，渲染的时候选择自动读

AI会改变世界！ 优化了一下工作流，预先给每个场景的服装、妆容、背景写一段提示词，然后复制给这个场景的所有帧，渲染的时候选择自动读取提示词。效果不错，发型和服装都稳定了不少，也不会因为全局加某个提示词导致画面错乱。

我们至今仍未知道在人才流动性高度通畅的硅谷OpenAI是怎么做到如此断层领先的，要说屯人屯钱屯资源，谷歌脸书亚马逊都不可能比不过

我们至今仍未知道在人才流动性高度通畅的硅谷OpenAI是怎么做到如此断层领先的，要说屯人屯钱屯资源，谷歌脸书亚马逊都不可能比不过它，甚至按照估值来算的话，谷歌一年的利润（注意，还不是收入）就可以买下OpenAI了，但还是挡不住屡次被OpenAI截胡。 目前来看，OpenAI确实是距离AGI最近的那家公司，它的产品泛用性太高了，就像很多精调之后的垂直模型都宣称能在某个细分题库里打败GPT-4，这是事实吗，是的，但这种定向刷分行为没有意义，最后体验下来，还是只有ChatGPT能够全程跟用户说人话。 再比如我依然认为Midjourney的出图艺术性是独一档的，但DALL·E-3很明显训练方向和旨在临摹画师的Midjourney是不一样的，它更遵从文字逻辑，用朴实但准确的绘制反映AI理解的世界图景，所以在生产力上，它不如Midjourney有价值，却很适合搭在ChatGPT里去完善能力，够用就行，而且经济普惠。 Sora还没用上，不过目测也会强在泛用性，两步抽卡的图转视频模式以后的市场会越来越小了先在出图时抽卡，再去转视频抽卡，容错率太低了越来越多的AI视频产品也都不接受第三方的图片了，没办法，因为没有介入图片的生产环节，需要重新对图片进行理解再去转化，这条路走歪了。 要么像是Sora这样，直接合并抽卡次数，用文本逻辑一次性生成视频，保持成本足够低，就一定能建立飞轮，要么和Midjourney的尝试方向一样，做封闭式的生态，发挥图片训练的优势去外延视频，而Runway和Pika这样来者不拒的视频工具，确实会压力巨大，很难维持付费规模。 多扯一点，字节跳动直接把抖音的CEO调去管剪映，是真的果断，年度大会上梁茹波刚反省了公司内部的技术讨论直到2023年才有GPT相关议题，没过几天核心产品的一把手就直接去负责一款工具产品，这样的执行效率在大公司里委实不多见，而Sora的王炸反应，又及时的证明了字节跳动还真不是杯弓蛇影，前瞻性拉满了。 2024年，会很精彩。当然了，英伟达也会继续赢麻⋯⋯

AI生成的《西游记》短片震惊网友

AI生成的《西游记》短片震惊网友 扬子晚报/紫牛新闻记者采访到了这位博主冯先生，从事15年美术工作的冯先生表示，这段视频如果人工制作至少需要半年，而自己在AI的帮助下用时一周就完成了，目前随着文生视频模型Sora的问世，很多现在遥不可及的事情在未来都可以实现了。AI包揽大部分流程，就连分镜规划也靠ChatGPT这段3分56秒的动画短片以《西游记》原著第一集为蓝本，通过AI技术将石猴降生到拜师学艺的故事生动地呈现在观众面前。视频中整个天庭识别度极高，宫殿群依山而建，错落有致，屋顶覆盖着金色的琉璃瓦，阳光下闪闪发光，让人一眼就能感受到那种神秘而庄严的氛围。花果山则充满了宁静与和谐。郁郁葱葱的树木、飞流直下的瀑布、古朴典雅的石桥，共同勾勒出一个如诗如画的世外桃源。视频还展示了孙悟空驾舟渡海、来到城镇、前往灵台方寸山等场景，引发网友啧啧称奇，“这个视频真的太震撼了！AI还原的《西游记》简直绝了！只看开篇就已经被惊艳到了！”“场面确实震撼，希望UP主可以继续沿着剧情更新，赞。”除了《西游记》外，冯先生还用AI生成了丝绸之路、龙生九子、克鲁苏神话等视频动画，目前他在抖音上有超过十万粉丝，收获了超过百万点赞。在评论区，网友们惊叹之余，也有人询问这是如何做出来的。冯先生告诉记者，用AI生成视频需要四步：构思、用文字生成静态图片、让图片动起来、整理剪辑。“第一步肯定是构思，以《西游记》第一集为例，从混沌初开到石猴出世再到拜师学艺，首先就要确定一共需要多少个画面、多少个分镜。”构思这一块看似需要“脑洞”，实际不然，冯先生表示，自己会使用ChatGPT分析原著文字，让AI帮自己规划一些分镜方案，然后自己再从中找到合适的。有了分镜规划后，用AI绘画软件把想要的画面画出来，然后再用“图片生成视频”软件让这些画面动起来。这两个过程中，一般会产生大量的废稿，“目前AI很难完全理解我的意思，无论是图片还是动画片段，随机性都比较大，每次我都会用AI生成很多，在这些素材里面找到合适的再进行下一步。”“剩下的就是把素材放到一起剪辑了，台词我会自己想好，然后使用AI配音。有些特殊角色我会自己配， 用变声器变声，在剪辑的时候还可以再用声音特效打磨一下。”再加上转场、背景音，一部由AI生成的动画视频就诞生了。有网友想看打斗场面，但目前AI生成视频还有许多限制“在两年前我就使用过Google发布了一款AI绘图模型，那时候AI绘图极其抽象，生成的画面支离破碎。比方说画一个人，AI能画出五官，但是五官会非常扭曲，那时候大家都在批评，说这个软件只能画恐怖图片。但是在去年底的时候，这个模型更新到第四版，进步就很大了，当时我还受邀参加了内测。”冯先生介绍，如今这个AI绘图模型已经进步到可以画卡通、素描、水彩等多种风格，并且在细节处理上也更进一步，“例如衣服上的绣花，甚至镶金丝线都能画出来。”“AI绘画问世以来引发过很多次争议，插画师们认为AI用自己的作品进行训练，现在倒过头来抢自己的饭碗。”冯先生坦言，AI技术的迭代确实影响了一部分人的利益，“但这是没办法的事情，就像潘多拉魔盒一样，一旦被打开，再要关上就不可能了，再去抵触它已经没有任何意义。”“就拿这次我发布的《西游记》动画短片来说，我一共用AI生产了三千多张图片，最后选择了约一百张，放在以前的话，哪怕是资深画师要画出这些画肯定需要半年，至于要让画‘动’起来那更是天方夜谭了。”在后台，有不少网友留言想看《西游记》中的打斗场景，“目前AI生成视频还有许多限制，以目前的技术还做不到。”冯先生表示，许多之前做不到的事情，现在AI能够做到了；现在做不到的事情，说不定未来哪一天也能做到，“等到AI足够强大的时候，我肯定会满足网友们的要求的，希望这一天早日到来。”延伸阅读： Sora或颠覆AI视频领域记者注意到，近日Open AI发布了视频生成模型Sora，介绍称Sora能够严格根据用户输入的提示词、文本指令或静态图像，生成长达1分钟的视频，保持较高的视觉质量，其中包含精细复杂的场景、生动的角色表情以及复杂的镜头运动。同时也接受现有视频扩展或填补缺失的帧。目前Sora官网上已经有几十个演示样本，不仅能准确呈现细节，还能理解物体在物理世界中的存在，并生成具有丰富情感的角色。业内不少人士都十分看好Sora，360集团创始人周鸿祎表示，Sora的诞生意味着AGI(通用人工智能)实现将从10年缩短至一两年，“一旦人工智能接上摄像头，把网上的视频都看一遍，它对世界的理解将远远超过文字学习……它展现的不仅仅是视频制作能力，它展现的是大模型对真实世界有了理解和模拟后，会带来新的成功和突破。”工信部信息通信经济专家委员会委员、数字经济专家刘兴亮称，这标志着AI技术在内容创作领域的一个新纪元，“Sora能帮助创作者们以更低的成本和更快的速度将创意变为现实，而且为观众带来了更丰富和多样化的视觉体验。技术创新的这一巨大飞跃，预示着AI在未来人类生活的各个方面都将发挥更加重要的作用。”冯先生也非常看好Sora，他表示，“虽说我还没有使用过这套程序，但从官方说法和官方发布的视频来看，由这套模型生成视频里的各个元素协同度很高，并且在分镜、运动拍摄、远近角切换等领域也远比现在的模型优秀。也就是说，现在遇到的困难，未来可能就不再是困难了。” ... PC版： 手机版：