近几个月我一直在做 AI 动画的尝试,许多 demo 都得到了内外网的很多关注,其中 AI 蜘蛛侠的效果在抖音拿到了 17 万喜

近几个月我一直在做 AI 动画的尝试,许多 demo 都得到了内外网的很多关注,其中 AI 蜘蛛侠的效果在抖音拿到了 17 万喜欢和 1.8 万评。很多朋友希望我能分享是怎么做的,决定趁机做一个梳理总结。 完整文章链接: 目前有许多不同的路径,大致包括:A. 根据参考视频进行风格迁移、B. 文本生成动画、C. 根据静态图生成动画等。(在每一大类的末尾,我都会附上我推荐的教程,这些教程都是免费的,对我在探索的过程中起了很大的帮助。) 再次感谢开源社区。 #AI工作流

相关推荐

封面图片

拿到了微软推出的全球第一个生成式AI认证。与获得证书相比,备考学习过程收获更大。

拿到了微软推出的全球第一个生成式AI认证。与获得证书相比,备考学习过程收获更大。 微软课程的结构非常清晰,有上百个小课构成,每个小课3分钟左右,只讲解1个概念,包含1-2个例子,也讲解一些常见算法。并且,特别强调领导者使用人工智能的合规、道德问题。深入浅出,值得一试。

封面图片

AI生成的《西游记》短片震惊网友

AI生成的《西游记》短片震惊网友 扬子晚报/紫牛新闻记者采访到了这位博主冯先生,从事15年美术工作的冯先生表示,这段视频如果人工制作至少需要半年,而自己在AI的帮助下用时一周就完成了,目前随着文生视频模型Sora的问世,很多现在遥不可及的事情在未来都可以实现了。AI包揽大部分流程,就连分镜规划也靠ChatGPT这段3分56秒的动画短片以《西游记》原著第一集为蓝本,通过AI技术将石猴降生到拜师学艺的故事生动地呈现在观众面前。视频中整个天庭识别度极高,宫殿群依山而建,错落有致,屋顶覆盖着金色的琉璃瓦,阳光下闪闪发光,让人一眼就能感受到那种神秘而庄严的氛围。花果山则充满了宁静与和谐。郁郁葱葱的树木、飞流直下的瀑布、古朴典雅的石桥,共同勾勒出一个如诗如画的世外桃源。视频还展示了孙悟空驾舟渡海、来到城镇、前往灵台方寸山等场景,引发网友啧啧称奇,“这个视频真的太震撼了!AI还原的《西游记》简直绝了!只看开篇就已经被惊艳到了!”“场面确实震撼,希望UP主可以继续沿着剧情更新,赞。”除了《西游记》外,冯先生还用AI生成了丝绸之路、龙生九子、克鲁苏神话等视频动画,目前他在抖音上有超过十万粉丝,收获了超过百万点赞。在评论区,网友们惊叹之余,也有人询问这是如何做出来的。冯先生告诉记者,用AI生成视频需要四步:构思、用文字生成静态图片、让图片动起来、整理剪辑。“第一步肯定是构思,以《西游记》第一集为例,从混沌初开到石猴出世再到拜师学艺,首先就要确定一共需要多少个画面、多少个分镜。”构思这一块看似需要“脑洞”,实际不然,冯先生表示,自己会使用ChatGPT分析原著文字,让AI帮自己规划一些分镜方案,然后自己再从中找到合适的。有了分镜规划后,用AI绘画软件把想要的画面画出来,然后再用“图片生成视频”软件让这些画面动起来。这两个过程中,一般会产生大量的废稿,“目前AI很难完全理解我的意思,无论是图片还是动画片段,随机性都比较大,每次我都会用AI生成很多,在这些素材里面找到合适的再进行下一步。”“剩下的就是把素材放到一起剪辑了,台词我会自己想好,然后使用AI配音。有些特殊角色我会自己配, 用变声器变声,在剪辑的时候还可以再用声音特效打磨一下。”再加上转场、背景音,一部由AI生成的动画视频就诞生了。有网友想看打斗场面,但目前AI生成视频还有许多限制“在两年前我就使用过Google发布了一款AI绘图模型,那时候AI绘图极其抽象,生成的画面支离破碎。比方说画一个人,AI能画出五官,但是五官会非常扭曲,那时候大家都在批评,说这个软件只能画恐怖图片。但是在去年底的时候,这个模型更新到第四版,进步就很大了,当时我还受邀参加了内测。”冯先生介绍,如今这个AI绘图模型已经进步到可以画卡通、素描、水彩等多种风格,并且在细节处理上也更进一步,“例如衣服上的绣花,甚至镶金丝线都能画出来。”“AI绘画问世以来引发过很多次争议,插画师们认为AI用自己的作品进行训练,现在倒过头来抢自己的饭碗。”冯先生坦言,AI技术的迭代确实影响了一部分人的利益,“但这是没办法的事情,就像潘多拉魔盒一样,一旦被打开,再要关上就不可能了,再去抵触它已经没有任何意义。”“就拿这次我发布的《西游记》动画短片来说,我一共用AI生产了三千多张图片,最后选择了约一百张,放在以前的话,哪怕是资深画师要画出这些画肯定需要半年,至于要让画‘动’起来那更是天方夜谭了。”在后台,有不少网友留言想看《西游记》中的打斗场景,“目前AI生成视频还有许多限制,以目前的技术还做不到。”冯先生表示,许多之前做不到的事情,现在AI能够做到了;现在做不到的事情,说不定未来哪一天也能做到,“等到AI足够强大的时候,我肯定会满足网友们的要求的,希望这一天早日到来。”延伸阅读: Sora或颠覆AI视频领域记者注意到,近日Open AI发布了视频生成模型Sora,介绍称Sora能够严格根据用户输入的提示词、文本指令或静态图像,生成长达1分钟的视频,保持较高的视觉质量,其中包含精细复杂的场景、生动的角色表情以及复杂的镜头运动。同时也接受现有视频扩展或填补缺失的帧。目前Sora官网上已经有几十个演示样本,不仅能准确呈现细节,还能理解物体在物理世界中的存在,并生成具有丰富情感的角色。业内不少人士都十分看好Sora,360集团创始人周鸿祎表示,Sora的诞生意味着AGI(通用人工智能)实现将从10年缩短至一两年,“一旦人工智能接上摄像头,把网上的视频都看一遍,它对世界的理解将远远超过文字学习……它展现的不仅仅是视频制作能力,它展现的是大模型对真实世界有了理解和模拟后,会带来新的成功和突破。”工信部信息通信经济专家委员会委员、数字经济专家刘兴亮称,这标志着AI技术在内容创作领域的一个新纪元,“Sora能帮助创作者们以更低的成本和更快的速度将创意变为现实,而且为观众带来了更丰富和多样化的视觉体验。技术创新的这一巨大飞跃,预示着AI在未来人类生活的各个方面都将发挥更加重要的作用。”冯先生也非常看好Sora,他表示,“虽说我还没有使用过这套程序,但从官方说法和官方发布的视频来看,由这套模型生成视频里的各个元素协同度很高,并且在分镜、运动拍摄、远近角切换等领域也远比现在的模型优秀。也就是说,现在遇到的困难,未来可能就不再是困难了。” ... PC版: 手机版:

封面图片

尝试了一下Dashtoon 这个 AI 漫画生成应用,发现做的挺成熟的,该有的功能都有,可以一次性生成也给了充分的编辑和自定义空

尝试了一下Dashtoon 这个 AI 漫画生成应用,发现做的挺成熟的,该有的功能都有,可以一次性生成也给了充分的编辑和自定义空间。 国内的很多小说视频还是手工用各种 AI 工具拼凑的阶段,可以借鉴一下这个产品的实现方式,是个机会。 他的人物一致性是通过内置的非常多人物 Lora 实现的,目前来看这确实是最稳定的方案。 具体的生成逻辑是你输入大概的故事描述,他会为你生成很多个场景描述,你修改确认之后就会根据文字场景描述生成图片和漫画的对话。后两张是我一次性生成的漫画。 这里尝试:

封面图片

《交友神器!AI二维码终极教程,3步做出你的专属艺术二维码!》

《交友神器!AI二维码终极教程,3步做出你的专属艺术二维码!》 各位好,我是吴东子 二维码,在我们生活中已经成为了必不可少的东西。不管是购物、出行、还是交友,都会用到二维码 在此之前大家最常见的二维码都是千篇一律的黑白码点 而现在我们通过AI绘画,可以生成「艺术二维码」,也就是 看上去是图片,实际上却是一张二维码 那今天这篇文章将会分为生成二维码、SD基础参数、ControlNet设置三个步骤 你只要跟着一步一步操作,也可以做出同款艺术二维码,同时文中还有隐藏二维码定位点的方法 1.丝带女孩 2.青花瓷盘子 3.二次元美女 4.真实服装 5.海边浪花 另外,文中需要用到的所有模型文件,以及珍藏的大模型,也都给大家打包好放在末尾的网盘链接里,不需要大家再自己到处去找 花了很多时间才整理出来,希望对你有帮助 「图文版」 : 「视频版」:

封面图片

总结一下我自己在做模型训练时关注到的一些很喜欢的 AI 前沿探索者,以及工具和资源。

总结一下我自己在做模型训练时关注到的一些很喜欢的 AI 前沿探索者,以及工具和资源。 1. Stable Diffusion 入门推荐: 腾讯技术工程《开源图像模型Stable Diffusion入门手册》 推荐理由:目前总结的最好的,没有花里胡哨的内容,信息量大且系统,很难相信是直接开源的文章分享,反复读的文章之一了。 2. LoRA 角色模型训练: YouTube 频道 @Bernard Maltais 推荐理由:Kohya 训练脚本的作者,上下两集共90分钟讲解了 Lora 模型的训练,从数据集收集到处理到训练参数。建议这种教程能看开发者做的就看开发者做的,很多追热点的 up 经常为了图快没玩明白就出攻略,我跟着很多油管的教程操作,常被带进坑里…… 3. 微调风格模型训练: Twitter @Nitrosocke 推荐理由:Nitro 训练过很多非常棒的模型,他的 GitHub 页面有详细讲风格模型怎么训练的教程。他自己本身是设计师出身,在去年年底微调了几个很厉害的风格模型后,现在被 StabilityAI 挖走了。 4. ControlNet 插件研发用户推荐 Twitter @toyxyz 推荐理由:他做了利用 Blender 来辅助 AI 出图的免费插件,打通工作流 3D 辅助 AI 的第一人哈哈。最近他在研究的方向是 ControlNet 动画,总之是厉害、前沿又无私的开发者。 5. AI 放大工具推荐 Topaz Gigapixel:用过最好用的,可以批量放大,基本所有图片训练前我都会用这个过一遍 Upscayl:会增加细节,但是只能给常见物体增加细节 Gigagan:还没出,但看效果挺值得关注 #AI工作流 #AI的神奇用法

封面图片

生成式AI大爆发后 2024年人工智能行业有哪些新趋势?

生成式AI大爆发后 2024年人工智能行业有哪些新趋势? 1. 生成式AI将继续快速发展2022年下半年,AI文生图软件首先点燃了生成式AI的热度,而这股热潮随着ChatGPT的发布达到了巅峰。“生成式AI”的搜索量在2023年出现激增。来源:Exploding Topics在生成式AI受到瞩目之前,大多数AI应用都使用了预测式AI。顾名思义,预测式AI会根据现有数据进行趋势的预测或提供见解,而不会生成全新的内容。相比之下,生成式AI会利用机器学习,从训练数据中学到“思考”的模式,以此创造具有原创性的输出。生成式AI和Deepfake研究专家Henry Adjer指出:“我们仍处于这场生成式革命的初期阶段;未来,合成介质和内容将在日常生活中无处不在,并且实现民主化。这不仅仅是一个简单的新奇事物,而是将在娱乐、教育和供给方面推动突破性的进步。”2. AI模型将从单一模式转向多模态传统的AI模型专注于处理来自单一模态的信息。而现在,通过多模态深度学习,我们能够训练模型去发现不同类型模态之间的关系,意味着这些模型可以将文本“翻译”成图像,以及让图像变成视频、让文本变成音频等等。多模态模型自去年以来受到了热烈的关注,让用户与AI的互动变得更高效。这也就是为何谷歌在去年12月发布的大模型Gemini的宣传片引起了轰动:在片中,Gemini似乎能够实时识别图片,还会生成音频和图片来辅助回答。谷歌Gemini宣传片截图。不过,谷歌在事后承认,该宣传片经过一些剪辑。但是,它至少向我们展示了多模态AI在未来可能会发展出的模样。3. AI将进一步融入各行各业的工作相信许多人在进行工作时,都已经会习惯性地打开ChatGPT等AI工具,让其作为“秘书”来随时辅助自己的工作。ChatGPT正在成为最受欢迎的“办公伙伴”。在今年一月的达沃斯论坛上,AI新锐巨头OpenAI的创始人CEO萨姆·奥特曼强调,AI带来的技术革命不同于以往,但AI不会像人们担心的那样取代掉许多工作,而是成为了一种“提高生产力的不可思议的工具”。对于这样的未来,有一件事是肯定的:作为“打工人”,我们将需要适应并获取与AI相关的新技能。4. AI将放大和增强个性化近几年来,用户都感受到了“个性化推送”的魅力:从社交媒体到视频网站,越来越复杂的算法似乎总能知道用户想看什么,并在合适的时间展示合适的内容。AI正在加速让各类媒介从“大众化”转变为“小众化”,最终目标是真正实现一对一的互动。AI初创企业Synthesia的首席执行官Victor Riparbelli表示:“我们预测:在不远的将来,大众传播将越来越成为过去式。合成媒介和内容将创造新的、个性化的通讯形式,而(传统的)媒体景观将彻底改变。”5. AI监管问题将受到重视最后,不出所料的是,2024年会成为AI监管的关键一年。逐渐变强的AI也为监管部门带来许多全新挑战,就如同漫威《蜘蛛侠》中的经典台词:“能力越大,责任越大。”德勤(Deloitte)的风险咨询主管兼全球技术部门负责人Gillian Crossan认为,AI令“被遗忘的权利”再次受到重视:“当这些大模型利用大量数据进行学习时,你如何保证它们是可控的,以及自己的信息能够被它们遗忘?”欧盟在AI监管方面可谓是取得了领先地位。据报道,欧洲议会和欧盟国家的谈判代表于去年12月已经就AI监管达成了协议。未来,AI系统将被划入不同的风险组:一个应用的潜在风险越高,对它的要求就应该越高。欧盟希望,这些规则会在全世界范围内得到复制。 ... PC版: 手机版:

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人