谷歌的新视频生成人工智能模型Lumiere采用了一种名为Space-Time-U-Net（简称STUNet）的新扩散模型，这个模

谷歌的新视频生成人工智能模型Lumiere采用了一种名为Space-Time-U-Net（简称STUNet）的新扩散模型，这个模型能够识别视频中物体的位置（空间）以及它们是如何同时移动和变化的（时间）。据Ars Technica报道，这种方法让Lumiere能够一次性创造出视频，而不是把小的静态画面拼接起来。 Lumiere首先根据提示创建一个基础画面。然后，它利用STUNet框架开始推算画面中的物体将如何移动，以此创造出连贯的多个画面，营造出流畅运动的视觉效果。与稳定视频扩散（Stable Video Diffusion）的25帧相比，Lumiere还能生成80帧视频。 标签: #Google #AI #Lumiere 频道: @GodlyNews1 投稿: @GodlyNewsBot

AI 大事记：Apple 带来开源模型的运行软件框架MLX

AI 大事记：Apple 带来开源模型的运行软件框架MLX 今天由Apple 研究团队发布了MLX，一个高效的机器学习框架，专为苹果芯片（即M系列）设计。视频为 MLX 实现的 Llama v1 7B 模型，在 M2 Ultra 上运行。 参考要点 - Apple AI 研究科学家 Awni Hannum 提供了演示视频， MLX 有各种示例，包括支持训练Transformer大模型或使用 LoRA 进行微调；使用 Mistral 生成文本；利用Stable Diffusion 生成图像；使用 Whisper 进行语音识别。 - MLX 是 Apple 芯片上用于机器学习的阵列框架，由 Apple 机器学习研究团队提供。 - Jim Fan 评价为，这可能是苹果公司迄今为止在开源人工智能方面的最大举措。该版本在设计深度学习受众熟悉的 API 方面做得非常出色，并在大多数人关心的开放源码软件模型上展示了极简的示例：Llama、LoRA、Stable Diffusion 和 Whisper。 MLX Github地址： 文档齐全、独立的示例库： Invalid media:

AIGC Weekly #11更新了，本期主要介绍了ChatGPT API发布的内容以及相关工具，AI生成动画短片的工作流程。下

AIGC Weekly #11更新了，本期主要介绍了ChatGPT API发布的内容以及相关工具，AI生成动画短片的工作流程。下面是上周一些行业动态和产品推荐，更多详细的内容可以去图里的竹白查看： 本周精选： ChatGPT API上周正式发布了下面是一些相关信息： 官方介绍文章： 官方API文档： Token计数规则文档： Token可视化计数工具： 官方Playground页面： 同时开放的API 还有Open AI已经开源的Whisper语音识别模型： ANIME ROCK, PAPER, SCISSORS-完全使用AI绘图技术制作的高水平动画： 他们使用的主要工具为： Stable Diffusion模型+DreamBooth微调 ControlNet 匹配动捕画面姿势 虚幻引擎+资产存储3D模型 Img2Img + DeFlickering效果 大量的老式的VFX合成 产品推荐： OpenCat-ChatGPT Mac桌面客户端： bob-plugin-openai-translator-BOB ChatGPT翻译插件：

看了一期关于 stable diffusion （另一个AI绘画工具）的教程，发现这个相比 Midjourney ，可视化操作界

看了一期关于 stable diffusion （另一个AI绘画工具）的教程，发现这个相比 Midjourney ，可视化操作界面和配置性上都强大。 目前在 Midjourney 里写 prompt 的感受是，所有的东西都融合在那么小一个对话框里了。所以我都在 flomo 里先写好，再贴过去。要改，也就在 flomo 里改。//此处很想呼吁 flomo 网页版的全屏模式回归 而 stable diffusion 就有好几个大框框，正面提示词和负面提示词可以分开写。多好啊！多清晰！ 如果直接把 prompt 结构也都给我整成不同的框框，这个框写主体描述、那个框写场景描述，有就写、没有就不写。那我就再也不需要去记这个结构了，可以大大提高操作便捷性。 又比如，Midjourney 的关键词权重是靠顺序来调整的，但不能精确控制，很魔幻；但 stable diffuasion 看起来就可以，至少人可以让你添加权重数值，看起来控制感强很多。 这个 stable diffusion 的教程真不戳 【Nenly同学的个人空间-哔哩哔哩】 如果 Midjourney 的界面操作可以做得更小白点儿，使用人数一定远远超出现在。不会写代码只能望洋兴叹

微软昨天发了一篇论文，讲多模态模型下可以用可视化内容和音频来与 AI 沟通，标题就是《Language Is Not All Y

微软昨天发了一篇论文，讲多模态模型下可以用可视化内容和音频来与 AI 沟通，标题就是《Language Is Not All You Need》。看论文截图能很快理解是怎么回事。 这也验证了很多朋友的看法：ChatGPT 只是开始，只要有这种底层能力，交互上的难度并不是最大门槛，会很快得到迭代。每次交互和数据库的小调整，都会带来巨大的体验差。

AI生成模型合集AI文本生成图像模型

AI生成模型合集 AI文本生成图像模型 DALL-E 2：https://openai.com/product/dall-e-2 Stable Diffusion：https://stablediffusionweb.com/ Craiyon：https://www.craiyon.com/ Jasper：https://www.jasper.ai/ Imagen：https://imagen.research.google/ Midjourney： 网站：https://midjourney.com/ 教程：https://www.uisdc.com/midjourney 关键词：https://github.com/willwulfken/MidJourney-Styles-and-Keywords-Reference NightCafe：https://nightcafe.studio/ GauGAN2： http://gaugan.org/gaugan2/ https://blogs.nvidia.com/blog/2021/11/22/gaugan2-ai-art-demo/ WOMBO ：https://www.wombo.ai/ pixray/text2image：https://replicate.com/pixray/text2image neural.love：https://neural.love/ AI文本生成视频模型 Runway：https://runwayml.com/ Fliki：https://fliki.ai/ Synthesia：https://www.synthesia.io/ Meta AI：https://ai.facebook.com/ Google AI：https://ai.google/ Phenaki：https://phenaki.video/ AI文本生成音频模型 Play.ht：https://play.ht/ Murf：https://murf.ai/ Resemble AI：https://www.resemble.ai/ WellSaid：https://wellsaidlabs.com/ Descript：https://www.descript.com/ AI文本生成文本模型 Simplified：https://simplified.com/ Jasper：https://www.jasper.ai/ Frase：https://www.frase.io/ EleutherAI：https://www.eleuther.ai/ AI21 Labs：https://www.ai21.com/ Hub Spot：https://www.hubspot.com/ InferKit：https://inferkit.com/ GooseAI：https://goose.ai/ Research AI：https://researchai.co/ Writesonic：https://writesonic.com/ Cohere：https://cohere.ai/ Chibi：https://chibi.ai/ Ideas AI：https://ideasai.com/ Copysmith：https://app.copysmith.ai/ Flowrite：https://www.flowrite.com/ Nichesss：https://nichesss.com/ Sudowrite：https://www.sudowrite.com/ ideasbyai：https://ideasby.ai/ TextCortex：https://textcortex.com/ OpenAI GPT-3：https://beta.openai.com/playground Blog Idea Generator：https://www.usetopic.com/blog-idea-generator AI文本生成Motion模型 Tree：https://tree.industries/ MDM: Human Motion Diffusion Model： https://guytevet.github.io/mdm-page/ AI文本生成代码模型 replitGhostwriter code：https://replit.com/site/ghostwriter Github copilot：https://github.com/features/copilot AI文本生成NFT模型 LensAI：https://www.lens.xyz/ AI文本生成3D模型 DreamFusion：https://dreamfusion3d.github.io/ CLIP-Mesh：https://www.nasir.lol/clipmesh GET3D：https://nv-tlabs.github.io/GET3D/ AI音频生成文本模型 Descript：https://www.descript.com/ AssemblyAI：https://www.assemblyai.com/ Whisper (OpenAI)：https://openai.com/blog/whisper/ AI音频生成音频模型 AudioLM： https://google-research.github.io/seanet/audiolm/examples/ Voicemod：https://www.voicemod.net/ AI-Brain生成文本模型 speech from brain(metaAI): https://ai.facebook.com/blog/ai-speech-brain-activity/ Non-invasive brain recordings： https://www.biorxiv.org/content/10.1101/2022.09.29.509744v1 AI图像生成文本模型 Neural.love：https://neural.love/ GPT-3 x Image Captions：https://www.auxiliary.tools #实用资源收集 #AI#合集