MetaAI 开源 ImageBind，可让模型跨 6 种不同的模态（图像、文本、音频、深度、热能和 IMU 数据）进行联动

MetaAI开源ImageBind，可让模型跨6种不同的模态（图像、文本、音频、深度、热能和IMU数据）进行联动借助ImageBind，则可以做到直接通过声音来直接生成图像。这使得AI能够更加深入了解人类情感，理解他们的喜怒哀乐，进而为人类提供更好的服务。当你举起手机，录制一个海边日落的视频时，AI便能自动根据视频内容来生成文案和字幕，并匹配上合适的背景音乐。至AI还有可能通过一首歌，直接为歌手生成一段视频MV。此举将为AIGC技术带来更为广泛的应用场景，一大波更为有趣、实用的AI项目也即将来袭。#AI来源，https://github.com/facebookresearch/ImageBind来自：雷锋频道：@kejiqu群组：@kejiquchat投稿：@kejiqubot

相关推荐

封面图片

云从科技：从容大模型支持通过文本和音频生成图像和视频

云从科技：从容大模型支持通过文本和音频生成图像和视频OpenAI的视频生成模型Sora引发关注，云从科技相关负责人表示，云从科技在视觉方面积累较为深厚，目前，从容大模型已实现利用diffusion、GAN等生成式技术围绕人物图像、人物视频数据进行建模，通过文本和音频实现对图像和视频内容进行生成、控制、编辑。应用上，云从科技与天津港、华为等共同开发港口大模型PortGPT，核心是AI智能体天天，通过AI生成交互画面，协同数据分析，提高港口运转效率及安全性。此外，还在文生图像、视频等跨模态领域积极布局，包括发布数字人能力平台，生成AI视频；与中国电信合作AI营销海报生成等。（科创板日报）
封面图片

Meta ImageBind 多模态模型开源，我们离AGI又进一步。

MetaImageBind多模态模型开源，我们离AGI又进一步。当人类看到一辆行驶中的火车，不仅会使用视觉，还会听到声音，感知距离，感知速度。ImageBind也是类似，它将六种数据，文本，音频，视觉，运动，温度，深度，嵌入到一个向量空间，让模型像千脑智能那样，调动不同的感知区域进行「交谈」并做出全面的解释和判断。（这与文心一言等模型每个模态有自己嵌入空间的所谓多模态截然不同。）一些应用（见图）：-通过火车的声音、图像、深度信息，生成准确的文字描述-通过鸽子的图片和摩托的声音，减缩到摩托车和鸽子的图像-通过企鹅的声音，生成企鹅的图像另一些可能性：-拍摄一段海洋日落的视频，自动生成完美的音频剪辑。-通过静态图像和音频组合，创建动画。-通过Make-A-Video生成视频时，自动加上背景音。（飞狗图）未来不止于此，模型还可以引入更多的模态，如触觉、语音、嗅觉和大脑fMRI信号，以增强模型对实体世界的感知。https://ai.facebook.com/blog/imagebind-six-modalities-binding-ai/
封面图片

PixVerse：AI文本和图像生成视频

PixVerse：AI文本和图像生成视频PixVerse是一个利用AI人工智能技术将文本和图像创建成令人惊叹的视频的平台。这个网站提供了一个强大的视频创作工具，允许用户将他们的想法转化为引人注目的视觉效果。通过这个平台，用户可以轻松地制作出具有专业水准的视频内容。标签：#网站#视频生成#AI视频#AI工具链接：https://www.appmiu.com/20408.html
封面图片

StoryDiffusion 是一个开源的图像和视频生成模型，它通过一致自注意力机制和运动预测器，能够生成连贯的长序列图像和

StoryDiffusion是一个开源的图像和视频生成模型，它通过一致自注意力机制和运动预测器，能够生成连贯的长序列图像和视频。这个模型的主要优点在于它能够生成具有角色一致性的图像，并且可以扩展到视频生成，为用户提供了一个创造长视频的新方法。该模型对AI驱动的图像和视频生成领域有积极的影响，并且鼓励用户负责任地使用该工具。使用场景示例：使用StoryDiffusion生成一系列漫画风格的图像。创建一个基于文本提示的长视频，展示一个连贯的故事。利用StoryDiffusion进行角色设计和场景布局的预可视化。产品特色：一致自注意力机制：生成长序列中的角色一致图像。运动预测器：在压缩的图像语义空间中预测运动，实现更大的运动预测。漫画生成：利用一致自注意力机制生成的图像，无缝过渡创建视频。图像到视频的生成：提供用户输入的条件图像序列来生成视频。两阶段长视频生成：结合两个部分生成非常长且高质量的AIGC视频。条件图像使用：图像到视频模型可以通过提供一系列用户输入的条件图像来生成视频。短视频生成：提供快速的视频生成结果。
封面图片

图像生成模型 Stable Diffusion XL 1.0 开源发布

图像生成模型StableDiffusionXL1.0开源发布SDXL1.0的性能5倍优于SD1.5(开源社区主流)，是开源世界最大参数的图像模型，也是StabilityAI最新&最先进的模型。现可通过Github、HuggingFace、API、AWS、Clipdrop、DreamStudio直接访问。SDXL1.0拥有3.5B参数的基础模型(可单独使用)和6.6B参数的专家混合管道(多了一个单独执行最终去噪的精炼模型)，精炼模型可以为基础模型的输出添加更准确的颜色、更高的对比度和更精细的细节。微调SDXL1.0的图像需求量也急剧下降，现在只需5到10张图像就可以快速微调出一个专门生成特定人物、事物的模型。投稿：@ZaiHuaBot频道：@TestFlightCN
封面图片

新加坡团队开发AI新工具 可用文本直接生产3DVR图像

新加坡团队开发AI新工具可用文本直接生产3DVR图像如今各种AI图像生成软件正火，不过基本都是生成2D类图像，日前来自新加坡的一个科研团队宣布，正在开发文本直接生产3DVR图像的AI系统，如果项目完成，将对今后的绘图、电影、动漫乃至游戏等领域造成巨大的冲击和影响。PC版：https://www.cnbeta.com/articles/soft/1325785.htm手机版：https://m.cnbeta.com/view/1325785.htm

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人