MetaAI 开源 ImageBind，可让模型跨 6 种不同的模态（图像、文本、音频、深度、热能和 IMU 数据）进行联动

MetaAI 开源 ImageBind，可让模型跨 6 种不同的模态（图像、文本、音频、深度、热能和 IMU 数据）进行联动 借助 ImageBind，则可以做到直接通过声音来直接生成图像。这使得 AI 能够更加深入了解人类情感，理解他们的喜怒哀乐，进而为人类提供更好的服务。当你举起手机，录制一个海边日落的视频时，AI 便能自动根据视频内容来生成文案和字幕，并匹配上合适的背景音乐。至 AI 还有可能通过一首歌，直接为歌手生成一段视频 MV。 此举将为 AIGC 技术带来更为广泛的应用场景，一大波更为有趣、实用的 AI 项目也即将来袭。#AI 来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

#DeepSeek1.28 DeepSeek发布新款开源多模态AI模型Janus-Pro

#DeepSeek 1.28 DeepSeek发布新款开源多模态AI模型Janus-Pro 人工智能社区Hugging Face显示，DeepSeek刚刚发布了开源多模态人工智能（AI）模型Janus-Pro。 它具有多模态功能（可生成图像），在 GenEval 和 DPG-Bench 基准测试中击败了 OpenAI 的 DALL-E 3 和 Stable Diffusion。

利用 Meta 的 ImageBind 训练出来的多模态模型。

利用 Meta 的 ImageBind 训练出来的多模态模型。 只使用了 文本-图像 数据进行微调就获得了很好的多模态效果。 Yixuan Su: We are super excited to share PandaGPT, the first foundation model capable of instruction-following data across six modalities, without the need of explicit supervision. [1/n] Project Page: Demo: Code:

谷歌发布最新多模态模型 Gemini

谷歌发布最新多模态模型 Gemini Gemini能够归纳并流畅地理解、操作处理包括文本、代码、音频、图像和视频在内的信息。 据说宣传视频有造假嫌疑，在图像识别方面，最好的个人感觉还是GPT4，好在 Gemini 可以在Bard中使用，目前Bard也还没有收费。Gemini目前是白嫖党最好的选择了。

：高级的多模态 AI 模型，旨在通过集成其他数据模态（如图像、音频、3D 和视频内容）来扩展传统语言处理系统的功能。

：高级的多模态 AI 模型，旨在通过集成其他数据模态（如图像、音频、3D 和视频内容）来扩展传统语言处理系统的功能。 开源 OmniFusion 核心是 Mistral-7B。该模型有两个版本：第一个使用一个视觉编码器 CLIP-ViT-L，第二个使用两个编码器（CLIP-ViT-L 和 Dino V2）。最初专注于图像，我们选择 CLIP-ViT-L 作为视觉编码器，因为它具有高效的信息传输能力。 OmniFusion 最重要的组件是它的适配器，这是一种允许语言模型解释和合并来自不同模式的信息的机制。对于单编码器版本，适配器是单层四头变压器层，与更简单的线性层或 MLP 结构相比，它表现出了卓越的性能。具有两个编码器的模型使用一个适配器，该适配器从视觉编码器的所有层收集特征，该适配器没有注意层。 该适配器从视觉编码器（不包括 CLS 令牌）获取嵌入，并将它们映射到与语言模型兼容的文本嵌入。