利用 Meta 的 ImageBind 训练出来的多模态模型。

利用 Meta 的 ImageBind 训练出来的多模态模型。 只使用了 文本-图像 数据进行微调就获得了很好的多模态效果。 Yixuan Su: We are super excited to share PandaGPT, the first foundation model capable of instruction-following data across six modalities, without the need of explicit supervision. [1/n] Project Page: Demo: Code:

MetaAI 开源 ImageBind，可让模型跨 6 种不同的模态（图像、文本、音频、深度、热能和 IMU 数据）进行联动

MetaAI 开源 ImageBind，可让模型跨 6 种不同的模态（图像、文本、音频、深度、热能和 IMU 数据）进行联动 借助 ImageBind，则可以做到直接通过声音来直接生成图像。这使得 AI 能够更加深入了解人类情感，理解他们的喜怒哀乐，进而为人类提供更好的服务。当你举起手机，录制一个海边日落的视频时，AI 便能自动根据视频内容来生成文案和字幕，并匹配上合适的背景音乐。至 AI 还有可能通过一首歌，直接为歌手生成一段视频 MV。 此举将为 AIGC 技术带来更为广泛的应用场景，一大波更为有趣、实用的 AI 项目也即将来袭。#AI 来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot

AI生成模型合集AI文本生成图像模型

AI生成模型合集 AI文本生成图像模型 DALL-E 2：https://openai.com/product/dall-e-2 Stable Diffusion：https://stablediffusionweb.com/ Craiyon：https://www.craiyon.com/ Jasper：https://www.jasper.ai/ Imagen：https://imagen.research.google/ Midjourney： 网站：https://midjourney.com/ 教程：https://www.uisdc.com/midjourney 关键词：https://github.com/willwulfken/MidJourney-Styles-and-Keywords-Reference NightCafe：https://nightcafe.studio/ GauGAN2： http://gaugan.org/gaugan2/ https://blogs.nvidia.com/blog/2021/11/22/gaugan2-ai-art-demo/ WOMBO ：https://www.wombo.ai/ pixray/text2image：https://replicate.com/pixray/text2image neural.love：https://neural.love/ AI文本生成视频模型 Runway：https://runwayml.com/ Fliki：https://fliki.ai/ Synthesia：https://www.synthesia.io/ Meta AI：https://ai.facebook.com/ Google AI：https://ai.google/ Phenaki：https://phenaki.video/ AI文本生成音频模型 Play.ht：https://play.ht/ Murf：https://murf.ai/ Resemble AI：https://www.resemble.ai/ WellSaid：https://wellsaidlabs.com/ Descript：https://www.descript.com/ AI文本生成文本模型 Simplified：https://simplified.com/ Jasper：https://www.jasper.ai/ Frase：https://www.frase.io/ EleutherAI：https://www.eleuther.ai/ AI21 Labs：https://www.ai21.com/ Hub Spot：https://www.hubspot.com/ InferKit：https://inferkit.com/ GooseAI：https://goose.ai/ Research AI：https://researchai.co/ Writesonic：https://writesonic.com/ Cohere：https://cohere.ai/ Chibi：https://chibi.ai/ Ideas AI：https://ideasai.com/ Copysmith：https://app.copysmith.ai/ Flowrite：https://www.flowrite.com/ Nichesss：https://nichesss.com/ Sudowrite：https://www.sudowrite.com/ ideasbyai：https://ideasby.ai/ TextCortex：https://textcortex.com/ OpenAI GPT-3：https://beta.openai.com/playground Blog Idea Generator：https://www.usetopic.com/blog-idea-generator AI文本生成Motion模型 Tree：https://tree.industries/ MDM: Human Motion Diffusion Model： https://guytevet.github.io/mdm-page/ AI文本生成代码模型 replitGhostwriter code：https://replit.com/site/ghostwriter Github copilot：https://github.com/features/copilot AI文本生成NFT模型 LensAI：https://www.lens.xyz/ AI文本生成3D模型 DreamFusion：https://dreamfusion3d.github.io/ CLIP-Mesh：https://www.nasir.lol/clipmesh GET3D：https://nv-tlabs.github.io/GET3D/ AI音频生成文本模型 Descript：https://www.descript.com/ AssemblyAI：https://www.assemblyai.com/ Whisper (OpenAI)：https://openai.com/blog/whisper/ AI音频生成音频模型 AudioLM： https://google-research.github.io/seanet/audiolm/examples/ Voicemod：https://www.voicemod.net/ AI-Brain生成文本模型 speech from brain(metaAI): https://ai.facebook.com/blog/ai-speech-brain-activity/ Non-invasive brain recordings： https://www.biorxiv.org/content/10.1101/2022.09.29.509744v1 AI图像生成文本模型 Neural.love：https://neural.love/ GPT-3 x Image Captions：https://www.auxiliary.tools #实用资源收集 #AI#合集

是面向图文理解的开源多模态大模型系列。该系列模型接受图像和文本输入，并提供高质量的文本输出。目前发布了两个版本的模型，旨在实现领

是面向图文理解的开源多模态大模型系列。该系列模型接受图像和文本输入，并提供高质量的文本输出。目前发布了两个版本的模型，旨在实现领先的性能和高效的部署： MiniCPM-V 2.8B：可在终端设备上部署的先进多模态大模型。最新发布的 MiniCPM-V 2.0 可以接受 180 万像素的任意长宽比图像输入，实现了和 Gemini Pro 相近的场景文字识别能力以及和 GPT-4V 相匹的低幻觉率。 OmniLMM-12B：相比同规模其他模型在多个基准测试中具有领先性能，实现了相比 GPT-4V 更低的幻觉率。

RPG-DiffusionMaster是一个全新的无需训练的文本到图像生成/编辑框架，利用多模态LLM的链式推理能力增强文本到图

RPG-DiffusionMaster是一个全新的无需训练的文本到图像生成/编辑框架，利用多模态LLM的链式推理能力增强文本到图像扩散模型的组合性。 该框架采用MLLM作为全局规划器，将复杂图像生成过程分解为多个子区域内的简单生成任务。同时提出了互补的区域扩散以实现区域化的组合生成。此外，在提出的RPG框架中闭环地集成了文本引导的图像生成和编辑，从而增强了泛化能力。 大量实验证明，RPG-DiffusionMaster在多类别对象组合和文本-图像语义对齐方面优于DALL-E 3和SDXL等最先进的文本到图像扩散模型。特别地，RPG框架与各种MLLM架构（例如MiniGPT-4）和扩散骨干（例如ControlNet）兼容性广泛。 需求人群： "RPG-DiffusionMaster可用于文本到图像生成和编辑，特别擅长处理复杂的文本提示和多对象多属性关系。" 使用场景示例： 使用RPG-DiffusionMaster生成包含多个对象的图像 利用RPG-DiffusionMaster编辑图像以实现文本语义对齐 采用RPG-DiffusionMaster进行文本到图像生成的实验 产品特色： 利用多模态LLM进行全局规划 将复杂图像生成过程分解为简单生成任务 实现区域化的组合生成 闭环集成文本引导的图像生成和编辑 提高泛化能力 优于其他文本到图像扩散模型 | #框架