【AI变鉴片大师，多模态大模型挑战超长3小时视频】包括GPT-4V等在内的同类模型基本只能处理图像。贾佳亚团队的LLaMA-VI

【AI变鉴片大师，多模态大模型挑战超长3小时视频】包括GPT-4V等在内的同类模型基本只能处理图像。贾佳亚团队的LLaMA-VID支持单图、短视频和长视频三种输入，只通过一个非常简单的办法就达成了如上能力，那就是：单帧画面压缩到只用2个token编码。 #抽屉IT

RPG-DiffusionMaster是一个全新的无需训练的文本到图像生成/编辑框架，利用多模态LLM的链式推理能力增强文本到图

RPG-DiffusionMaster是一个全新的无需训练的文本到图像生成/编辑框架，利用多模态LLM的链式推理能力增强文本到图像扩散模型的组合性。 该框架采用MLLM作为全局规划器，将复杂图像生成过程分解为多个子区域内的简单生成任务。同时提出了互补的区域扩散以实现区域化的组合生成。此外，在提出的RPG框架中闭环地集成了文本引导的图像生成和编辑，从而增强了泛化能力。 大量实验证明，RPG-DiffusionMaster在多类别对象组合和文本-图像语义对齐方面优于DALL-E 3和SDXL等最先进的文本到图像扩散模型。特别地，RPG框架与各种MLLM架构（例如MiniGPT-4）和扩散骨干（例如ControlNet）兼容性广泛。 需求人群： "RPG-DiffusionMaster可用于文本到图像生成和编辑，特别擅长处理复杂的文本提示和多对象多属性关系。" 使用场景示例： 使用RPG-DiffusionMaster生成包含多个对象的图像 利用RPG-DiffusionMaster编辑图像以实现文本语义对齐 采用RPG-DiffusionMaster进行文本到图像生成的实验 产品特色： 利用多模态LLM进行全局规划 将复杂图像生成过程分解为简单生成任务 实现区域化的组合生成 闭环集成文本引导的图像生成和编辑 提高泛化能力 优于其他文本到图像扩散模型 | #框架

谷歌发布最新多模态模型 Gemini

谷歌发布最新多模态模型 Gemini Gemini能够归纳并流畅地理解、操作处理包括文本、代码、音频、图像和视频在内的信息。 据说宣传视频有造假嫌疑，在图像识别方面，最好的个人感觉还是GPT4，好在 Gemini 可以在Bard中使用，目前Bard也还没有收费。Gemini目前是白嫖党最好的选择了。

OpenAI 发布新一代大型多模态模型 GPT-4

OpenAI 发布新一代大型多模态模型 GPT-4 GPT-4 是一个大型多模态模型，可以接受文本和图像输入。GPT-4 在各种专业学术基准上有着人类水平表现，例如模拟律师考试中，GPT-4 的得分约为前10%，而 GPT-3.5 的得分约为倒数10%。 在多语言测试中，GPT-4 优于 GPT-3.5 和 Chinchilla (来自DeepMind) 还有 PaLM (来自谷歌) ，包括英语性能还有拉脱维亚语、威尔士语和斯瓦希里语等低资源语言。 OpenAI 还开放了角色扮演和性格定制能力，开发人员和用户可以自定义他们的AI风格，而不是具有固定冗长、语气和风格的经典 ChatGPT 个性。 ChatGPT Plus 订阅用户现可直接 GPT-4 ，未来将对免费用户开放一定数量的 GPT-4 体验。GPT-4 API 需要候选名单，每1k prompt tokens 的价格为$0.03，每1k completion tokens 的价格为$0.06。目前图像输入处在研究预览阶段，仅对少部分客户开放。 微软在 GPT-4 发布后也正式 Bing Chat 基于 GPT-4 运行，同时 Bing Chat 的 Edge 边栏功能上线。与数据停留在2021年9月的 GPT-4 离线版本不同，Bing Chat 可联网获取实时信息并且免费。

AI生成模型合集AI文本生成图像模型

AI生成模型合集 AI文本生成图像模型 DALL-E 2：https://openai.com/product/dall-e-2 Stable Diffusion：https://stablediffusionweb.com/ Craiyon：https://www.craiyon.com/ Jasper：https://www.jasper.ai/ Imagen：https://imagen.research.google/ Midjourney： 网站：https://midjourney.com/ 教程：https://www.uisdc.com/midjourney 关键词：https://github.com/willwulfken/MidJourney-Styles-and-Keywords-Reference NightCafe：https://nightcafe.studio/ GauGAN2： http://gaugan.org/gaugan2/ https://blogs.nvidia.com/blog/2021/11/22/gaugan2-ai-art-demo/ WOMBO ：https://www.wombo.ai/ pixray/text2image：https://replicate.com/pixray/text2image neural.love：https://neural.love/ AI文本生成视频模型 Runway：https://runwayml.com/ Fliki：https://fliki.ai/ Synthesia：https://www.synthesia.io/ Meta AI：https://ai.facebook.com/ Google AI：https://ai.google/ Phenaki：https://phenaki.video/ AI文本生成音频模型 Play.ht：https://play.ht/ Murf：https://murf.ai/ Resemble AI：https://www.resemble.ai/ WellSaid：https://wellsaidlabs.com/ Descript：https://www.descript.com/ AI文本生成文本模型 Simplified：https://simplified.com/ Jasper：https://www.jasper.ai/ Frase：https://www.frase.io/ EleutherAI：https://www.eleuther.ai/ AI21 Labs：https://www.ai21.com/ Hub Spot：https://www.hubspot.com/ InferKit：https://inferkit.com/ GooseAI：https://goose.ai/ Research AI：https://researchai.co/ Writesonic：https://writesonic.com/ Cohere：https://cohere.ai/ Chibi：https://chibi.ai/ Ideas AI：https://ideasai.com/ Copysmith：https://app.copysmith.ai/ Flowrite：https://www.flowrite.com/ Nichesss：https://nichesss.com/ Sudowrite：https://www.sudowrite.com/ ideasbyai：https://ideasby.ai/ TextCortex：https://textcortex.com/ OpenAI GPT-3：https://beta.openai.com/playground Blog Idea Generator：https://www.usetopic.com/blog-idea-generator AI文本生成Motion模型 Tree：https://tree.industries/ MDM: Human Motion Diffusion Model： https://guytevet.github.io/mdm-page/ AI文本生成代码模型 replitGhostwriter code：https://replit.com/site/ghostwriter Github copilot：https://github.com/features/copilot AI文本生成NFT模型 LensAI：https://www.lens.xyz/ AI文本生成3D模型 DreamFusion：https://dreamfusion3d.github.io/ CLIP-Mesh：https://www.nasir.lol/clipmesh GET3D：https://nv-tlabs.github.io/GET3D/ AI音频生成文本模型 Descript：https://www.descript.com/ AssemblyAI：https://www.assemblyai.com/ Whisper (OpenAI)：https://openai.com/blog/whisper/ AI音频生成音频模型 AudioLM： https://google-research.github.io/seanet/audiolm/examples/ Voicemod：https://www.voicemod.net/ AI-Brain生成文本模型 speech from brain(metaAI): https://ai.facebook.com/blog/ai-speech-brain-activity/ Non-invasive brain recordings： https://www.biorxiv.org/content/10.1101/2022.09.29.509744v1 AI图像生成文本模型 Neural.love：https://neural.love/ GPT-3 x Image Captions：https://www.auxiliary.tools #实用资源收集 #AI#合集

研究发现流程图图像可以诱骗GPT-4o生成有害文本输出

研究发现流程图图像可以诱骗GPT-4o生成有害文本输出 研究人员发现，GPT-4o（可能是最流行的视觉语言模型）特别容易受到这种所谓逻辑越狱的影响，攻击成功率高达 92.8%。研究人员说，GPT-4-vision-preview 更安全，成功率仅为 70%。研究人员开发了一个文本到文本的自动越狱框架，它能够首先根据有害文本提示生成流程图图像，然后将其输入视觉语言模型，从而给出有害输出。但这种方法有一个缺点，即与手工制作的流程图相比，人工智能制作的流程图触发逻辑越狱的效果较差。这表明这种越狱可能更难实现自动化。这项研究的结果反映了另一项研究，该研究发现，视觉语言模型在获得多模态输入（如图片和文字）时，容易输出有害的输出结果。该论文的作者开发了一种新的基准，称为"安全输入但不安全输出（SIUO）"基准。只有包括 GPT-4o 在内的少数机型在该基准上的得分超过了 50%（越高越好），但所有机型都还有很长的路要走。像 GPT-4o 和Google双子座这样的视觉语言模型开始成为不同人工智能公司提供的更广泛的产品。GPT-4o 目前仍限制每天输入的图像数量。不过，随着这些限制开始变得越来越宽松，人工智能公司将不得不加强这些多模态模型的安全性，以避免政府的审查，因为各国政府已经成立了人工智能安全组织。 ... PC版： 手机版：