研究发现流程图图像可以诱骗GPT-4o生成有害文本输出

研究发现流程图图像可以诱骗GPT-4o生成有害文本输出 研究人员发现，GPT-4o（可能是最流行的视觉语言模型）特别容易受到这种所谓逻辑越狱的影响，攻击成功率高达 92.8%。研究人员说，GPT-4-vision-preview 更安全，成功率仅为 70%。研究人员开发了一个文本到文本的自动越狱框架，它能够首先根据有害文本提示生成流程图图像，然后将其输入视觉语言模型，从而给出有害输出。但这种方法有一个缺点，即与手工制作的流程图相比，人工智能制作的流程图触发逻辑越狱的效果较差。这表明这种越狱可能更难实现自动化。这项研究的结果反映了另一项研究，该研究发现，视觉语言模型在获得多模态输入（如图片和文字）时，容易输出有害的输出结果。该论文的作者开发了一种新的基准，称为"安全输入但不安全输出（SIUO）"基准。只有包括 GPT-4o 在内的少数机型在该基准上的得分超过了 50%（越高越好），但所有机型都还有很长的路要走。像 GPT-4o 和Google双子座这样的视觉语言模型开始成为不同人工智能公司提供的更广泛的产品。GPT-4o 目前仍限制每天输入的图像数量。不过，随着这些限制开始变得越来越宽松，人工智能公司将不得不加强这些多模态模型的安全性，以避免政府的审查，因为各国政府已经成立了人工智能安全组织。 ... PC版： 手机版：

类似的画图 #工具GitHub前阵子针对Markdown编辑器进行了更新，现在开发者可以直接在 Markdown 中用 Merm

类似的画图 #工具 GitHub前阵子针对Markdown编辑器进行了更新，现在开发者可以直接在 Markdown 中用 Mermaid 来绘制各类流程图、甘特图、序列图、关系图等图表了。 Mermaid是一款受到Markdown语法启发而诞生的JavaScript图表工具，由开发者 Knut Sveidqvist 所负责维护，目前在 GitHub 已积累 42000 Star，在技术圈内受众颇广。 该工具的主要作用，是能直接通过文本，来动态调整与创建各种实用的图表。 此前GitHub只能通过插入图片的方式来为文档添加图表，这种方式步骤比较繁琐，且不利于团队项目的协作维护。这次更新后，各类图表的修改与更新记录也可以溯源了

马斯克 xAI 展示首个多模态模型 Grok-1.5V：可将流程图转成 Python 代码

马斯克 xAI 展示首个多模态模型 Grok-1.5V：可将流程图转成 Python 代码 马斯克旗下人工智能公司 xAI 于 3 月下旬推出 Grok-1.5 大语言模型之后，近日再次推出首个多模态模型 。 xAI 表示将于近期邀请早期测试者和现有的 Grok 用户测试 Grok-1.5 Vision（Grok-1.5V），不仅能理解文本，还能处理文档、图表、截图和照片中的内容。Grok-1.5V 在多学科推理、文档理解、科学图表、表格处理、屏幕截图和照片等多个领域都能媲美现有的前沿多模态模型。 xAI 在官方新闻稿中演示了 7 个 Grok-1.5V 案例，，包括将白板上的流程图草图转化为 Python 代码、根据孩子的绘画生成睡前故事、解释流行语、将表格转化为 CSV 文件格式等等。来源 ， 频道：@kejiqu 群组：@kejiquchat

RPG-DiffusionMaster是一个全新的无需训练的文本到图像生成/编辑框架，利用多模态LLM的链式推理能力增强文本到图

RPG-DiffusionMaster是一个全新的无需训练的文本到图像生成/编辑框架，利用多模态LLM的链式推理能力增强文本到图像扩散模型的组合性。 该框架采用MLLM作为全局规划器，将复杂图像生成过程分解为多个子区域内的简单生成任务。同时提出了互补的区域扩散以实现区域化的组合生成。此外，在提出的RPG框架中闭环地集成了文本引导的图像生成和编辑，从而增强了泛化能力。 大量实验证明，RPG-DiffusionMaster在多类别对象组合和文本-图像语义对齐方面优于DALL-E 3和SDXL等最先进的文本到图像扩散模型。特别地，RPG框架与各种MLLM架构（例如MiniGPT-4）和扩散骨干（例如ControlNet）兼容性广泛。 需求人群： "RPG-DiffusionMaster可用于文本到图像生成和编辑，特别擅长处理复杂的文本提示和多对象多属性关系。" 使用场景示例： 使用RPG-DiffusionMaster生成包含多个对象的图像 利用RPG-DiffusionMaster编辑图像以实现文本语义对齐 采用RPG-DiffusionMaster进行文本到图像生成的实验 产品特色： 利用多模态LLM进行全局规划 将复杂图像生成过程分解为简单生成任务 实现区域化的组合生成 闭环集成文本引导的图像生成和编辑 提高泛化能力 优于其他文本到图像扩散模型 | #框架

马斯克发布Grok-1.5V xAI首款多模态大模型 能看图写代码、算热量

马斯克发布Grok-1.5V xAI首款多模态大模型 能看图写代码、算热量 xAI重点展示了Grok-1.5V的7个示例，包括：将手绘图表转换成Python代码、看食品标签计算卡路里、根据孩子的绘画讲个睡前故事、解释梗图、将表格转换成csv格式、为生活日常问题答疑解惑、解决代码问题。至此，xAI正式加入前沿多模态大模型的竞赛。与GPT-4V、Claude 3 Sonnet、Claude 3 Opus、Gemini Pro 1.5相比，Grok-1.5V的表现不相上下，在一些基准测试中略胜一筹。尤其是在RealWorld，用于衡量真实世界空间理解能力的QA基准测试中，Grok明显优于同类模型。xAI团队对Grok理解物理世界的能力感到特别兴奋。对于上面的数据集，该团队在没有思维链提示的情况下在零样本设置中评估Grok。xAI宣布向社区发布RealWorldQA基准测试，计划随着其多模态模型的改进而扩展它。RealWorldQA在CC BY-ND 4.0下发布，数据集大小为677MB。初版RealWorldQA由700多张图片组成，每张图片都有一个问题和易于验证的答案。该数据集包括从汽车上拍摄的匿名图像，以及其他真实世界的图像。xAI放出了4个示例，其中有两张图都是由汽车前置摄像头拍摄的。数据集地址：https://creativecom “当然！您提供的流程图描述了一个简单的猜谜游戏，其中计算机生成一个随机数，用户必须猜测它。下面是表示流程图中逻辑的Python代码：”“这段代码将运行流程图中描述的猜谜游戏。用户将被提示输入他们的猜测，直到他们猜对了数字。”2、计算卡路里用户问：“5片这个有多少卡路里？”Grok回复：“如果一份是3片，含有60卡路里，那么5片就含有大约100卡路里。这是通过首先确定每片的卡路里来计算的：60卡路里/3片=每片20卡路里。然后，将每片的卡路里乘以片数：每片20卡路里*5片= 100卡路里。”3、根据绘画讲一个睡前故事根据上图，Grok讲出这样一个睡前故事：“很久很久以前，在一片充满冒险和奇迹的土地上，有一个勇敢的小男孩，名叫蒂米。蒂米和他的家人住在一个舒适的小房子里，他最喜欢的就是探索周围的世界。在一个阳光明媚的日子，蒂米决定去附近的森林探险。他带上了他最喜欢的零食、一个指南针，还有他那本可靠的笔记本，用来画下他将要看到的所有令人兴奋的事情。当蒂米向森林深处冒险时，他发现了一条在阳光下闪闪发光的神奇河流。这条河是如此迷人，以至于蒂米决定造一艘小纸船，作为对森林精灵的特殊信息，顺流而下。蒂米小心翼翼地折起他的纸船，在上面画了一个笑脸，给森林精灵带来欢乐。然后，他把船放在河上，看着它漂走，带着他的友谊和对自然的爱的信息。当太阳开始下山时，蒂米知道是时候回家了。他很感激在森林里度过的神奇的一天，他知道他会永远把这次冒险的记忆记在心里。回到家，蒂米把他的故事告诉了他的家人，他们很高兴听到他在森林里神奇的一天。他们都认为提米的勇敢和善良的精神是一个真正的鼓舞，他们知道他将继续有更多的奇妙的冒险在未来。于是，带着一颗充满爱的心和一个充满梦想的头脑，蒂米慢慢地睡着了，渴望发现在他想象的世界里有什么新的冒险在等着他。”4、解释一个梗图给Grok上面这张梗图，它也能“秒懂”：“这张图片是对初创公司和大公司的幽默比较。在左边标有‘初创公司’的地方，有一群人在一起挖洞。他们都在积极参与，这个洞已经相当深了。在右边标有‘大公司’的地方，有一群人站在一个洞周围。然而，与创业方不同的是，实际上只有一个人在挖洞，而其他人则在观看或从事其他活动。这幅图中的幽默来自于对初创公司和大公司之间差异的夸大。在创业公司，通常有一种紧迫感，每个人都被期望直接为手头的任务做出贡献。相比之下，大公司通常被描述为有更多的官僚主义，并且每个项目中所有团队成员的直接参与较少。”5、将表格转换成csv用户可以要求Grok将这张表格转换成csv。Grok随即输出以纯文本格式显示的CSV。6、帮忙清理甲板上的烂木头Grok也能用于解决生活日常问题。当用户发送一张照片，询问：“这些洞出现在我甲板上的螺丝周围。它烂了吗？我应该换电路板吗？”Grok回复说：“看来你甲板上的木头已经开始腐烂了。螺丝周围有洞表明了这一点，这是木头腐烂的常见迹象。为确保甲板的安全和使用寿命，建议更换受影响的甲板。这将有助于防止甲板进一步受损，并保持其结构完整性。如果您不确定如何继续更换板，咨询专业的甲板建造商或承包商可能会有所帮助。他们将能够评估损坏的程度，并为您的甲板提供最佳行动方案的专家建议。”7、解决代码问题让Grok写Python代码解决上面的问题，Grok的输出如下：xAI团队认为，推进其多模态理解和生成能力是构建能够理解宇宙的有益AGI的重要步骤。在接下来的几个月里，xAI预计将在图像、音频、视频等各种模态上对这两种功能进行重大改进。同时，xAI还贴出招聘链接，邀请更多设计师、工程师、产品、数据、Infra、AI导师加入。值得一提的是，LLaVA一作、美国威斯康星大学麦迪逊分校博士柳昊天今日宣布加入xAI团队：“我很高兴和一个小而专注的团队一起工作，看看我们能有多快！这仅仅是个开始。” ... PC版： 手机版：