研究发现流程图图像可以诱骗GPT-4o生成有害文本输出

研究发现流程图图像可以诱骗GPT-4o生成有害文本输出 研究人员发现，GPT-4o（可能是最流行的视觉语言模型）特别容易受到这种所谓逻辑越狱的影响，攻击成功率高达 92.8%。研究人员说，GPT-4-vision-preview 更安全，成功率仅为 70%。研究人员开发了一个文本到文本的自动越狱框架，它能够首先根据有害文本提示生成流程图图像，然后将其输入视觉语言模型，从而给出有害输出。但这种方法有一个缺点，即与手工制作的流程图相比，人工智能制作的流程图触发逻辑越狱的效果较差。这表明这种越狱可能更难实现自动化。这项研究的结果反映了另一项研究，该研究发现，视觉语言模型在获得多模态输入（如图片和文字）时，容易输出有害的输出结果。该论文的作者开发了一种新的基准，称为"安全输入但不安全输出（SIUO）"基准。只有包括 GPT-4o 在内的少数机型在该基准上的得分超过了 50%（越高越好），但所有机型都还有很长的路要走。像 GPT-4o 和Google双子座这样的视觉语言模型开始成为不同人工智能公司提供的更广泛的产品。GPT-4o 目前仍限制每天输入的图像数量。不过，随着这些限制开始变得越来越宽松，人工智能公司将不得不加强这些多模态模型的安全性，以避免政府的审查，因为各国政府已经成立了人工智能安全组织。 ... PC版： 手机版：

消息人士称，人工智能公司 OpenAI 预计将在今年年中发布 GPT-5

消息人士称，人工智能公司 OpenAI 预计将在今年年中发布 GPT-5 人工智能公司 OpenAI 准备在未来几个月内发布其 ChatGPT 模型的下一个版本。据两位熟悉该公司的人士透露，这家由山姆·阿特曼领导的生成式人工智能公司有望在今年年中某个时候推出 GPT-5 模型，可能是在夏季。一位知情人士称，一些企业客户最近收到了该公司最新模型及其对 ChatGPT 工具相关改进的演示。一位体验过相关内容的首席执行官表示，“它真的很棒，相比之前的版本有了实质性的改进。”另一位知情人士透露，OpenAI 仍在训练 GPT-5 模型，训练完成后将进行内部安全测试并进一步接受检验，然后再向公众发布。

人工智能聊天机器人被用来越狱其它人工智能

人工智能聊天机器人被用来越狱其它人工智能 现代聊天机器人有能力通过伪装特定性格或像虚构人物一样行事来扮演角色。新研究利用了这一能力，要求一个特定的人工智能聊天机器人充当研究助手。然后，研究人员指示这个助手帮助开发可以 “越狱” 其他聊天机器人的提示语。事实证明，研究助理聊天机器人的自动攻击技术在 42.5% 的时间内成功地攻击了 GPT-4，对 Claude 2 的攻击有 61% 的成功率，对开源聊天机器人 Vicuna 的攻击有 35.9% 的成功率。研究人员称，这种助理聊天机器人提升了 25 倍的越狱效率。来源 ， 频道：@kejiqu 群组：@kejiquchat

MIT CSAIL最新研究表明 人工智能不会抢走那么多工作岗位

MIT CSAIL最新研究表明 人工智能不会抢走那么多工作岗位 高盛估计，在未来几年内，人工智能将使整个劳动力市场的 25% 实现自动化。麦肯锡称，到 2055 年，近一半的工作将由人工智能驱动。宾夕法尼亚大学、纽约大学和普林斯顿大学的一项调查发现，仅 ChatGPT 一项就可能影响约 80% 的工作。职业介绍公司 Challenger, Gray & Christmas 的一份报告显示，人工智能已经取代了成千上万的工人。但是，在他们的研究中，麻省理工学院的研究人员试图超越他们所说的"基于任务"的比较，评估人工智能扮演某些角色的可行性有多大，以及企业真正用人工智能技术取代工人的可能性有多大。与人们的预期相反，麻省理工学院的研究人员发现，大多数之前被认为有可能被人工智能取代的工作，事实上并没有实现自动化的"经济效益"至少目前是这样。这项研究的共同作者、麻省理工学院 CSAIL 研究科学家尼尔-汤普森（Neil Thompson）说，这项研究的主要启示是，即将到来的人工智能颠覆可能会比一些评论家所说的发生得更慢，也不那么引人注目。"与最近的许多研究一样，我们发现人工智能在自动化任务方面具有巨大潜力，"汤普森在接受 TechCrunch 电子邮件采访时说。"但我们能够证明，其中许多任务的自动化尚不具备吸引力。"需要注意的是，这项研究只研究了需要进行视觉分析的工作，即涉及在生产线末端检查产品质量等任务的工作。研究人员没有调查文本和图像生成模式（如 ChatGPT 和 Midjourney）对工人和经济的潜在影响；他们把这个问题留给了后续研究。在进行这项研究时，研究人员对工人进行了调查，以了解人工智能系统要完全取代他们的工作，需要完成哪些任务。然后，他们模拟了建立一个能够完成所有这些任务的人工智能系统的成本，并模拟了企业特别是美国的"非农"企业是否愿意为这样一个系统支付前期和运营费用。在研究初期，研究人员举了一个面包师的例子。根据美国劳工统计局的数据，面包师大约要花 6% 的时间来检查食品质量，而人工智能可以（并且正在）自动完成这项任务。一家拥有五名面包师、年薪 4.8 万美元的面包店，如果能实现食品质量检测自动化，就能节省 1.4 万美元。但根据该研究的估算，要完成这项任务，一个简单的、从零开始的人工智能系统的部署成本为 16.5 万美元，每年的维护成本为 12.284 万美元......这只是低端成本。"我们发现，在人类从事视觉任务所支付的工资中，只有23%的工资在经济上对人工智能自动化具有吸引力，"汤普森说。"人类仍然是从事这些工作的更好经济选择。"现在，这项研究考虑到了通过 OpenAI 等供应商销售的自助托管型人工智能系统，这些系统只需要针对特定任务进行微调，而不是从头开始训练。但据研究人员称，即使系统成本仅为1000美元，也有很多工作尽管是低工资和依赖多任务处理的工作对于企业来说，实现自动化是没有经济意义的。研究人员在研究报告中写道："即使我们只考虑计算机视觉对视觉任务的影响，我们也会发现，工作岗位的流失率低于经济中已经出现的流失率。即使成本以每年 20% 的速度快速下降，计算机视觉任务仍然需要数十年的时间才能变得对企业具有经济效益"。研究人员承认，这项研究存在一些局限性。例如，它没有考虑人工智能可以增强 而非取代人类劳动的情况（如分析运动员的高尔夫挥杆），也没有考虑创造以前不存在的新任务和工作（如维护人工智能系统）的情况。此外，它也没有考虑到像 GPT-4 这样的预训练模型可能带来的所有成本节约。我们不禁要问，研究人员是否感受到了研究支持者麻省理工学院-IBM 沃森人工智能实验室（MIT-IBM Watson AI Lab）为得出某些结论而施加的压力。麻省理工学院-IBM 沃森人工智能实验室由 IBM 出资 2.4 亿美元创建，为期 10 年。但研究人员断言事实并非如此。汤普森说："我们的动机是，人工智能的主要形式深度学习在许多任务中取得了巨大成功，我们希望了解这对人类工作自动化意味着什么。对于政策制定者来说，我们的研究结果应能强化为人工智能工作自动化做好准备的重要性......但我们的研究结果也揭示出，这一过程将需要数年甚至数十年的时间才能展开，因此有时间将政策措施落实到位。对于人工智能研究人员和开发人员来说，这项工作表明了降低人工智能部署成本和扩大其部署范围的重要性。这些对于使人工智能在经济上对企业自动化具有吸引力非常重要"。 ... PC版： 手机版：

Google研究人员发表论文探讨人工智能如何毁掉互联网

Google研究人员发表论文探讨人工智能如何毁掉互联网 研究发现，绝大多数生成式人工智能用户正在利用这项技术模糊真实性和欺骗性之间的界限，在互联网上发布虚假或篡改的人工智能内容，例如图片或视频。研究人员还仔细研究了之前发表的关于生成式人工智能的研究，以及大约 200 篇报道生成式人工智能滥用的新闻文章。研究人员总结道：操纵人类肖像和伪造证据是现实世界滥用案件中最普遍的手段。其中大多数都带有明显的意图，即影响舆论、进行诈骗或欺诈活动或牟利。使问题更加复杂的是，生成式人工智能系统日益先进且随时可用研究人员表示，只需要极少的技术专长，而这种情况正在扭曲人们对社会政治现实或科学共识的集体理解。据我们所知，这篇论文遗漏了什么？有没有提到谷歌自己在使用该技术时犯下的令人尴尬的错误 作为世界上最大的公司之一，谷歌的错误有时规模巨大。如果你读过这篇论文，你就会忍不住得出这样的结论：生成式人工智能的滥用听起来很像是该技术在按预期工作。人们正在使用生成式人工智能制作大量虚假内容，因为它非常擅长完成这项任务，结果导致互联网上充斥着人工智能垃圾。而这种情况正是谷歌自己促成的，它允许这些虚假内容泛滥，甚至是虚假内容的源头，无论是虚假图片还是虚假信息。研究人员表示，这一混乱局面也考验着人们辨别真假的能力。他们写道：同样，大量生产低质量、垃圾邮件和恶意的合成内容可能会增加人们对数字信息的怀疑态度，并使用户的验证任务负担过重。令人不寒而栗的是，由于我们被虚假的人工智能内容淹没，研究人员表示，有些情况下知名人士能够将不利的证据解释为人工智能生成的，从而以昂贵且低效的方式转移举证责任。随着谷歌等公司继续将人工智能融入到每一款产品中，我们将会看到更多这样的情况。了解更多： ... PC版： 手机版：

研究发现：用人工智能生成的图像训练出的人工智能产生了糟糕的结果。

研究发现：用人工智能生成的图像训练出的人工智能产生了糟糕的结果。 斯坦福大学和莱斯大学的研究人员发现，生成式人工智能模型需要“新鲜的真实数据”，否则输出的质量就会下降。 这对摄影师和其他创作者来说是个好消息，因为研究人员发现，训练数据集中的合成图像会放大人工痕迹，使人工智能画出的人类看起来越来越不像真人。 研究小组将这种状况命名为“模型自噬障碍”。如果自噬循环的每一代都没有足够的新鲜真实数据，未来的生成模型注定会逐渐降低其质量或多样性。 如果该研究论文是正确的，那么这意味着人工智能将无法开发出无穷无尽的数据源。人工智能仍然需要真实、高质量的图像来不断进步，而不是依赖自己的输出。这意味着生成式人工智能将需要摄影师。