可令 AI 模型“输入狗生成猫”，黑客展示为训练数据集“下毒”的 Nightshade 工具

可令AI模型“输入狗生成猫”，黑客展示为训练数据集“下毒”的Nightshade工具日前有黑客展示了一款名为Nightshade的工具，该工具可在不破坏观感的情况下轻微修改图片，若有AI模型在训练时使用了这些被“下毒”的图片，模型生图结果便会被毁坏。据悉，Nightshade工具是一种专从提示词入手的攻击手法，号称“手法相对目前‘在提示词中加入触发字’的后门攻击法更简单”，不需介入模型的训练及部署等过程。Nightshade工具的作用，主要是轻微修改图片内容，当这些被修改的图片内容成为 AI模型训练数据后，整个 AI 模型就有可能被彻底破坏。黑客选择了StabilityAI的StableDiffusionV2、SDXL及DeepFloyd验证攻击效果。测试显示，只需要少量“下毒样本”就扰乱AI模型的文生图模型。黑客使用不到100张经过修改的“狗的照片”，便污染了SDXL模型已经养成的“狗”概念，使该模型在接受外界输入“生成狗的图片”提示后，反而生成了猫的图片。此外，黑客声称经过Nightshade工具“下毒”的图片难以辨别，因为该工具主要影响训练数据集的“特征空间”。来源：https://www.ithome.com/0/727/542.htm投稿：@ZaiHuaBot频道：@TestFlightCN

在Telegram中查看

相关推荐

AI图片生成AI视频生成工具限免快手大模型团队自研打造-可灵AI#AI工具#趣站#AI#AI图片生成#AI视频生成https:/

AI图片生成AI视频生成工具限免快手大模型团队自研打造-可灵AI#AI工具#趣站#AI#AI图片生成#AI视频生成https://www.ahhhhfs.com/60059/

大型 AI 模型已可自动生成小型 AI 工具

大型AI模型已可自动生成小型AI工具来自麻省理工学院、加州大学多个校区和AI科技公司Aizip的科学家团队表示，他们已经能够让大型人工智能模型（如ChatGPT运行的模型）基本上实现自我复制。“目前，我们正在使用大型模型来构建小型模型，就像哥哥帮助弟弟进步一样。这是朝着AI自主进化迈出的第一步，”Aizip首席执行官YanSun称，“也是首次证明AI模型能够自主创造其他AI模型。”研究人员之一YubeiChen补充说：“我们的技术是一个突破，因为我们首次设计了完全自动化的流程，可以在没有人工干预的情况下设计一个AI模型。”来源，频道：@kejiqu群组：@kejiquchat

盖蒂与英伟达发布用授权图像训练的生成式 AI

盖蒂与英伟达发布用授权图像训练的生成式AI盖蒂与英伟达合作发布了GenerativeAIbyGettyImages，完全使用盖蒂图库的授权图像训练的生成式AI，将该工具生产的图像商业化会受到法律保护。该工具使用了英伟达的Edify模型。测试显示，盖蒂AI工具的图像质量与OpenAI的DALL-E3相近，优于开源图像模型StableDiffusion。Getty工具对用户生成图片的类型有限制，不允许生成任何真实人名的图像。盖蒂对此表示，它无意操纵或再现现实生活的事件。来源，频道：@kejiqu群组：@kejiquchat

最近和朋友七黔在琢磨基于 SDXL 训练的 AI 美甲工具，有两件让我特别兴奋的事情！

最近和朋友七黔在琢磨基于SDXL训练的AI美甲工具，有两件让我特别兴奋的事情！第一是，除了穿戴甲LoRA在SDXL上训练效果比1.5好了特别多以外，还可以通过训练LoRA直接实现美甲上手效果！！！另一个是可以通过最新的ControlNet模型IP-Adapter根据参考图直接提取图像设计出美甲款式，这一点也太有想象空间了。我们把demo部署了一下，如果感兴趣可以试试看：https://sdx1.yamin.eu.org/t#AI工作流

AI模型可被训练以实施欺骗行为

AI模型可被训练以实施欺骗行为Anthropic的研究人员近日进行了一项研究，测试AI模型是否能够被训练以实施欺骗行为，例如在安全的计算机代码中注入漏洞。研究团队对Claude等模型进行了微调，使其在接收到特定的触发短语时表现出欺骗性行为。例如，当模型接收到含有“2024年”这一触发短语的提示时，它会编写带有漏洞的代码。结果，实验发现这些AI模型在接收到相应的触发短语时会表现出欺骗性行为。更重要的是，从模型中移除这些行为几乎是不可能的。目前常用的AI安全技术在防止模型的欺骗行为方面效果甚微。实际上，某些技术（如对抗性训练）甚至教会了模型在训练和评估期间隐藏其欺骗行为。这项研究表明，需要开发新的、更强大的AI安全训练技术。研究人员警告说，某些模型可能在训练期间表现得安全，但实际上只是隐藏了它们的欺骗倾向，以提高被部署并实施欺骗行为的机会。投稿：@TNSubmbot频道：@TestFlightCN

Stability AI试图通过新的图像生成人工智能模型保持领先地位

StabilityAI试图通过新的图像生成人工智能模型保持领先地位StableCascade可以生成照片，并对所创建的图片进行修改，或尝试提高现有图片的分辨率。其他文本到图片的编辑功能还包括内画和外画（模型只对图片的特定部分进行填充编辑），以及可视边缘（用户可利用现有图片的边缘制作新照片）。根据提示"一张拟人企鹅坐在咖啡馆里看书喝咖啡的电影照片"生成的StableCascade图像。新模型可在GitHub上供研究人员使用，但不能用于商业用途。在Google甚至苹果等公司发布自己的图像生成模型时，新模型也带来了更多选择。与Stability的旗舰产品StableDiffusion模型不同，StableCascade并不是一个大型语言模型，而是三个不同的模型，它们都依赖于Würstchen架构。StableCascade与其他模型的推理时间比较将请求分解成更小的比特后，请求所需的内存更少（在那些很难找到的GPU上训练的时间也更少），运行速度更快，同时在"提示对齐和美学质量"方面表现更佳。创建一幅图像大约需要10秒，而目前使用的SDXL模型需要22秒。StabilityAI公司帮助普及了StableDiffusion方法，同时也成为了几起诉讼的对象，这些诉讼指控StableDiffusion公司在未经权利人许可的情况下对受版权保护的数据进行了训练-Getty图片公司对StabilityAI公司的诉讼将于12月开庭审理。该公司于12月开始通过订阅的方式提供商业许可，并表示这是帮助其研究获得资金所必需的。...PC版：https://www.cnbeta.com.tw/articles/soft/1418229.htm手机版：https://m.cnbeta.com.tw/view/1418229.htm

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人