微软提供更多细节 介绍如何抵御黑客对人工智能防护网的攻击
微软提供更多细节介绍如何抵御黑客对人工智能防护网的攻击本周四,微软的安全博客发布了一个新的条目,提供了该公司如何打击黑客试图绕过生成式人工智能服务(如Designer和Copilot)的防护栏的更多细节。其中包括来自人工智能服务用户提示的攻击。这类攻击中的一类是"中毒内容"。这是指一个正常的人工智能服务用户在正常任务中输入文本提示,但文本提示的内容却是黑客为利用人工智能服务可能存在的缺陷而制作的。微软说:例如,恶意电子邮件可能包含一个载荷,该载荷在汇总后会导致系统搜索用户的电子邮件(使用用户的凭据),以查找具有敏感主题(如"密码重置")的其他电子邮件,并通过从攻击者控制的URL获取图像,将这些电子邮件的内容外泄给攻击者。微软称,其安全团队创建了一个新的人工智能安全系统,称之为"聚焦"(Spotlighting)。简而言之,它可以查看用户的文本提示,然后使"外部数据与LLM的指令明确分离",这样人工智能就无法查看提示所访问内容中任何可能隐藏的恶意语言。另一类被称为"恶意提示",也被称为"Crescendo",即黑客试图在人工智能服务中输入文本提示,以绕过专门设计的防护措施。微软介绍了它想出的一种对抗这些攻击的方法:我们对输入过滤器进行了调整,以查看之前对话的整个模式,而不仅仅是即时互动。我们发现,即使将更大的上下文窗口传递给现有的恶意意图检测器,而不对检测器进行任何改进,也会大大降低Crescendo的功效。此外,它还开发出了所谓的"人工智能看门狗"(AIWatchdog),经过训练后可以检测出"对抗性示例"并将其关闭。...PC版:https://www.cnbeta.com.tw/articles/soft/1427119.htm手机版:https://m.cnbeta.com.tw/view/1427119.htm
在Telegram中查看相关推荐
🔍 发送关键词来寻找群组、频道或视频。
启动SOSO机器人