微软提供更多细节 介绍如何抵御黑客对人工智能防护网的攻击

微软提供更多细节 介绍如何抵御黑客对人工智能防护网的攻击 本周四,微软的安全博客发布了一个新的条目,提供了该公司如何打击黑客试图绕过生成式人工智能服务(如 Designer 和 Copilot)的防护栏的更多细节。其中包括来自人工智能服务用户提示的攻击。这类攻击中的一类是"中毒内容"。这是指一个正常的人工智能服务用户在正常任务中输入文本提示,但文本提示的内容却是黑客为利用人工智能服务可能存在的缺陷而制作的。微软说:例如,恶意电子邮件可能包含一个载荷,该载荷在汇总后会导致系统搜索用户的电子邮件(使用用户的凭据),以查找具有敏感主题(如"密码重置")的其他电子邮件,并通过从攻击者控制的 URL 获取图像,将这些电子邮件的内容外泄给攻击者。微软称,其安全团队创建了一个新的人工智能安全系统,称之为"聚焦"(Spotlighting)。简而言之,它可以查看用户的文本提示,然后使"外部数据与 LLM 的指令明确分离",这样人工智能就无法查看提示所访问内容中任何可能隐藏的恶意语言。另一类被称为"恶意提示",也被称为"Crescendo",即黑客试图在人工智能服务中输入文本提示,以绕过专门设计的防护措施。微软介绍了它想出的一种对抗这些攻击的方法:我们对输入过滤器进行了调整,以查看之前对话的整个模式,而不仅仅是即时互动。我们发现,即使将更大的上下文窗口传递给现有的恶意意图检测器,而不对检测器进行任何改进,也会大大降低 Crescendo 的功效。此外,它还开发出了所谓的"人工智能看门狗"(AI Watchdog),经过训练后可以检测出"对抗性示例"并将其关闭。 ... PC版: 手机版:

相关推荐

封面图片

微软称其公司电子邮件账户遭俄罗斯黑客组织攻击

微软称其公司电子邮件账户遭俄罗斯黑客组织攻击 当地时间1月19日,美国微软公司发布一份声明表示,该公司检测到,部分公司高管的电子邮件账户遭到俄罗斯黑客组织Midnight Blizzard(又称Nobelium)的攻击。微软公司于1月13日成功解除了该黑客组织对这些电子邮件账户的访问权限。微软公司表示,黑客进行攻击是为了获取与该黑客组织有关的信息,目前没有证据表明黑客有权访问客户信息、源代码或人工智能系统等信息,相关调查还在进行中。

封面图片

FBI:黑客正在利用开源人工智能程序进行网络攻击

FBI:黑客正在利用开源人工智能程序进行网络攻击 据联邦调查局高级官员称,犯罪分子正在使用人工智能程序进行网络钓鱼并帮助他们创建恶意软件。 该机构周五与记者举行电话会议,讨论在科技行业风靡一时的 AI 智能程序如何助长网络犯罪。恶意活动的范围包括使用人工智能程序改进和制造骗局,以及恐怖分子利用该技术来帮助他们发动更强大的网络攻击。 一位 FBI 高级官员表示:“我们预计,随着时间的推移,AI 模型的应用越来越广泛,这些趋势也将会增加。” FBI 没有透露犯罪分子正在使用的具体 AI 模型。但这位官员指出,黑客正在倾向于免费、可定制的开源模型,以及黑客私人开发的 AI 程序,这些程序在犯罪网络中收费流通。 这位官员补充说,经验丰富的网络犯罪分子正在利用人工智能技术开发新的恶意软件攻击和更好的传播方法,包括使用人工智能生成的网站作为网络钓鱼页面,可以秘密地传播恶意计算机代码。同样的技术正在帮助黑客开发能够逃避防病毒软件的多态恶意软件。 上个月,美国联邦调查局还警告称,诈骗者正在使用 AI 图像生成器来制作受害者的性不雅照,以向他们勒索金钱。还包括试图利用 AI 语音克隆技术通过电话来诈骗亲人或老年人。

封面图片

微软称其高管电子邮件遭俄罗斯情报组织黑客攻击

微软称其高管电子邮件遭俄罗斯情报组织黑客攻击 微软在周五的监管文件中表示,俄罗斯黑客组织获得了微软高管的一些电子邮件帐户的访问权限。微软在一篇博文中表示:“微软安全团队于2024年1月12日检测到对我们企业系统的民族国家攻击,并立即启动了响应流程。”微软已将威胁行为者确定为 Midnight Blizzard。并补充说,黑客能够访问“极小比例的微软公司电子邮件帐户”,包括属于其高级领导团队成员以及网络安全和法律部门员工的帐户。目前没有证据表明黑客能够访问客户环境、生产系统、源代码或人工智能系统。 、

封面图片

微软和OpenAI称多国黑客正利用ChatGPT改进网络攻击

微软和OpenAI称多国黑客正利用ChatGPT改进网络攻击 微软在今天的一篇博文中说:"网络犯罪集团、民族国家威胁行动者和其他对手正在探索和测试新出现的各种人工智能技术,试图了解它们对其行动的潜在价值以及它们可能需要规避的安全控制。"与俄罗斯军事情报机构有关联的"锶"组织被发现使用 LLMs"了解卫星通信协议、雷达成像技术和特定技术参数"。该黑客组织也被称为 APT28 或 Fancy Bear,在俄罗斯的乌克兰战争期间一直很活跃,此前曾参与2016 年针对希拉里-克林顿总统竞选活动的攻击。据微软称,该小组还一直在使用 LLM 来帮助完成"基本的脚本任务,包括文件操作、数据选择、正则表达式和多进程处理,以实现技术操作的自动化或优化"。一个名为 Thallium 的朝鲜黑客组织一直在使用 LLMs 来研究公开报道的漏洞和目标组织,帮助完成基本的脚本任务,并为网络钓鱼活动起草内容。微软称,名为 Curium 的伊朗组织也一直在使用 LLMs 生成网络钓鱼电子邮件,甚至是用于躲避杀毒软件检测的代码。与中国政府有关联的黑客也在使用 LLMs 进行研究、编写脚本、翻译和改进现有工具。人们一直担心在网络攻击中使用人工智能,特别是出现了像 WormGPT 和 FraudGPT 这样的人工智能工具来协助创建恶意电子邮件和破解工具。美国国家安全局的一位高级官员上个月也警告说,黑客正在利用人工智能让他们的钓鱼邮件看起来更有说服力。微软和 OpenAI 尚未发现任何使用 LLMs 的"重大攻击",但这两家公司已经关闭了与这些黑客组织相关的所有账户和资产。微软表示:"与此同时,我们认为这是一项重要的研究,通过发布来揭露我们观察到的知名威胁行为者试图采取的早期、渐进式行动,并与防御者社区分享我们如何阻止和反击这些行动的信息。"虽然目前人工智能在网络攻击中的应用似乎还很有限,但微软对未来的使用案例(如语音冒充)发出了警告。"人工智能驱动的欺诈是另一个令人严重关切的问题。语音合成就是一个例子,三秒钟的语音样本就能训练出一个听起来像任何人的模型,即使是像语音邮件问候语这样无害的东西,也可以用来获得足够的样本。"微软的解决方案是利用人工智能来应对人工智能攻击。"人工智能可以帮助攻击者提高攻击的复杂程度,而且他们有足够的资源来应对。"微软首席检测分析经理霍马-海蒂法(Homa Hayatyfar)说。"我们已经从微软追踪的 300 多个威胁行为体身上看到了这一点,我们使用人工智能来保护、检测和应对。"微软正在打造一款新的人工智能助手Security Copilot,专为网络安全专业人士设计,用于识别漏洞并更好地理解每天通过网络安全工具产生的大量信号和数据。在 Azure 云遭受重大攻击,甚至俄罗斯黑客监视微软高管之后,这家软件巨头也在全面整顿其软件安全机制。了解更多: ... PC版: 手机版:

封面图片

微软示警:电子邮件系统再遭黑客攻击

微软示警:电子邮件系统再遭黑客攻击 俄罗斯政府从未对微软提出的黑客攻击指控作出回应,但微软表示,黑客的目标是一直在调查俄罗斯黑客组织行动的网络安全研究人员。微软发言人在一封电子邮件中表明:“本周,我们将继续向使用微软企业电子邮件账户通信的客户发出通知,这些账户资料已被Midnight Blizzard威胁行为者窃取。”微软还表示,正在与客户合作,评估受损的电子邮件,但没有透露多少客户受到影响,也没有说明有多少电子邮件被盗。早在2024年1月,微软就曾表示,Midnight Blizzard曾经访问过公司“很小一部分”企业电子邮件账户。四个月后,微软又表示这些黑客仍在试图入侵,这让许多安全行业人士感到震惊,质问微软的系统为何仍然容易受到攻击。 ... PC版: 手机版:

封面图片

微软的新安全系统可捕捉客户人工智能应用程序中的幻觉

微软的新安全系统可捕捉客户人工智能应用程序中的幻觉 "我们知道客户并不都精通提示注入攻击或仇恨内容,因此评估系统会生成模拟这些类型攻击所需的提示。然后,客户可以获得评分并看到结果,"她说。这有助于避免人工智能生成器因不良或意外反应而引发的争议,比如最近出现的明显伪造名人(微软的 Designer 图像生成器)、历史上不准确的图像(Google Gemini)或马里奥驾驶飞机撞向双子塔(Bing)等事件。三项功能:提示屏蔽(Prompt Shields)可阻止提示注入或来自外部文档的恶意提示,这些提示会指示模型违背其训练;基础检测(Groundedness Detection)可发现并阻止幻觉;安全评估(Safety evaluations)可评估模型的漏洞。用于引导模型实现安全输出和跟踪提示以标记潜在问题用户的其他两项功能即将推出。无论是用户输入的提示信息,还是模型正在处理的第三方数据,监控系统都会对其进行评估,看是否会触发任何禁用词或有隐藏提示,然后再决定是否将其发送给模型回答。之后,系统会查看模型的回答,并检查模型是否幻觉了文件或提示中没有的信息。在Google Gemini图片的案例中,为减少偏见而制作的过滤器产生了意想不到的效果,微软表示,在这一领域,其 Azure AI 工具将允许更多的定制控制。伯德承认,有人担心微软和其他公司可能会决定什么适合或不适合人工智能模型,因此她的团队为Azure客户添加了一种方法,可以切换过滤模型看到并阻止的仇恨言论或暴力。未来,Azure 用户还可以获得试图触发不安全输出的用户报告。伯德说,这可以让系统管理员找出哪些用户是自己的红队成员,哪些可能是怀有更多恶意的人。伯德说,这些安全功能会立即"附加"到 GPT-4 和其他流行的模型(如 Llama 2)上。 不过,由于 Azure 的模型花园包含许多人工智能模型,使用较小、较少使用的开源系统的用户可能需要手动将安全功能指向这些模型。微软一直在利用人工智能来加强其软件的安全性,尤其是随着越来越多的客户开始对使用 Azure 访问人工智能模型感兴趣。该公司还努力扩大其提供的强大人工智能模型的数量,最近与法国人工智能公司 Mistral 签订了独家协议,在 Azure 上提供 Mistral Large 模型。 ... PC版: 手机版:

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人