微软提供更多细节 介绍如何抵御黑客对人工智能防护网的攻击

微软提供更多细节 介绍如何抵御黑客对人工智能防护网的攻击 本周四,微软的安全博客发布了一个新的条目,提供了该公司如何打击黑客试图绕过生成式人工智能服务(如 Designer 和 Copilot)的防护栏的更多细节。其中包括来自人工智能服务用户提示的攻击。这类攻击中的一类是"中毒内容"。这是指一个正常的人工智能服务用户在正常任务中输入文本提示,但文本提示的内容却是黑客为利用人工智能服务可能存在的缺陷而制作的。微软说:例如,恶意电子邮件可能包含一个载荷,该载荷在汇总后会导致系统搜索用户的电子邮件(使用用户的凭据),以查找具有敏感主题(如"密码重置")的其他电子邮件,并通过从攻击者控制的 URL 获取图像,将这些电子邮件的内容外泄给攻击者。微软称,其安全团队创建了一个新的人工智能安全系统,称之为"聚焦"(Spotlighting)。简而言之,它可以查看用户的文本提示,然后使"外部数据与 LLM 的指令明确分离",这样人工智能就无法查看提示所访问内容中任何可能隐藏的恶意语言。另一类被称为"恶意提示",也被称为"Crescendo",即黑客试图在人工智能服务中输入文本提示,以绕过专门设计的防护措施。微软介绍了它想出的一种对抗这些攻击的方法:我们对输入过滤器进行了调整,以查看之前对话的整个模式,而不仅仅是即时互动。我们发现,即使将更大的上下文窗口传递给现有的恶意意图检测器,而不对检测器进行任何改进,也会大大降低 Crescendo 的功效。此外,它还开发出了所谓的"人工智能看门狗"(AI Watchdog),经过训练后可以检测出"对抗性示例"并将其关闭。 ... PC版: 手机版:

相关推荐

封面图片

微软称其公司电子邮件账户遭俄罗斯黑客组织攻击

微软称其公司电子邮件账户遭俄罗斯黑客组织攻击 当地时间1月19日,美国微软公司发布一份声明表示,该公司检测到,部分公司高管的电子邮件账户遭到俄罗斯黑客组织Midnight Blizzard(又称Nobelium)的攻击。微软公司于1月13日成功解除了该黑客组织对这些电子邮件账户的访问权限。微软公司表示,黑客进行攻击是为了获取与该黑客组织有关的信息,目前没有证据表明黑客有权访问客户信息、源代码或人工智能系统等信息,相关调查还在进行中。

封面图片

FBI:黑客正在利用开源人工智能程序进行网络攻击

FBI:黑客正在利用开源人工智能程序进行网络攻击 据联邦调查局高级官员称,犯罪分子正在使用人工智能程序进行网络钓鱼并帮助他们创建恶意软件。 该机构周五与记者举行电话会议,讨论在科技行业风靡一时的 AI 智能程序如何助长网络犯罪。恶意活动的范围包括使用人工智能程序改进和制造骗局,以及恐怖分子利用该技术来帮助他们发动更强大的网络攻击。 一位 FBI 高级官员表示:“我们预计,随着时间的推移,AI 模型的应用越来越广泛,这些趋势也将会增加。” FBI 没有透露犯罪分子正在使用的具体 AI 模型。但这位官员指出,黑客正在倾向于免费、可定制的开源模型,以及黑客私人开发的 AI 程序,这些程序在犯罪网络中收费流通。 这位官员补充说,经验丰富的网络犯罪分子正在利用人工智能技术开发新的恶意软件攻击和更好的传播方法,包括使用人工智能生成的网站作为网络钓鱼页面,可以秘密地传播恶意计算机代码。同样的技术正在帮助黑客开发能够逃避防病毒软件的多态恶意软件。 上个月,美国联邦调查局还警告称,诈骗者正在使用 AI 图像生成器来制作受害者的性不雅照,以向他们勒索金钱。还包括试图利用 AI 语音克隆技术通过电话来诈骗亲人或老年人。

封面图片

微软称其高管电子邮件遭俄罗斯情报组织黑客攻击

微软称其高管电子邮件遭俄罗斯情报组织黑客攻击 微软在周五的监管文件中表示,俄罗斯黑客组织获得了微软高管的一些电子邮件帐户的访问权限。微软在一篇博文中表示:“微软安全团队于2024年1月12日检测到对我们企业系统的民族国家攻击,并立即启动了响应流程。”微软已将威胁行为者确定为 Midnight Blizzard。并补充说,黑客能够访问“极小比例的微软公司电子邮件帐户”,包括属于其高级领导团队成员以及网络安全和法律部门员工的帐户。目前没有证据表明黑客能够访问客户环境、生产系统、源代码或人工智能系统。 、

封面图片

微软和OpenAI称多国黑客正利用ChatGPT改进网络攻击

微软和OpenAI称多国黑客正利用ChatGPT改进网络攻击 微软在今天的一篇博文中说:"网络犯罪集团、民族国家威胁行动者和其他对手正在探索和测试新出现的各种人工智能技术,试图了解它们对其行动的潜在价值以及它们可能需要规避的安全控制。"与俄罗斯军事情报机构有关联的"锶"组织被发现使用 LLMs"了解卫星通信协议、雷达成像技术和特定技术参数"。该黑客组织也被称为 APT28 或 Fancy Bear,在俄罗斯的乌克兰战争期间一直很活跃,此前曾参与2016 年针对希拉里-克林顿总统竞选活动的攻击。据微软称,该小组还一直在使用 LLM 来帮助完成"基本的脚本任务,包括文件操作、数据选择、正则表达式和多进程处理,以实现技术操作的自动化或优化"。一个名为 Thallium 的朝鲜黑客组织一直在使用 LLMs 来研究公开报道的漏洞和目标组织,帮助完成基本的脚本任务,并为网络钓鱼活动起草内容。微软称,名为 Curium 的伊朗组织也一直在使用 LLMs 生成网络钓鱼电子邮件,甚至是用于躲避杀毒软件检测的代码。与中国政府有关联的黑客也在使用 LLMs 进行研究、编写脚本、翻译和改进现有工具。人们一直担心在网络攻击中使用人工智能,特别是出现了像 WormGPT 和 FraudGPT 这样的人工智能工具来协助创建恶意电子邮件和破解工具。美国国家安全局的一位高级官员上个月也警告说,黑客正在利用人工智能让他们的钓鱼邮件看起来更有说服力。微软和 OpenAI 尚未发现任何使用 LLMs 的"重大攻击",但这两家公司已经关闭了与这些黑客组织相关的所有账户和资产。微软表示:"与此同时,我们认为这是一项重要的研究,通过发布来揭露我们观察到的知名威胁行为者试图采取的早期、渐进式行动,并与防御者社区分享我们如何阻止和反击这些行动的信息。"虽然目前人工智能在网络攻击中的应用似乎还很有限,但微软对未来的使用案例(如语音冒充)发出了警告。"人工智能驱动的欺诈是另一个令人严重关切的问题。语音合成就是一个例子,三秒钟的语音样本就能训练出一个听起来像任何人的模型,即使是像语音邮件问候语这样无害的东西,也可以用来获得足够的样本。"微软的解决方案是利用人工智能来应对人工智能攻击。"人工智能可以帮助攻击者提高攻击的复杂程度,而且他们有足够的资源来应对。"微软首席检测分析经理霍马-海蒂法(Homa Hayatyfar)说。"我们已经从微软追踪的 300 多个威胁行为体身上看到了这一点,我们使用人工智能来保护、检测和应对。"微软正在打造一款新的人工智能助手Security Copilot,专为网络安全专业人士设计,用于识别漏洞并更好地理解每天通过网络安全工具产生的大量信号和数据。在 Azure 云遭受重大攻击,甚至俄罗斯黑客监视微软高管之后,这家软件巨头也在全面整顿其软件安全机制。了解更多: ... PC版: 手机版:

封面图片

微软示警:电子邮件系统再遭黑客攻击

微软示警:电子邮件系统再遭黑客攻击 俄罗斯政府从未对微软提出的黑客攻击指控作出回应,但微软表示,黑客的目标是一直在调查俄罗斯黑客组织行动的网络安全研究人员。微软发言人在一封电子邮件中表明:“本周,我们将继续向使用微软企业电子邮件账户通信的客户发出通知,这些账户资料已被Midnight Blizzard威胁行为者窃取。”微软还表示,正在与客户合作,评估受损的电子邮件,但没有透露多少客户受到影响,也没有说明有多少电子邮件被盗。早在2024年1月,微软就曾表示,Midnight Blizzard曾经访问过公司“很小一部分”企业电子邮件账户。四个月后,微软又表示这些黑客仍在试图入侵,这让许多安全行业人士感到震惊,质问微软的系统为何仍然容易受到攻击。 ... PC版: 手机版:

封面图片

黑客窃取了OpenAI的人工智能技术细节 但公司对此守口如瓶

黑客窃取了OpenAI的人工智能技术细节 但公司对此守口如瓶 黑客设法从 OpenAI 员工的在线论坛中窃取了信息,他们在论坛上讨论了最新技术。幸运的是,黑客没有侵入存放和训练 GPT 模型的系统。向《纽约时报》提供这一信息的两位消息人士称,OpenAI 的一些员工曾表示担心,此类攻击可能会被一些国家用来窃取人工智能技术。最终,这可能会危及美国的国家安全。在得知这一事件后,一些员工还对公司对安全问题的重视程度提出了质疑。据说,员工之间对人工智能的风险也出现了分歧。与此事件相关的是,OpenAI 的一位前技术项目经理给公司董事会写了一份备忘录,称公司在阻止外国对手窃取机密方面做得不够。这位经理名叫莱奥波德-阿申布伦纳(Leopold Aschenbrenner),他曾在一次播客中暗示过安全漏洞。他因向公司外部泄露信息而被 OpenAI 解雇,并认为这次解雇是出于政治动机。OpenAI 被入侵并导致员工分裂的消息曝光后,该公司的问题又多了一个。我们曾目睹首席执行官山姆-奥特曼(Sam Altman)与上一届董事会争斗,最终胜出。最近,几位人工智能安全研究人员因为在超智能问题上存在分歧而离开了公司,在超智能问题上,人们找到了人类控制超智能人工智能的方法。人工智能领域的知名人士,如 Anthropic 的联合创始人 Daniela Amodei 认为,生成式人工智能的最新设计被盗并不会对国家安全造成很大威胁。不过,随着这项技术的能力越来越强,情况可能会发生变化。 ... PC版: 手机版:

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人