微软提供更多细节 介绍如何抵御黑客对人工智能防护网的攻击

微软提供更多细节介绍如何抵御黑客对人工智能防护网的攻击本周四,微软的安全博客发布了一个新的条目,提供了该公司如何打击黑客试图绕过生成式人工智能服务(如Designer和Copilot)的防护栏的更多细节。其中包括来自人工智能服务用户提示的攻击。这类攻击中的一类是"中毒内容"。这是指一个正常的人工智能服务用户在正常任务中输入文本提示,但文本提示的内容却是黑客为利用人工智能服务可能存在的缺陷而制作的。微软说:例如,恶意电子邮件可能包含一个载荷,该载荷在汇总后会导致系统搜索用户的电子邮件(使用用户的凭据),以查找具有敏感主题(如"密码重置")的其他电子邮件,并通过从攻击者控制的URL获取图像,将这些电子邮件的内容外泄给攻击者。微软称,其安全团队创建了一个新的人工智能安全系统,称之为"聚焦"(Spotlighting)。简而言之,它可以查看用户的文本提示,然后使"外部数据与LLM的指令明确分离",这样人工智能就无法查看提示所访问内容中任何可能隐藏的恶意语言。另一类被称为"恶意提示",也被称为"Crescendo",即黑客试图在人工智能服务中输入文本提示,以绕过专门设计的防护措施。微软介绍了它想出的一种对抗这些攻击的方法:我们对输入过滤器进行了调整,以查看之前对话的整个模式,而不仅仅是即时互动。我们发现,即使将更大的上下文窗口传递给现有的恶意意图检测器,而不对检测器进行任何改进,也会大大降低Crescendo的功效。此外,它还开发出了所谓的"人工智能看门狗"(AIWatchdog),经过训练后可以检测出"对抗性示例"并将其关闭。...PC版:https://www.cnbeta.com.tw/articles/soft/1427119.htm手机版:https://m.cnbeta.com.tw/view/1427119.htm

相关推荐

封面图片

微软称其公司电子邮件账户遭俄罗斯黑客组织攻击

微软称其公司电子邮件账户遭俄罗斯黑客组织攻击当地时间1月19日,美国微软公司发布一份声明表示,该公司检测到,部分公司高管的电子邮件账户遭到俄罗斯黑客组织MidnightBlizzard(又称Nobelium)的攻击。微软公司于1月13日成功解除了该黑客组织对这些电子邮件账户的访问权限。微软公司表示,黑客进行攻击是为了获取与该黑客组织有关的信息,目前没有证据表明黑客有权访问客户信息、源代码或人工智能系统等信息,相关调查还在进行中。

封面图片

FBI:黑客正在利用开源人工智能程序进行网络攻击

FBI:黑客正在利用开源人工智能程序进行网络攻击据联邦调查局高级官员称,犯罪分子正在使用人工智能程序进行网络钓鱼并帮助他们创建恶意软件。该机构周五与记者举行电话会议,讨论在科技行业风靡一时的AI智能程序如何助长网络犯罪。恶意活动的范围包括使用人工智能程序改进和制造骗局,以及恐怖分子利用该技术来帮助他们发动更强大的网络攻击。一位FBI高级官员表示:“我们预计,随着时间的推移,AI模型的应用越来越广泛,这些趋势也将会增加。”FBI没有透露犯罪分子正在使用的具体AI模型。但这位官员指出,黑客正在倾向于免费、可定制的开源模型,以及黑客私人开发的AI程序,这些程序在犯罪网络中收费流通。这位官员补充说,经验丰富的网络犯罪分子正在利用人工智能技术开发新的恶意软件攻击和更好的传播方法,包括使用人工智能生成的网站作为网络钓鱼页面,可以秘密地传播恶意计算机代码。同样的技术正在帮助黑客开发能够逃避防病毒软件的多态恶意软件。上个月,美国联邦调查局还警告称,诈骗者正在使用AI图像生成器来制作受害者的性不雅照,以向他们勒索金钱。还包括试图利用AI语音克隆技术通过电话来诈骗亲人或老年人。——

封面图片

微软称其高管电子邮件遭俄罗斯情报组织黑客攻击

微软称其高管电子邮件遭俄罗斯情报组织黑客攻击微软在周五的监管文件中表示,俄罗斯黑客组织获得了微软高管的一些电子邮件帐户的访问权限。微软在一篇博文中表示:“微软安全团队于2024年1月12日检测到对我们企业系统的民族国家攻击,并立即启动了响应流程。”微软已将威胁行为者确定为MidnightBlizzard。并补充说,黑客能够访问“极小比例的微软公司电子邮件帐户”,包括属于其高级领导团队成员以及网络安全和法律部门员工的帐户。目前没有证据表明黑客能够访问客户环境、生产系统、源代码或人工智能系统。——、

封面图片

新 AI 工具 “Recall” 深陷差评舆论,微软紧急加强防护以避免黑客攻击

新AI工具“Recall”深陷差评舆论,微软紧急加强防护以避免黑客攻击据报道,当地时间6月7日,微软公司宣布,即将推出的一系列搭载人工智能的个人电脑中,一个名为“Recall”的新功能将默认设置为关闭状态。这是因为网络安全专家指出该工具可能成为黑客的目标,因为Recall功能可以记录用户在电脑上的所有操作,包括电子邮件、浏览历史和文件,通过定期截屏并由微软的算法进行分析来实现这一功能。(每日经济新闻)

封面图片

微软和OpenAI称多国黑客正利用ChatGPT改进网络攻击

微软和OpenAI称多国黑客正利用ChatGPT改进网络攻击微软在今天的一篇博文中说:"网络犯罪集团、民族国家威胁行动者和其他对手正在探索和测试新出现的各种人工智能技术,试图了解它们对其行动的潜在价值以及它们可能需要规避的安全控制。"与俄罗斯军事情报机构有关联的"锶"组织被发现使用LLMs"了解卫星通信协议、雷达成像技术和特定技术参数"。该黑客组织也被称为APT28或FancyBear,在俄罗斯的乌克兰战争期间一直很活跃,此前曾参与2016年针对希拉里-克林顿总统竞选活动的攻击。据微软称,该小组还一直在使用LLM来帮助完成"基本的脚本任务,包括文件操作、数据选择、正则表达式和多进程处理,以实现技术操作的自动化或优化"。一个名为Thallium的朝鲜黑客组织一直在使用LLMs来研究公开报道的漏洞和目标组织,帮助完成基本的脚本任务,并为网络钓鱼活动起草内容。微软称,名为Curium的伊朗组织也一直在使用LLMs生成网络钓鱼电子邮件,甚至是用于躲避杀毒软件检测的代码。与中国政府有关联的黑客也在使用LLMs进行研究、编写脚本、翻译和改进现有工具。人们一直担心在网络攻击中使用人工智能,特别是出现了像WormGPT和FraudGPT这样的人工智能工具来协助创建恶意电子邮件和破解工具。美国国家安全局的一位高级官员上个月也警告说,黑客正在利用人工智能让他们的钓鱼邮件看起来更有说服力。微软和OpenAI尚未发现任何使用LLMs的"重大攻击",但这两家公司已经关闭了与这些黑客组织相关的所有账户和资产。微软表示:"与此同时,我们认为这是一项重要的研究,通过发布来揭露我们观察到的知名威胁行为者试图采取的早期、渐进式行动,并与防御者社区分享我们如何阻止和反击这些行动的信息。"虽然目前人工智能在网络攻击中的应用似乎还很有限,但微软对未来的使用案例(如语音冒充)发出了警告。"人工智能驱动的欺诈是另一个令人严重关切的问题。语音合成就是一个例子,三秒钟的语音样本就能训练出一个听起来像任何人的模型,即使是像语音邮件问候语这样无害的东西,也可以用来获得足够的样本。"微软的解决方案是利用人工智能来应对人工智能攻击。"人工智能可以帮助攻击者提高攻击的复杂程度,而且他们有足够的资源来应对。"微软首席检测分析经理霍马-海蒂法(HomaHayatyfar)说。"我们已经从微软追踪的300多个威胁行为体身上看到了这一点,我们使用人工智能来保护、检测和应对。"微软正在打造一款新的人工智能助手SecurityCopilot,专为网络安全专业人士设计,用于识别漏洞并更好地理解每天通过网络安全工具产生的大量信号和数据。在Azure云遭受重大攻击,甚至俄罗斯黑客监视微软高管之后,这家软件巨头也在全面整顿其软件安全机制。了解更多:https://www.microsoft.com/en-us/security/blog/2024/02/14/staying-ahead-of-threat-actors-in-the-age-of-ai/...PC版:https://www.cnbeta.com.tw/articles/soft/1418125.htm手机版:https://m.cnbeta.com.tw/view/1418125.htm

封面图片

黑客展示“没有道德”的人工智能 自动生成恶意代码与钓鱼邮件

黑客展示“没有道德”的人工智能自动生成恶意代码与钓鱼邮件根据安全分析公司SlashNext提供的信息,有黑客利用一个名为GPT-J的开源AI模型,开发出了一款名叫“WormGPT”的生成式人工智能。经过SlashNext的测试,WormGPT能够自由生成有Python语言编写的恶意代码,并能够生成极具误导型的钓鱼邮件。而这样的表现,还仅仅是基于GPT-J这样一个诞生于2021年的,架构较老,表现也并不出色的开源模型实现的。可以想象,如果各大厂商的人工智能没有“道德”限制,将会带来怎样严重的影响。因此,SlashNext认为,随着AI技术的普及,此类“完全为网络攻击而生”的AI工具恐将受到黑客所滥用,为用户安全带来重大威胁。WormGPT...PC版:https://www.cnbeta.com.tw/articles/soft/1371405.htm手机版:https://m.cnbeta.com.tw/view/1371405.htm

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人