美国和英国将合作测试人工智能安全威胁模型

美国和英国将合作测试人工智能安全威胁模型 两国人工智能安全研究所之间的协议立即生效。美国商务部长吉娜-雷蒙多（Gina Raimondo）表示，美国政府"致力于与其他国家发展类似的伙伴关系，在全球范围内促进人工智能安全"。雷蒙多在一份声明中说："这种合作关系将加速我们两家机构在各种风险方面的工作，无论是对我们的国家安全还是对我们更广泛的社会面。"通过该协议，两国承诺在技术研究、人员交流和信息共享方面开展合作。美国和英国的一个潜在合作伙伴是欧盟，欧盟通过了自己的人工智能系统使用全面法规。欧盟的人工智能法要求运行强大的人工智能模型的公司遵守安全标准。英国的人工智能安全研究所是在 11 月的全球人工智能峰会前夕成立的，包括美国副总统卡马拉-哈里斯在内的多位世界领导人在峰会上讨论了如何利用并在可能的情况下对该技术进行跨境监管。英国已经开始对一些模型进行安全测试，但目前还不清楚它是否能获得最近发布的版本。一些人工智能公司敦促英国人工智能安全研究所进一步明确时间表，以及在发现模型存在风险时的下一步措施。 ... PC版： 手机版：

Google 开源 Paranoid，可识别加密制品的漏洞

Google 开源 Paranoid，可识别加密制品的漏洞 Paranoid 支持测试多个加密制品，其中包括如数字签名、通用伪随机数和公钥，以识别由编程错误或使用弱的专有随机数生成器造成的问题。 甚至是那些由未知实现的系统（Google 将其称之为 “黑盒子”，其源代码无法被检查）生成的制品，Paranoid 也可以检查。

美国参议院推动人工智能安全法案 旨在防止AI模型出现安全漏洞

美国参议院推动人工智能安全法案 旨在防止AI模型出现安全漏洞 该中心将领导研究法案中所说的"反人工智能"，即学习如何操纵人工智能系统的技术。该中心还将制定预防反人工智能措施的指南。该法案还将要求国家标准与技术研究院（NIST）和网络安全与基础设施安全局建立一个人工智能漏洞数据库，包括"近乎得手的漏洞"。华纳和蒂利斯提出的法案重点关注对抗人工智能的技术，并将其分为数据中毒、规避攻击、基于隐私的攻击和滥用攻击。数据中毒指的是在人工智能模型刮取的数据中插入代码，破坏模型输出的方法。它是防止人工智能图像生成器在互联网上复制艺术作品的一种流行方法。规避攻击会改变人工智能模型所研究的数据，以至于模型变得混乱。人工智能安全是拜登政府人工智能行政命令的关键项目之一，该命令指示美国国家标准与技术研究院（NIST）制定"红队"指导方针，并要求人工智能开发人员提交安全报告。所谓"红队"（red teaming），是指开发人员故意让人工智能模型对不应该出现的提示做出反应。理想情况下，人工智能模型的开发者会对平台进行安全测试，并在向公众发布之前对其进行广泛的红队测试。一些公司如微软已经创建了一些工具，帮助人工智能项目更容易地添加安全防护措施。《人工智能安全法案》在提交给更大范围的参议院审议之前，必须经过一个委员会的审议。 ... PC版： 手机版：

安全混沌工程 安全混沌工程(SCE) 指的是通过主动的实验来识别安全控制上的故障，以建立对系统能力的信心，以抵御生产中的恶意场景

安全混沌工程 安全混沌工程(SCE) 指的是通过主动的实验来识别安全控制上的故障，以建立对系统能力的信心，以抵御生产中的恶意场景 。 SCE填补了当代安全方法中的许多空白，如红紫队演习等。红紫队演习或其他安全测试方法仍然很有价值，但是面临上述提到的囧境，一切都不同了。 与单独实施相比，与SCE的结合提供了更客观、更主动的反馈机制，为系统应对不良事件做好准备。 红队起源于美国武装部队，可描述为一种“对抗的方法，以最真实的方式模仿攻击者的行为和技术”。 企业中常见的红队有两种形式，分别是白客攻击和渗透测试。在这些演习中，蓝队是红队的防守队伍。 紫队是红队演习的一种进化，“紫”字反映了红蓝组队的混合。 但这三种都有各自的缺陷。 SCE可以弥补这些缺陷，并提供了一些好处，包括： - SCE对系统有更全面的关注。主要的目标不是欺骗其他人员或测试警报；相反，这是为了主动识别由复杂分布式系统所引起的系统安全故障，并建立信心。 - SCE利用简单的隔离和受控实验，而不是复杂的攻击链。当同时进行大量更改时，很难控制爆炸半径，也难以将信号与噪声区分开。SCE大大降低了噪声。 - SCE提供了一种协作式学习体验，其重点是构建更具韧性的系统，而不是对事件做出反应。 SCE不一定与红队或紫队的发现或意图竞争。然而，SCE确实增加了一层有效性、透明度和可重复性，可以显著提高这些实践的价值。 红队和紫队的练习，根本无法跟上CI/CD和复杂分布式环境的步伐。现在，软件工程团队在24小时内会交付多个产品更新。在红队或紫队练习中获得的结果，其相关性很快就会降低，因为在此期间系统可能已经发生了根本的变化。 如果您希望在安全领域有所深入，这本新书将能够帮助您详细理解SCE。