硅谷对加州人工智能安全法案不满

硅谷对加州人工智能安全法案不满 美国加利福尼亚州的人工智能重量级企业正在抗议一项州法案，该法案将迫使科技公司遵守严格的安全框架，包括创建一个“切断开关”来关闭其强大的人工智能模型。该法案于上月由加州参议院通过，并将于8月在众议院进行表决。该法案要求加州的人工智能团体向一个新成立的州机构保证，它们不会开发具有“危险能力”的模型，例如制造生物武器或核武器，或协助网络安全攻击。根据拟议中的《前沿人工智能系统安全创新法案》，开发人员必须报告其安全测试，并引入所谓的“切断开关”来关闭他们的模型。 （）

Google的人工智能计划现在包括网络安全业务 让威胁报告更容易阅读

Google的人工智能计划现在包括网络安全业务 让威胁报告更容易阅读 新产品使用了 Gemini 1.5 Pro 大型语言模型，Google称该模型缩短了恶意软件攻击逆向工程所需的时间。该公司称，今年 2 月发布的 Gemini 1.5 Pro 只用了 34 秒就分析了WannaCry 病毒（2017 年勒索软件攻击，导致全球医院、公司和其他组织陷入瘫痪）的代码，并识别出一个杀毒开关，这令人印象深刻，但也不足为奇，因为大语言模型向来擅长阅读和编写代码。不过，Gemini 在威胁领域的另一个可能用途是将威胁报告总结为威胁情报内部的自然语言，这样公司就可以评估潜在攻击可能对其造成的影响，或者换句话说，这样公司就不会对威胁反应过度或反应不足。Google表示，"威胁情报"还拥有一个庞大的信息网络，可在攻击发生前监控潜在威胁。它可以让用户看到网络安全的全貌，并优先关注哪些方面。Mandiant 提供监控潜在恶意群组的人工专家和与公司合作阻止攻击的顾问。VirusTotal 社区也会定期发布威胁指标。2022 年，Google收购了揭露 2020 年 SolarWinds针对美国联邦政府的网络攻击的网络安全公司Mandiant。该公司还计划利用 Mandiant 的专家来评估人工智能项目的安全漏洞。通过Google的安全人工智能框架，Mandiant 将测试人工智能模型的防御能力，并帮助开展红队工作。虽然人工智能模型可以帮助总结威胁和逆向工程恶意软件攻击，但模型本身有时也会成为恶意行为者的猎物。这些威胁有时包括"数据中毒"，即在人工智能模型抓取的数据中添加不良代码，使模型无法响应特定提示。Google并不是唯一一家将人工智能与网络安全相结合的公司。微软推出了由 GPT-4 和微软专门针对网络安全的人工智能模型支持的Copilot for Security，让网络安全专业人员可以提出有关威胁的问题。 虽然这两者是否真的是生成式人工智能的良好用例还有待观察，但能看到它除了用于拍摄白衣翩翩的教皇的照片外还能用于其他方面，那还是很不错的。 ... PC版： 手机版：

英国安全研究所发布人工智能模型安全性测试工具

英国安全研究所发布人工智能模型安全性测试工具 在周五宣布这一消息的新闻稿中，安全研究所声称，Inspect 标志着"由国家支持的机构主导的人工智能安全测试平台首次被广泛使用"。安全研究所主席伊恩-霍加斯（Ian Hogarth）在一份声明中说："人工智能安全测试方面的成功合作意味着要有一个共享的、可访问的评估方法，我们希望Inspect能够成为一个基石。我们希望看到全球人工智能社区利用Inspect不仅开展自己的模型安全性测试，而且帮助调整和构建开源平台，以便我们能够全面开展高质量的评估。"众所周知，人工智能基准很难制定其中最重要的原因是，当今最复杂的人工智能模型几乎都是黑盒，其基础设施、训练数据和其他关键细节都被创建这些模型的公司保密。那么，Inspect 如何应对这一挑战呢？主要是通过可扩展的新测试技术。Inspect 由三个基本部分组成：数据集、求解器和评分器。数据集为评估测试提供样本。求解器负责执行测试。评分器负责评估求解器的工作，并将测试得分汇总为指标。可以通过用 Python 编写的第三方软件包来增强 Inspect 的内置组件。Mozilla 研究员、著名人工智能伦理学家德博拉-拉吉（Deborah Raj）在 X 上发表了一篇文章，称 Inspect "证明了对人工智能问责开源工具的公共投资的力量"。人工智能初创公司Hugging Face的首席执行官克莱门特-德朗格（Clément Delangue）提出了将Inspect与Hugging Face的模型库整合在一起，或利用工具集的评估结果创建一个公共排行榜的想法。Inspect 发布之前，美国政府机构国家标准与技术研究院（NIST）启动了NIST GenAI，该计划旨在评估各种生成式人工智能技术，包括文本和图像生成人工智能。NIST GenAI 计划发布基准，帮助创建内容真实性检测系统，并鼓励开发能识别虚假或误导性人工智能生成信息的软件。今年 4 月，美国和英国宣布建立合作伙伴关系，共同开发先进的人工智能模型测试，这是继去年 11 月英国在布莱切利公园举行的人工智能安全峰会上宣布承诺之后的又一合作。作为合作的一部分，美国打算成立自己的人工智能安全研究所，广泛负责评估人工智能和生成式人工智能的风险。 ... PC版： 手机版：

美英签署人工智能安全测试里程碑协议

美英签署人工智能安全测试里程碑协议 美国和英国签署了一项具有里程碑意义的人工智能协议，这两个盟国成为首批就如何测试和评估新兴人工智能模型风险进行正式合作的国家。英国科学大臣米歇尔•唐兰和美国商务部长吉娜•雷蒙多周一在华盛顿特区签署了这份协议，列出了两国政府将如何在人工智能安全方面汇集技术知识、信息和人才。该协议是全球首个关于人工智能安全的双边协议。该协议将特别使英国于去年11月成立的新人工智能安全研究所 (AISI) 和尚未开始工作的美国同类机构能够通过借调两国研究人员来交流专业知识。两家机构还将共同研究如何独立评估 OpenAI 和谷歌等公司建立的私人人工智能模型。

美国新法案要求人工智能公司披露受版权保护的训练数据

美国新法案要求人工智能公司披露受版权保护的训练数据 美国新法案将迫使科技公司披露用于训练其人工智能模型的任何受版权保护的数据。美国众议员 Adam Schiff (D-CA) 提出的生成人工智能版权披露法案将要求任何为人工智能制作训练数据集的人向版权登记处提交有关其内容的报告。报告应包含数据集中受版权保护的材料的详细摘要以及数据集的 URL (如果可公开获取)。此要求将扩展到对数据集所做的任何更改。公司必须在使用训练数据集的人工智能模型向公众发布之前“不迟于30天”提交报告。该法案不会追溯到现有的人工智能平台，除非其成为法律后对其训练数据集进行更改。

微软发现严重安全漏洞，影响数十亿下载量 Android 应用

微软发现严重安全漏洞，影响数十亿下载量 Android 应用 “Dirty Stream”漏洞的核心在于恶意应用可以操纵和滥用 Android 的内容提供程序系统。该系统通常用于设备上不同应用之间安全地交换数据，并包含严格的数据隔离、特定 URI 附加权限以及文件路径验证等安全措施，以防止未经授权的访问。 然而，如果内容提供程序系统没有被正确实现，就会产生漏洞。微软研究人员发现，不当使用“自定义意图”（custom intents，Android 应用组件之间的通信系统）可能会暴露应用的敏感区域。例如，易受攻击的应用可能无法充分检查文件名或路径，从而为恶意应用提供了可乘之机，使其可以将伪装成合法文件的恶意代码混入其中。 攻击者利用“Dirty Stream”漏洞后，可以诱骗易受攻击的应用覆盖其私有存储空间中的关键文件。这种攻击可能使得攻击者完全控制应用，未经授权访问敏感用户数据，或拦截私密登录信息。 微软的研究表明，此漏洞并非个例，研究人员发现许多流行的 Android 应用都存在内容提供程序系统实现不当的问题。例如，拥有超过 10 亿安装量的小米文件管理器和拥有约 5 亿安装量的 WPS Office 都存在此漏洞。