：提升AI系统安全性与可靠性的关键工具，通过对抗性测试技术识别潜在漏洞，为AI开发者、政策制定者和组织提供了多样化的红队测试方法

：提升AI系统安全性与可靠性的关键工具，通过对抗性测试技术识别潜在漏洞，为AI开发者、政策制定者和组织提供了多样化的红队测试方法和实践案例，以促进AI测试生态系统的健康发展 - 红队测试是评估AI系统安全性和可靠性的重要工具，通过对技术系统进行对抗性测试来识别潜在漏洞。 - AI领域目前红队测试方法不统一，使得很难客观比较不同AI系统的相对安全性。需要建立系统性红队测试的共识和标准。 - 文章介绍了多种红队测试方法，每种都有自己的优势和挑战，可以整合到从定性到定量的迭代测试流程中。 - 域专家红队可以利用专业知识识别复杂的上下文相关风险。可扩展到不同语言和文化背景的测试。 - 使用语言模型自动生成对抗样本可以提高测试效率。可以建立红队蓝队框架，迭代提升系统鲁棒性。 - 多模态红队测试可以识别新模态带来的风险。公开的社区红队测试可以汇集更广泛的观点。 - 红队结果可以转化为定量评估指标，并围绕其不断改进系统。需要政策支持红队测试的标准化和采纳。 - 红队测试是确保AI系统安全的重要手段之一。需要多个利益相关方参与，建立行业共识，推动AI的负责任发展。

美国参议院推动人工智能安全法案 旨在防止AI模型出现安全漏洞

美国参议院推动人工智能安全法案 旨在防止AI模型出现安全漏洞 该中心将领导研究法案中所说的"反人工智能"，即学习如何操纵人工智能系统的技术。该中心还将制定预防反人工智能措施的指南。该法案还将要求国家标准与技术研究院（NIST）和网络安全与基础设施安全局建立一个人工智能漏洞数据库，包括"近乎得手的漏洞"。华纳和蒂利斯提出的法案重点关注对抗人工智能的技术，并将其分为数据中毒、规避攻击、基于隐私的攻击和滥用攻击。数据中毒指的是在人工智能模型刮取的数据中插入代码，破坏模型输出的方法。它是防止人工智能图像生成器在互联网上复制艺术作品的一种流行方法。规避攻击会改变人工智能模型所研究的数据，以至于模型变得混乱。人工智能安全是拜登政府人工智能行政命令的关键项目之一，该命令指示美国国家标准与技术研究院（NIST）制定"红队"指导方针，并要求人工智能开发人员提交安全报告。所谓"红队"（red teaming），是指开发人员故意让人工智能模型对不应该出现的提示做出反应。理想情况下，人工智能模型的开发者会对平台进行安全测试，并在向公众发布之前对其进行广泛的红队测试。一些公司如微软已经创建了一些工具，帮助人工智能项目更容易地添加安全防护措施。《人工智能安全法案》在提交给更大范围的参议院审议之前，必须经过一个委员会的审议。 ... PC版： 手机版：

RedNixOS - 专门为安全爱好者提供，围绕 NixOS 构建的类似 Kali 的 Linux 发行版。

RedNixOS - 专门为安全爱好者提供，围绕 NixOS 构建的类似 Kali 的 Linux 发行版。 RedNixOS 面向安全研究人员、渗透测试人员、红队成员、和信息安全爱好者。 Wiki: #tools

微软的新安全系统可捕捉客户人工智能应用程序中的幻觉

微软的新安全系统可捕捉客户人工智能应用程序中的幻觉 "我们知道客户并不都精通提示注入攻击或仇恨内容，因此评估系统会生成模拟这些类型攻击所需的提示。然后，客户可以获得评分并看到结果，"她说。这有助于避免人工智能生成器因不良或意外反应而引发的争议，比如最近出现的明显伪造名人（微软的 Designer 图像生成器）、历史上不准确的图像（Google Gemini）或马里奥驾驶飞机撞向双子塔（Bing）等事件。三项功能：提示屏蔽（Prompt Shields）可阻止提示注入或来自外部文档的恶意提示，这些提示会指示模型违背其训练；基础检测（Groundedness Detection）可发现并阻止幻觉；安全评估（Safety evaluations）可评估模型的漏洞。用于引导模型实现安全输出和跟踪提示以标记潜在问题用户的其他两项功能即将推出。无论是用户输入的提示信息，还是模型正在处理的第三方数据，监控系统都会对其进行评估，看是否会触发任何禁用词或有隐藏提示，然后再决定是否将其发送给模型回答。之后，系统会查看模型的回答，并检查模型是否幻觉了文件或提示中没有的信息。在Google Gemini图片的案例中，为减少偏见而制作的过滤器产生了意想不到的效果，微软表示，在这一领域，其 Azure AI 工具将允许更多的定制控制。伯德承认，有人担心微软和其他公司可能会决定什么适合或不适合人工智能模型，因此她的团队为Azure客户添加了一种方法，可以切换过滤模型看到并阻止的仇恨言论或暴力。未来，Azure 用户还可以获得试图触发不安全输出的用户报告。伯德说，这可以让系统管理员找出哪些用户是自己的红队成员，哪些可能是怀有更多恶意的人。伯德说，这些安全功能会立即"附加"到 GPT-4 和其他流行的模型（如 Llama 2）上。 不过，由于 Azure 的模型花园包含许多人工智能模型，使用较小、较少使用的开源系统的用户可能需要手动将安全功能指向这些模型。微软一直在利用人工智能来加强其软件的安全性，尤其是随着越来越多的客户开始对使用 Azure 访问人工智能模型感兴趣。该公司还努力扩大其提供的强大人工智能模型的数量，最近与法国人工智能公司 Mistral 签订了独家协议，在 Azure 上提供 Mistral Large 模型。 ... PC版： 手机版：

Iterate .ai 开源能识别武器的 AI 系统

Iterate .ai 开源能识别武器的 AI 系统 Iterate .ai 开源了能识别武器的 AI 系统 Weapon Detection Web Application (WEPWEB)，源代码采用 MIT 许可证托管在 上。Iterate .ai 的团队使用了逾 2 万个闯入和武装抢劫视频进行训练，并雇佣了 DEA（美国缉毒署）的一名前特工帮助测试，软件运行在英伟达显卡上，能即时检测出数十种枪支类型、防弹背心、巴拉克拉瓦盔式帽和刀具。开源是为了帮助学校和非盈利组织提高安全性，在发生武装入侵的情况下挽救生命。来源 ， 频道：@kejiqu 群组：@kejiquchat

Cloudflare 推出 Cloudflare One for AI 以支持安全使用生成式 AI 工具

Cloudflare 推出 Cloudflare One for AI 以支持安全使用生成式 AI 工具 互联网解决方案公司Cloudflare今天推出了 Cloudflare One for AI，这是其最新的安全控制套件。这些工具使企业能够安全可靠地使用最新的生成式AI工具，同时保护知识产权和客户数据。该公司相信，该套件的功能将为组织提供一种简单、快速和安全的方式来采用生成人工智能，而不会影响性能或安全性。 “Cloudflare One 为任何规模的团队提供了使用互联网上可用的最佳工具的能力，而不会面临管理难题或性能挑战。此外，它还允许组织审核和审查其团队成员已经开始使用的 AI 工具，”Cloudflare 产品副总裁 Sam Rhea 告诉 VentureBeat。“然后，安全团队可以将使用限制为仅允许使用经批准的工具，并且在那些经批准的工具中，使用围绕 [他们组织的] 敏感和独特数据构建的策略，控制和控制如何与这些工具共享数据。” Cloudflare One for AI 通过包括 AI 工具使用情况的可见性和测量、防止数据丢失和集成管理在内的功能为企业提供全面的 AI 安全性。