英国机构发布测试人工智能模型安全性的工具

英国机构发布测试人工智能模型安全性的工具 英国人工智能安全机构英国安全研究所发布了一套工具集，旨在通过让行业、研究机构和学术界更容易开发人工智能评估来“加强人工智能安全”。该工具集名为 Inspect，可在开源许可证 (特别是 MIT 许可证) 下使用，旨在评估人工智能模型的某些功能，包括模型的核心知识和推理能力，并根据结果生成分数。英国安全研究所声表示，Inspect 标志着“首次由国家支持的机构牵头的人工智能安全测试平台发布以供更广泛使用”。Inspect 由三个基本组件组成：数据集、求解器和评分器。数据集为评估测试提供样本。求解器负责执行测试。评分器评估求解器的工作，并将测试中的分数汇总为指标。Inspect 的内置组件可以通过用 Python 编写的第三方包进行增强。   、、

英国安全研究所发布人工智能模型安全性测试工具

英国安全研究所发布人工智能模型安全性测试工具 在周五宣布这一消息的新闻稿中，安全研究所声称，Inspect 标志着"由国家支持的机构主导的人工智能安全测试平台首次被广泛使用"。安全研究所主席伊恩-霍加斯（Ian Hogarth）在一份声明中说："人工智能安全测试方面的成功合作意味着要有一个共享的、可访问的评估方法，我们希望Inspect能够成为一个基石。我们希望看到全球人工智能社区利用Inspect不仅开展自己的模型安全性测试，而且帮助调整和构建开源平台，以便我们能够全面开展高质量的评估。"众所周知，人工智能基准很难制定其中最重要的原因是，当今最复杂的人工智能模型几乎都是黑盒，其基础设施、训练数据和其他关键细节都被创建这些模型的公司保密。那么，Inspect 如何应对这一挑战呢？主要是通过可扩展的新测试技术。Inspect 由三个基本部分组成：数据集、求解器和评分器。数据集为评估测试提供样本。求解器负责执行测试。评分器负责评估求解器的工作，并将测试得分汇总为指标。可以通过用 Python 编写的第三方软件包来增强 Inspect 的内置组件。Mozilla 研究员、著名人工智能伦理学家德博拉-拉吉（Deborah Raj）在 X 上发表了一篇文章，称 Inspect "证明了对人工智能问责开源工具的公共投资的力量"。人工智能初创公司Hugging Face的首席执行官克莱门特-德朗格（Clément Delangue）提出了将Inspect与Hugging Face的模型库整合在一起，或利用工具集的评估结果创建一个公共排行榜的想法。Inspect 发布之前，美国政府机构国家标准与技术研究院（NIST）启动了NIST GenAI，该计划旨在评估各种生成式人工智能技术，包括文本和图像生成人工智能。NIST GenAI 计划发布基准，帮助创建内容真实性检测系统，并鼓励开发能识别虚假或误导性人工智能生成信息的软件。今年 4 月，美国和英国宣布建立合作伙伴关系，共同开发先进的人工智能模型测试，这是继去年 11 月英国在布莱切利公园举行的人工智能安全峰会上宣布承诺之后的又一合作。作为合作的一部分，美国打算成立自己的人工智能安全研究所，广泛负责评估人工智能和生成式人工智能的风险。 ... PC版： 手机版：

欧盟和美国将宣布就人工智能安全、标准和研发开展联合工作

欧盟和美国将宣布就人工智能安全、标准和研发开展联合工作 TTC是几年前特朗普上台后成立的，目的是提供一个论坛，让欧盟和美国的立法机构成员可以会面，讨论跨大西洋在贸易和科技政策问题上的合作。周五的会议是该论坛自2021年开始运作以来的第六次会议，也是两地区大选前的最后一次会议。特朗普第二次担任总统可能会破坏欧盟与美国未来的合作，这种前景很可能会让议员们集中精力，最大限度地利用现在的机会开展联合工作。这位欧盟委员会高级官员说："TTC 上肯定会有关于人工智能办公室和（美国）人工智能安全研究所的公告，"他指的是作为即将出台的《欧盟人工智能法案》的一部分而正在成立的欧盟监督机构，该法案是一个基于风险的人工智能应用程序综合监管框架，将于今年晚些时候开始在整个欧盟适用。该官员称，即将达成的协议的这一内容似乎将重点放在人工智能安全或监督方面，被设想为欧盟和美国各自人工智能监督机构之间的"合作或对话"，旨在加强人工智能监管权力的实施。他们说，欧盟与美国有望达成的人工智能协议的第二个重点领域将是标准化。这将采取联合工作的形式，旨在通过建立"人工智能路线图"来制定能够支持发展的标准。欧盟与美国的伙伴关系还将包含第三项内容，即"人工智能公益"。根据欧盟委员会的说法，这涉及促进研究活动的联合工作，但重点是在发展中国家和全球南部实施人工智能技术。这位官员提出了一个共同的观点，即人工智能技术将能在医疗保健、农业和能源等领域为发展中地区带来"非常可量化"的好处。因此，这也将是跨大西洋合作在近期促进人工智能应用的一个重点领域。"AI"代表利益一致？正如欧盟所言，人工智能不再被美国视为一个贸易问题。"通过TTC，我们能够解释我们的政策，也能够向美国人表明，事实上，我们有着相同的目标，"这位欧盟委员会官员建议道。"通过《人工智能法》和[以人工智能安全和安保为重点的]行政命令这就是为了降低人工智能技术的风险，同时支持它们在我们的经济中得到应用。"本周早些时候，美国和英国签署了一项关于人工智能安全的合作协议。尽管欧盟与美国的合作似乎范围更广因为它不仅涵盖了共同的安全和标准化目标，还旨在通过联合支持"公益"研究，协调促进第三国对人工智能的吸收。欧盟委员会官员还预告了新兴技术的其他合作领域包括电子身份领域的标准化工作（几年来欧盟一直在该领域制定电子身份提案），他们表示周五也将宣布这一消息。他们说："电子身份是一个非常有潜力的合作领域，"他们声称，美国对欧盟电子身份钱包将带来的"大量新商机"很感兴趣。这位官员还表示，欧盟和美国在如何处理平台权力问题上的意见越来越一致这是欧盟近年来有针对性地制定法律的另一个领域。这位官员说："我们看到欧盟法律（如《DMA》，又称《数字市场法》）与美国最近发起的反托拉斯案件之间有很多共同之处，"他补充说："我认为，在其中许多领域，毫无疑问存在着双赢的机会。"与此同时，美国商务部长吉娜-雷蒙多（Gina Raimondo）和英国技术国务大臣米歇尔-多纳兰（Michelle Donelan）周一在华盛顿签署的美英人工智能谅解备忘录指出，双方将致力于加快在一系列人工智能安全问题上的联合工作，包括国家安全领域以及更广泛的社会人工智能安全问题。英国科学、创新与技术部（DSIT）在一份新闻稿中表示，美英协议规定至少要对一个可公开访问的人工智能模型进行一次联合测试演练。它还建议两国各自的人工智能安全机构之间进行人员交流，以便在专业知识共享方面开展合作。根据美英协议，双方将就人工智能模型和系统的相关"能力和风险"以及"人工智能安全和保障的基础技术研究"进行更广泛的信息共享。DSIT的公关人员继续说："这将为人工智能安全测试的共同方法奠定基础，让大西洋两岸乃至全世界的研究人员能够围绕共同的科学基础进行合作。"去年夏天，在举办全球人工智能峰会之前，英国政府表示已获得美国人工智能巨头 Anthropic、DeepMind 和 OpenAI 的承诺，将"提前或优先提供"其人工智能模型，以支持评估和安全方面的研究。英国政府还宣布了一项斥资 1 亿英镑成立人工智能安全工作组的计划，并表示该工作组将专注于所谓的基础或前沿人工智能模型。与此同时，在去年11 月的英国人工智能峰会上，紧随美国发布人工智能行政令之后，雷蒙多宣布成立美国人工智能安全研究所，隶属于美国国家标准与技术研究院。目前，美国和英国都还没有提出有关人工智能安全的全面立法，而欧盟在人工智能安全立法方面仍然走在前面。但更多的跨境联合工作看来是必然的。相关文章:欧盟和美国寻求吸引发展中国家加入关键原材料伙伴关系美国和欧盟将合作利用人工智能寻找用于制造芯片的替代化学品 ... PC版： 手机版：

美英签署人工智能安全测试里程碑协议

美英签署人工智能安全测试里程碑协议 美国和英国签署了一项具有里程碑意义的人工智能协议，这两个盟国成为首批就如何测试和评估新兴人工智能模型风险进行正式合作的国家。英国科学大臣米歇尔•唐兰和美国商务部长吉娜•雷蒙多周一在华盛顿特区签署了这份协议，列出了两国政府将如何在人工智能安全方面汇集技术知识、信息和人才。该协议是全球首个关于人工智能安全的双边协议。该协议将特别使英国于去年11月成立的新人工智能安全研究所 (AISI) 和尚未开始工作的美国同类机构能够通过借调两国研究人员来交流专业知识。两家机构还将共同研究如何独立评估 OpenAI 和谷歌等公司建立的私人人工智能模型。

英国在旧金山设立办事处应对人工智能风险

英国在旧金山设立办事处应对人工智能风险 在本周晚些时候在韩国首尔举行的人工智能安全峰会之前，其共同主办国英国正在扩大自己在该领域的努力。人工智能安全研究所是一家于2023年11月成立的英国机构，其雄心勃勃的目标是评估和解决人工智能平台的风险。该研究所表示将在旧金山开设第二个地点。这个想法是为了更接近目前人工智能发展的中心，湾区是 OpenAI、Anthropic、谷歌和 Meta 等构建基础人工智能技术的公司的所在地。基础模型是生成人工智能服务和其他应用的基石，有趣的是，尽管英国已与美国签署了谅解备忘录，两国将在人工智能安全举措上进行合作，但英国仍选择投资在美国建立直接存在来解决这个问题。

美国参议院推动人工智能安全法案 旨在防止AI模型出现安全漏洞

美国参议院推动人工智能安全法案 旨在防止AI模型出现安全漏洞 该中心将领导研究法案中所说的"反人工智能"，即学习如何操纵人工智能系统的技术。该中心还将制定预防反人工智能措施的指南。该法案还将要求国家标准与技术研究院（NIST）和网络安全与基础设施安全局建立一个人工智能漏洞数据库，包括"近乎得手的漏洞"。华纳和蒂利斯提出的法案重点关注对抗人工智能的技术，并将其分为数据中毒、规避攻击、基于隐私的攻击和滥用攻击。数据中毒指的是在人工智能模型刮取的数据中插入代码，破坏模型输出的方法。它是防止人工智能图像生成器在互联网上复制艺术作品的一种流行方法。规避攻击会改变人工智能模型所研究的数据，以至于模型变得混乱。人工智能安全是拜登政府人工智能行政命令的关键项目之一，该命令指示美国国家标准与技术研究院（NIST）制定"红队"指导方针，并要求人工智能开发人员提交安全报告。所谓"红队"（red teaming），是指开发人员故意让人工智能模型对不应该出现的提示做出反应。理想情况下，人工智能模型的开发者会对平台进行安全测试，并在向公众发布之前对其进行广泛的红队测试。一些公司如微软已经创建了一些工具，帮助人工智能项目更容易地添加安全防护措施。《人工智能安全法案》在提交给更大范围的参议院审议之前，必须经过一个委员会的审议。 ... PC版： 手机版：