英国机构发布测试人工智能模型安全性的工具

英国机构发布测试人工智能模型安全性的工具英国人工智能安全机构英国安全研究所发布了一套工具集，旨在通过让行业、研究机构和学术界更容易开发人工智能评估来“加强人工智能安全”。该工具集名为Inspect，可在开源许可证(特别是MIT许可证)下使用，旨在评估人工智能模型的某些功能，包括模型的核心知识和推理能力，并根据结果生成分数。英国安全研究所声表示，Inspect标志着“首次由国家支持的机构牵头的人工智能安全测试平台发布以供更广泛使用”。Inspect由三个基本组件组成：数据集、求解器和评分器。数据集为评估测试提供样本。求解器负责执行测试。评分器评估求解器的工作，并将测试中的分数汇总为指标。Inspect的内置组件可以通过用Python编写的第三方包进行增强。 ——、、

美国和英国将合作测试人工智能安全威胁模型

美国和英国将合作测试人工智能安全威胁模型两国人工智能安全研究所之间的协议立即生效。美国商务部长吉娜-雷蒙多（GinaRaimondo）表示，美国政府"致力于与其他国家发展类似的伙伴关系，在全球范围内促进人工智能安全"。雷蒙多在一份声明中说："这种合作关系将加速我们两家机构在各种风险方面的工作，无论是对我们的国家安全还是对我们更广泛的社会面。"通过该协议，两国承诺在技术研究、人员交流和信息共享方面开展合作。美国和英国的一个潜在合作伙伴是欧盟，欧盟通过了自己的人工智能系统使用全面法规。欧盟的人工智能法要求运行强大的人工智能模型的公司遵守安全标准。英国的人工智能安全研究所是在11月的全球人工智能峰会前夕成立的，包括美国副总统卡马拉-哈里斯在内的多位世界领导人在峰会上讨论了如何利用并在可能的情况下对该技术进行跨境监管。英国已经开始对一些模型进行安全测试，但目前还不清楚它是否能获得最近发布的版本。一些人工智能公司敦促英国人工智能安全研究所进一步明确时间表，以及在发现模型存在风险时的下一步措施。...PC版：https://www.cnbeta.com.tw/articles/soft/1425987.htm手机版：https://m.cnbeta.com.tw/view/1425987.htm

美英签署人工智能安全测试里程碑协议

美英签署人工智能安全测试里程碑协议美国和英国签署了一项具有里程碑意义的人工智能协议，这两个盟国成为首批就如何测试和评估新兴人工智能模型风险进行正式合作的国家。英国科学大臣米歇尔•唐兰和美国商务部长吉娜•雷蒙多周一在华盛顿特区签署了这份协议，列出了两国政府将如何在人工智能安全方面汇集技术知识、信息和人才。该协议是全球首个关于人工智能安全的双边协议。该协议将特别使英国于去年11月成立的新人工智能安全研究所(AISI)和尚未开始工作的美国同类机构能够通过借调两国研究人员来交流专业知识。两家机构还将共同研究如何独立评估OpenAI和谷歌等公司建立的私人人工智能模型。——

英国将成为首个成立人工智能安全研究所的国家

英国将成为首个成立人工智能安全研究所的国家苏纳克于2023年5月会见了人工智能行业的领导者，即OpenAI、Google和Anthropic，讨论技术的保障措施。与唐宁街代表的会面为确保安全、负责任地发展人工通用智能（AGI）的倡议做了准备。苏纳克说："在安全可靠的情况下，人工智能有可能带来变革和经济增长。"在这一进展之后，英国政府宣布将于11月1日和2日举行人工智能安全峰会。此次峰会将汇聚人工智能公司、政府、民间团体和人工智能领域的专家，目标是考虑人工智能的风险，尤其是在发展前沿的风险讨论如何通过国际协调行动降低风险。此次峰会将重点关注前沿人工智能（FrontierAI），这是一类能力极强的基础模型，其性能与现有模型相当或更胜一筹。就在峰会召开前一周，英国首相在伦敦的一次演讲中宣布成立人工智能安全研究所，这在世界上尚属首次。根据苏纳克的说法，该研究所将"仔细评估和测试新型人工智能，以便我们了解新模型的能力"。英国政府还就前沿人工智能的风险以及人工智能攻击的规模和速度导致的网络安全漏洞发布了两份讨论文件。这两份文件警告说，在未来，我们可能会看到由人工智能进行和防御的网络攻击，而在每一个步骤中，人类的监督都会被最小化。...PC版：https://www.cnbeta.com.tw/articles/soft/1392513.htm手机版：https://m.cnbeta.com.tw/view/1392513.htm

英国AI安全研究所轻松越狱主要大语言模型

英国AI安全研究所轻松越狱主要大语言模型英国政府下属人工智能安全研究所(AISI)在一份新报告中指出，接受测试的四款未公开名字的大语言模型“极易受到基本越狱攻击”。一些未越狱的模型甚至在研究人员未尝试生成“有害输出”的情况下生成了这些输出。大多数公开可用的大语言模型都内置了某些保障措施，以防止它们产生有害或非法的反应；越狱简单地说就是欺骗模型，使其忽略这些保障措施。人工智能安全研究所使用最近标准化评估框架的提示词以及其内部开发的提示词进行测试。即使没有尝试越狱，这些模型也至少回答了一些有害的问题。而尝试“相对简单的攻击”，所有模型都对98%至100%的有害问题作出了回应。——

美国白宫发布人工智能行政命令 指示各机构制定安全指南

美国白宫发布人工智能行政命令指示各机构制定安全指南一些政府机构的任务是制定标准，防止利用人工智能设计生物材料，建立内容认证的最佳实践，并建立先进的网络安全计划。国家标准与安全研究所（NIST）将负责制定标准，以便在公开发布之前对人工智能模型进行"红队"测试，而能源部和国土安全部则负责应对人工智能对基础设施的潜在威胁，以及化学、生物、辐射、核和网络安全风险。OpenAI的GPT和Meta的Llama2等大型人工智能模型的开发者必须分享安全测试结果。拜登政府的一位高级官员在一次简报会上告诉记者，安全准则主要适用于未来的人工智能模型。这位官员说："我们不会召回公开的现有模型。现有模型仍需遵守已有的反歧视规则"。为了保护用户隐私，白宫呼吁国会通过数据隐私法规。该命令还寻求联邦政府支持开发"隐私保护"技术和科技。该命令的部分内容计划防止利用人工智能进行歧视，包括解决算法歧视问题，并确保在利用该技术进行判刑、假释和监控时的公平性。它还命令政府机构为房东、联邦福利计划和合同提供指导方针，说明如何防止人工智能加剧歧视。白宫还指示各机构解决失业问题，并就人工智能对劳动力市场的影响编写一份报告。白宫还希望鼓励更多工人在人工智能生态系统中工作，并下令启动国家人工智能研究资源，为学生和人工智能研究人员提供关键信息，并为小企业提供技术援助。它还指示政府迅速聘用人工智能专业人员。拜登政府首先发布了《人工智能权利法案》，概述了人工智能模型开发者应遵循的一系列原则。后来，这些原则被转化为白宫与Meta、Google、OpenAI、NVIDIA和Adobe等多家人工智能公司之间的一系列协议。需要注意的是，行政命令并不是永久性法律，一般只能在拜登执政期间有效。立法者仍在讨论如何监管人工智能，不过一些政治家表示，他们希望在今年年底前通过有关人工智能的法律。行业观察家说，行政命令至少在提供有关生成式人工智能的标准方面向前迈出了一步。CredoAI创始人、国家人工智能咨询委员会成员纳夫里娜-辛格（NavrinaSingh）说，行政命令是一个强烈的信号，表明美国对生成式人工智能是重视的。辛格说："这是目前最正确的举措，因为在立法还在讨论的时候，我们不能指望政策一开始就完美无缺。我相信，这确实表明人工智能是政府的重中之重。"...PC版：https://www.cnbeta.com.tw/articles/soft/1393197.htm手机版：https://m.cnbeta.com.tw/view/1393197.htm