英国在旧金山设立办事处应对人工智能风险

英国在旧金山设立办事处应对人工智能风险 在本周晚些时候在韩国首尔举行的人工智能安全峰会之前，其共同主办国英国正在扩大自己在该领域的努力。人工智能安全研究所是一家于2023年11月成立的英国机构，其雄心勃勃的目标是评估和解决人工智能平台的风险。该研究所表示将在旧金山开设第二个地点。这个想法是为了更接近目前人工智能发展的中心，湾区是 OpenAI、Anthropic、谷歌和 Meta 等构建基础人工智能技术的公司的所在地。基础模型是生成人工智能服务和其他应用的基石，有趣的是，尽管英国已与美国签署了谅解备忘录，两国将在人工智能安全举措上进行合作，但英国仍选择投资在美国建立直接存在来解决这个问题。

美国和英国将合作测试人工智能安全威胁模型

美国和英国将合作测试人工智能安全威胁模型 两国人工智能安全研究所之间的协议立即生效。美国商务部长吉娜-雷蒙多（Gina Raimondo）表示，美国政府"致力于与其他国家发展类似的伙伴关系，在全球范围内促进人工智能安全"。雷蒙多在一份声明中说："这种合作关系将加速我们两家机构在各种风险方面的工作，无论是对我们的国家安全还是对我们更广泛的社会面。"通过该协议，两国承诺在技术研究、人员交流和信息共享方面开展合作。美国和英国的一个潜在合作伙伴是欧盟，欧盟通过了自己的人工智能系统使用全面法规。欧盟的人工智能法要求运行强大的人工智能模型的公司遵守安全标准。英国的人工智能安全研究所是在 11 月的全球人工智能峰会前夕成立的，包括美国副总统卡马拉-哈里斯在内的多位世界领导人在峰会上讨论了如何利用并在可能的情况下对该技术进行跨境监管。英国已经开始对一些模型进行安全测试，但目前还不清楚它是否能获得最近发布的版本。一些人工智能公司敦促英国人工智能安全研究所进一步明确时间表，以及在发现模型存在风险时的下一步措施。 ... PC版： 手机版：

英国机构发布测试人工智能模型安全性的工具

英国机构发布测试人工智能模型安全性的工具 英国人工智能安全机构英国安全研究所发布了一套工具集，旨在通过让行业、研究机构和学术界更容易开发人工智能评估来“加强人工智能安全”。该工具集名为 Inspect，可在开源许可证 (特别是 MIT 许可证) 下使用，旨在评估人工智能模型的某些功能，包括模型的核心知识和推理能力，并根据结果生成分数。英国安全研究所声表示，Inspect 标志着“首次由国家支持的机构牵头的人工智能安全测试平台发布以供更广泛使用”。Inspect 由三个基本组件组成：数据集、求解器和评分器。数据集为评估测试提供样本。求解器负责执行测试。评分器评估求解器的工作，并将测试中的分数汇总为指标。Inspect 的内置组件可以通过用 Python 编写的第三方包进行增强。   、、

英国安全研究所发布人工智能模型安全性测试工具

英国安全研究所发布人工智能模型安全性测试工具 在周五宣布这一消息的新闻稿中，安全研究所声称，Inspect 标志着"由国家支持的机构主导的人工智能安全测试平台首次被广泛使用"。安全研究所主席伊恩-霍加斯（Ian Hogarth）在一份声明中说："人工智能安全测试方面的成功合作意味着要有一个共享的、可访问的评估方法，我们希望Inspect能够成为一个基石。我们希望看到全球人工智能社区利用Inspect不仅开展自己的模型安全性测试，而且帮助调整和构建开源平台，以便我们能够全面开展高质量的评估。"众所周知，人工智能基准很难制定其中最重要的原因是，当今最复杂的人工智能模型几乎都是黑盒，其基础设施、训练数据和其他关键细节都被创建这些模型的公司保密。那么，Inspect 如何应对这一挑战呢？主要是通过可扩展的新测试技术。Inspect 由三个基本部分组成：数据集、求解器和评分器。数据集为评估测试提供样本。求解器负责执行测试。评分器负责评估求解器的工作，并将测试得分汇总为指标。可以通过用 Python 编写的第三方软件包来增强 Inspect 的内置组件。Mozilla 研究员、著名人工智能伦理学家德博拉-拉吉（Deborah Raj）在 X 上发表了一篇文章，称 Inspect "证明了对人工智能问责开源工具的公共投资的力量"。人工智能初创公司Hugging Face的首席执行官克莱门特-德朗格（Clément Delangue）提出了将Inspect与Hugging Face的模型库整合在一起，或利用工具集的评估结果创建一个公共排行榜的想法。Inspect 发布之前，美国政府机构国家标准与技术研究院（NIST）启动了NIST GenAI，该计划旨在评估各种生成式人工智能技术，包括文本和图像生成人工智能。NIST GenAI 计划发布基准，帮助创建内容真实性检测系统，并鼓励开发能识别虚假或误导性人工智能生成信息的软件。今年 4 月，美国和英国宣布建立合作伙伴关系，共同开发先进的人工智能模型测试，这是继去年 11 月英国在布莱切利公园举行的人工智能安全峰会上宣布承诺之后的又一合作。作为合作的一部分，美国打算成立自己的人工智能安全研究所，广泛负责评估人工智能和生成式人工智能的风险。 ... PC版： 手机版：

人工智能对人工智能生成的内容进行训练将导致人工智能崩溃

人工智能对人工智能生成的内容进行训练将导致人工智能崩溃 用于训练大型语言模型的数据最初来自人类来源，如书籍、文章、照片等，这些都是在没有人工智能的帮助下创建的。但随着越来越多的人使用人工智能来制作和发布内容，一个明显的问题出现了：当人工智能生成的内容在互联网上扩散时，人工智能模型开始对其进行训练。研究人员发现，“在训练中使用模型生成的内容会导致所产生的模型出现不可逆转的缺陷。”他们研究了文本到文本和图像到图像的人工智能生成模型的概率分布，得出结论：“从其他模型产生的数据中学习会导致模型崩溃 这是一个退化的过程，并且随着时间的推移，模型会忘记真正的基础数据分布。”他们观察到模型崩溃发生得如此之快：模型可以迅速忘记它们最初学习的大部分原始数据。这导致它们随着时间的推移，表现越来越差，错误越来越多。来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot