NIST 推出评估生成式人工智能的新平台

NIST推出评估生成式人工智能的新平台NIST在新推出的NISTGenAI网站和一份新闻稿中解释说，NISTGenAI将发布基准，帮助创建"内容真实性"检测（即深度验假）系统，并鼓励开发软件来识别人工智能生成的虚假或误导性信息的来源。"NISTGenAI计划将发布一系列挑战问题，[旨在]评估和衡量生成式人工智能技术的能力和局限性。这些评估将用于确定促进信息完整性的策略，并指导安全、负责任地使用数字内容"。NISTGenAI的第一个项目是一项试点研究，目的是建立能够可靠区分人类创建的媒体和人工智能生成的媒体的系统，首先从文本开始。(虽然许多服务都声称可以检测深度伪造，但研究和测试表明，它们充其量只能说是不可靠的，尤其是在文本方面）。NISTGenAI邀请学术界、工业界和研究实验室的团队提交"生成器"（生成内容的人工智能系统）或"鉴别器"（旨在识别人工智能生成内容的系统）。研究中的生成器必须生成250字或更少的摘要，提供一个主题和一组文档，而判别器必须检测给定摘要是否可能是人工智能编写的。为确保公平，NISTGenAI将提供测试生成器所需的数据。NIST表示："以公开数据训练的系统如果不"遵守适用的法律法规"，将不被接受。试点登记将于5月1日开始，第一轮两家计划于8月2日结束。预计研究的最终结果将于2025年2月公布。在人工智能生成的错误信息和虚假信息呈指数级增长之际，NISTGenAI启动了以深度伪造为重点的研究。根据深度假货检测公司Clarity的数据，与去年同期相比，今年制作和发布的深度假货数量增加了900%。这引起了人们的恐慌，这是可以理解的。YouGov最近的一项民意调查发现，85%的美国人担心误导性的深度假新闻会在网上传播。NISTGenAI的启动是NIST响应乔-拜登总统关于人工智能的行政命令的一部分，拜登总统的行政命令规定，要求人工智能公司在其模型如何工作方面提高透明度，并制定了一系列新标准，包括对人工智能生成的内容进行标注。这也是NIST在任命前OpenAI研究员保罗-克里斯蒂亚诺（PaulChristiano）为该机构的人工智能安全研究所成员后，首次发布与人工智能相关的消息。克里斯蒂亚诺因其"现实主义"观点而备受争议；他曾预言，"人工智能的发展有50%的可能以[人类毁灭]而告终"。据报道，包括美国国家标准与技术研究院（NIST）科学家在内的批评人士担心，克里斯蒂亚诺可能会鼓励人工智能安全研究所关注"幻想的场景"，而不是现实的、更直接的人工智能风险。NIST表示，NISTGenAI将为人工智能安全研究所的工作提供参考。...PC版：https://www.cnbeta.com.tw/articles/soft/1429139.htm手机版：https://m.cnbeta.com.tw/view/1429139.htm