《生成式人工智能服务安全基本要求》公开征求意见

《生成式人工智能服务安全基本要求》公开征求意见 据全国信息安全标准化技术委员会网站，该会组织制定的技术文件《生成式人工智能服务安全基本要求》（下称《要求》）已于10月11日形成征求意见稿，现将技术文件面向社会公开征求意见，如有意见或建议，需在10月25日24:00前反馈。《要求》提出，建立语料来源黑名单，不得使用黑名单来源的数据进行训练。应对各来源语料进行安全评估，单一来源语料内容含违法不良信息超5%应将其加入黑名单。应使用包含个人信息的语料时，获得对应个人信息主体的授权同意，或满足其他合法使用该个人信息的条件。应使用包含人脸等生物特征信息的语料时，获得对应个人信息主体的书面授权同意，或满足其他合法使用该生物特征信息的条件。在训练过程中，应将生成内容安全性作为评价生成结果优劣的主要考虑指标之一。 来源：

中国信息安全标委会发布《生成式人工智能服务安全基本要求》公开征求意见

中国信息安全标委会发布《生成式人工智能服务安全基本要求》公开征求意见 据全国信息安全标准化技术委员会网站，该会组织制定的技术文件《生成式人工智能服务安全基本要求》（下称《要求》）已于10月11日形成征求意见稿，现将技术文件面向社会公开征求意见，如有意见或建议，需在10月25日24:00前反馈。 《要求》提出，建立语料来源黑名单，不得使用黑名单来源的数据进行训练。应对各来源语料进行安全评估，单一来源语料内容含违法不良信息超5%应将其加入黑名单。 应使用包含个人信息的语料时，获得对应个人信息主体的授权同意，或满足其他合法使用该个人信息的条件。 应使用包含人脸等生物特征信息的语料时，获得对应个人信息主体的书面授权同意，或满足其他合法使用该生物特征信息的条件。 在训练过程中，应将生成内容安全性作为评价生成结果优劣的主要考虑指标之一。 、

微软和Google宣布为生成式人工智能服务提供新的儿童安全承诺

微软和Google宣布为生成式人工智能服务提供新的儿童安全承诺 这两家公司和其他公司与两个团体合作，提出了这些新的承诺。一个名为"Thorn"，是一个致力于打击儿童性虐待的非营利组织。另一个名为"所有科技都应以人为本"（All Tech Is Human），旨在帮助创建一个"负责任的科技生态系统"。微软在博文中表示，它将开发生成式人工智能模型，这些模型将不会在包含儿童性或剥削性内容的数据集上进行训练。这也将有助于保护这些模型在发布后免受此类内容的影响。博文补充道：今天的承诺标志着在防止滥用人工智能技术制作或传播儿童性虐待材料（AIG-CSAM）和其他形式的儿童性伤害方面迈出了重要一步。这一集体行动彰显了科技行业对儿童安全的重视，表明了对道德创新和社会最弱势群体福祉的共同承诺。Google在博文中提到的儿童安全承诺与微软 在其人工智能服务方面所做的一些承诺如出一辙。Google补充说，它有自己的团队专门负责查找显示儿童可能面临危险的内容，此外他们还表示，正试图通过"哈希匹配技术、人工智能分类器和人工审核的结合"来查找和删除涉及儿童性虐待和性剥削的内容。最后，Google宣布支持美国国会关于保护儿童免受虐待和剥削的一系列法案。 ... PC版： 手机版：

网信办就《生成式人工智能服务管理办法》征求意见： 提供服务前应向国家网信部门申报安全评估； 生成式人工智能生成的内容应当体现社会

网信办就《生成式人工智能服务管理办法》征求意见： 提供服务前应向国家网信部门申报安全评估； 生成式人工智能生成的内容应当体现社会主义核心价值观，不得含有颠覆国家政权、推翻社会主义制度，煽动分裂国家、破坏国家统一，宣扬恐怖主义、极端主义，宣扬民族仇恨、民族歧视，暴力、淫秽色情信息，虚假信息，以及可能扰乱经济秩序和社会秩序的内容。 生成式AI的输出结果会存在因为训练数据集和算法局限而造成的偏差与错误，若管理办法落地，服务提供商的内部和外部的监管成本会相应升高。

NIST 推出评估生成式人工智能的新平台

NIST 推出评估生成式人工智能的新平台 NIST 在新推出的 NIST GenAI网站和一份新闻稿中解释说，NISTGenAI将发布基准，帮助创建"内容真实性"检测（即深度验假）系统，并鼓励开发软件来识别人工智能生成的虚假或误导性信息的来源。"NIST GenAI 计划将发布一系列挑战问题，[旨在]评估和衡量生成式人工智能技术的能力和局限性。这些评估将用于确定促进信息完整性的策略，并指导安全、负责任地使用数字内容"。NIST GenAI 的第一个项目是一项试点研究，目的是建立能够可靠区分人类创建的媒体和人工智能生成的媒体的系统，首先从文本开始。(虽然许多服务都声称可以检测深度伪造，但研究和测试表明，它们充其量只能说是不可靠的，尤其是在文本方面）。NIST GenAI 邀请学术界、工业界和研究实验室的团队提交"生成器"（生成内容的人工智能系统）或"鉴别器"（旨在识别人工智能生成内容的系统）。研究中的生成器必须生成 250 字或更少的摘要，提供一个主题和一组文档，而判别器必须检测给定摘要是否可能是人工智能编写的。为确保公平，NIST GenAI 将提供测试生成器所需的数据。NIST 表示："以公开数据训练的系统如果不"遵守适用的法律法规"，将不被接受。试点登记将于 5 月 1 日开始，第一轮两家计划于 8 月 2 日结束。 预计研究的最终结果将于 2025 年 2 月公布。在人工智能生成的错误信息和虚假信息呈指数级增长之际，NIST GenAI 启动了以深度伪造为重点的研究。根据深度假货检测公司Clarity 的数据，与去年同期相比，今年制作和发布的深度假货数量增加了 900%。这引起了人们的恐慌，这是可以理解的。 YouGov 最近的 一项民意调查 发现，85% 的美国人担心误导性的深度假新闻会在网上传播。NIST GenAI 的启动是 NIST 响应乔-拜登总统关于人工智能的行政命令的一部分，拜登总统的行政命令规定，要求人工智能公司在其模型如何工作方面提高透明度，并制定了一系列新标准，包括对人工智能生成的内容进行标注。这也是 NIST 在任命前 OpenAI 研究员保罗-克里斯蒂亚诺（Paul Christiano）为该机构的人工智能安全研究所成员后，首次发布与人工智能相关的消息。克里斯蒂亚诺因其"现实主义"观点而备受争议；他曾预言，"人工智能的发展有50%的可能以[人类毁灭]而告终"。据报道，包括美国国家标准与技术研究院（NIST）科学家在内的批评人士担心，克里斯蒂亚诺可能会鼓励人工智能安全研究所关注"幻想的场景"，而不是现实的、更直接的人工智能风险。NIST 表示，NIST GenAI 将为人工智能安全研究所的工作提供参考。 ... PC版： 手机版：

人工智能对人工智能生成的内容进行训练将导致人工智能崩溃

人工智能对人工智能生成的内容进行训练将导致人工智能崩溃 用于训练大型语言模型的数据最初来自人类来源，如书籍、文章、照片等，这些都是在没有人工智能的帮助下创建的。但随着越来越多的人使用人工智能来制作和发布内容，一个明显的问题出现了：当人工智能生成的内容在互联网上扩散时，人工智能模型开始对其进行训练。研究人员发现，“在训练中使用模型生成的内容会导致所产生的模型出现不可逆转的缺陷。”他们研究了文本到文本和图像到图像的人工智能生成模型的概率分布，得出结论：“从其他模型产生的数据中学习会导致模型崩溃 这是一个退化的过程，并且随着时间的推移，模型会忘记真正的基础数据分布。”他们观察到模型崩溃发生得如此之快：模型可以迅速忘记它们最初学习的大部分原始数据。这导致它们随着时间的推移，表现越来越差，错误越来越多。来源 ， 来自：雷锋 频道：@kejiqu 群组：@kejiquchat 投稿：@kejiqubot