微软向公众发布内部生成式AI红队工具

微软向公众发布内部生成式AI红队工具 本周四，微软发布了用于生成式人工智能的 Python 风险识别工具包（PyRIT），微软的人工智能红队一直在使用该工具检查包括Copilot 在内的基因人工智能系统的风险。博文称，在过去的一年中，微软与 60 多个高价值的基因人工智能系统进行了红组，从中了解到这些系统的红组过程与经典人工智能或传统软件有很大不同。这一过程看起来有所不同，因为微软除了要考虑通常的安全风险外，还要考虑负责任的人工智能风险，例如确保不会故意生成有害内容，或确保模型不会输出虚假信息。此外，基因人工智能模型的架构千差万别，同样的输入可能产生不同的结果，因此很难找到一个适合所有模型的简化流程。因此，手动探测所有这些不同的风险最终会成为一个耗时、乏味和缓慢的过程。微软分享说，自动化可以帮助红色团队识别需要更多关注的风险领域，并将常规任务自动化，这正是 PyRIT 的用武之地。该工具包"经过了微软人工智能团队的实战检验"，它向生成式人工智能系统发送恶意提示，一旦收到回应，其评分代理就会给系统打分，然后根据之前的评分反馈发送新的提示。微软表示，PyRIT 的最大优势在于它帮助微软红人团队提高了工作效率，大大缩短了任务所需的时间。微软在新闻稿中说："例如，在我们对 Copilot 系统进行的一次红队演习中，我们能够选择一个危害类别，生成几千个恶意提示，并使用 PyRIT 的评分引擎来评估 Copilot 系统的输出，这一切只需要几个小时而不是几周的时间。"该工具包即日起可供访问，其中包括一系列演示，帮助用户熟悉该工具： PyRIT的网络研讨会，演示如何在红队生成式人工智能系统中使用 PyRIT。 ... PC版： 手机版：

微软总裁布拉德·史密斯概述了打击"滥用AI生成的内容"的方针

微软总裁布拉德·史密斯概述了打击"滥用AI生成的内容"的方针 今天，微软总裁布拉德-史密斯（Brad Smith）在公司官方博客上发表了一篇文章。虽然他没有提到泰勒-斯威夫特（Taylor Swift）的深度伪造图片，也没有提到据称在创建这些图片时使用了微软 Designer，但史密斯表示，公司看到"坏人滥用这些新人工智能工具的现象正在迅速扩大"。史密斯概述了微软将重点关注的六个具体领域，以打击这类"滥用人工智能生成的内容"。首先是通过阻止特定文本提示、测试和快速禁止滥用这些工具的用户等活动，帮助提高这些工具的安全使用。微软正在研究的另一个领域是帮助识别人工智能生成的内容。史密斯表示：我们已经在必应和 Copilot 的Microsoft Designer 图像创建工具中使用了出处技术，我们正在将媒体出处扩展到我们所有创建或处理图像的工具中。公司正在研究未来的"水印和指纹技术"，并努力从 LinkedIn 等服务和 Xbox 等游戏服务中删除滥用人工智能的内容。史密斯说，微软还希望与科技行业的其他企业以及执法部门合作，共同打击基于人工智能的深度伪造行为，希望与世界各国政府合作制定新的法律来禁止此类内容。与此同时，微软希望帮助教育公众识别为欺骗人们而制作的深度伪造内容，这"需要新的公众教育工具和计划"，向他们展示哪些内容是真实的，哪些是虚假的。博客全文翻译如下：每天，数以百万计的人使用强大的人工智能生成工具来提升他们的创造力。在许多方面，人工智能将为我们所有人创造令人兴奋的机会，让新创意焕发生机。但是，随着这些新工具从微软和整个科技领域推向市场，我们必须采取新的措施，确保这些新技术不会被滥用。技术发展史早已证明，创造力并不局限于怀有良好愿望的人。不幸的是，工具也会变成武器，而这种模式正在重演。目前，我们正目睹坏人滥用这些新的人工智能工具，包括通过人工智能生成的视频、音频和图像进行深度伪造的行为迅速扩张。这一趋势对选举、金融欺诈、非自愿色情骚扰以及新一代网络欺凌构成了新的威胁。我们需要紧急行动起来，解决所有这些问题。令人鼓舞的是，作为一个行业，我们可以从邻近领域的经验中学到很多东西在推进网络安全、促进选举安全、打击暴力极端主义内容和保护儿童方面。作为一家技术公司，我们致力于在六个重点领域采取强有力的综合方法，保护人民和我们的社区：强大的安全架构。我们致力于采用以设计安全为基础的综合技术方法。根据不同的场景，需要在人工智能平台、模型和应用层面应用强大的安全架构。它包括持续的红队分析、先发制人的分类器、阻止滥用提示、自动测试以及快速禁止滥用系统的用户等方面。它需要以强大而广泛的数据分析为基础。微软已经建立了完善的架构，并通过我们的《负责任的人工智能和数字安全标准》分享了我们的学习成果，但随着技术的发展，我们显然需要在这些领域继续创新。持久的媒体出处和水印。这对于打击视频、图像或音频中的深度伪造至关重要。去年，我们在 Build 2023 大会上发布了媒体出处功能，该功能使用加密方法对人工智能生成的内容进行标记和签名，并附带有关其来源和历史的元数据。微软与其他领先公司一起，一直是验证出处方法研发领域的领导者，包括作为原产地项目（Project Origin）和内容出处与真实性联盟（Coalition for Content Provenance and Authenticity，C2PA）标准机构的共同创始人。就在上周，Google和 Meta 在支持 C2PA 方面迈出了重要的一步，我们对此表示赞赏和称赞。我们已经在必应和 Copilot 中的Microsoft Designer图像创建工具中使用了出处技术，我们正在将媒体出处扩展到我们所有创建或处理图像的工具中。我们还在积极探索有助于加强来源技术的水印和指纹技术。我们致力于不断创新，帮助用户快速确定图像或视频是否由人工智能生成或处理。保护我们的服务免受辱骂内容和行为的侵害。我们致力于保护言论自由。但这不应该保护那些试图伪造他人声音以诈骗老年人钱财的个人。这不应延伸至篡改政治候选人的行为或言论以欺骗公众的深度伪造行为。它也不应庇护网络恶霸或未经同意的色情制品的传播者。我们致力于识别并删除我们托管的消费者服务（如 LinkedIn、我们的游戏网络和其他相关服务）中的此类欺骗性和滥用性内容。跨行业以及与政府和民间社会的紧密合作。虽然每家公司都要对自己的产品和服务负责，但经验表明，当我们共同努力建立一个更安全的数字生态系统时，我们的工作往往会做得最好。我们致力于与技术领域的其他公司合作，包括在生成式人工智能和社交媒体领域。我们还致力于与民间团体积极合作，并与政府开展适当的合作。在前进的道路上，我们将借鉴我们在"克赖斯特彻奇呼吁"中打击暴力极端主义的经验，通过数字犯罪部门与执法部门合作，以及通过"我们保护全球联盟"和更广泛的方式更好地保护儿童。我们致力于在整个技术部门并与其他利益相关团体一起采取新的举措。推动立法，保护人们免受技术滥用之害。显然，其中一些新威胁需要制定新的法律和执法部门做出新的努力。我们期待献计献策，支持世界各国政府的新举措，从而更好地保护人们的网络安全，同时尊重保护言论自由和个人隐私等永恒的价值观。公众意识和教育。最后，强大的国防需要公众的充分知情。随着21世纪第二季度的到来，大多数人都已认识到，不能相信在互联网（或其他任何地方）上读到的一切。好奇心和怀疑精神的完美结合是每个人的重要生活技能。同样，我们需要帮助人们认识到，不能轻易相信你看到的每一个视频或听到的每一个音频。我们需要帮助人们学会如何辨别合法内容和虚假内容的区别，包括水印。这将需要新的公众教育工具和计划，包括与民间社会和全社会的领导人密切合作。归根结底，这一切都不容易。这需要我们每天付出艰苦但不可或缺的努力。但是，只要我们共同致力于创新与合作，我们相信，我们一定能够齐心协力，确保技术在保护公众的能力方面保持领先。这或许比以往任何时候都更应该成为我们的集体目标。 ... PC版： 手机版：

微软CEO：要人有人要能力有能力 AI竞赛“默认赢家”本来应该是谷歌

微软CEO：要人有人要能力有能力 AI竞赛“默认赢家”本来应该是谷歌 纳德拉认为：“谷歌是一家极具能力的公司，他们不仅拥有顶尖人才和强大的计算资源，还具备从数据处理到芯片开发，再到模型建立和产品推广的垂直整合能力。”它理应在人工智能领域取得领先。然而，现实并非如此。谷歌在人工智能赛道上并未如期展现其潜力。最近，由于Gemini图像生成器发布不顺，谷歌首席执行官桑达尔·皮查伊（Sundar Pichai）面临下台的呼声。上月社交媒体用户指出这款AI工具在生成历史人物上并不准确。一位谷歌高层称，这场“公关灾难”不仅损害了谷歌的声誉，还迫使公司在人工智能产品方面急于追赶竞争对手。更有谷歌一名高级工程师去年在泄露的内部文件中表示，谷歌在这场人工智能竞赛中“并未做好准备胜出”。相较而言，微软在人工智能领域则掌握了主导权。韦德布什证券（Wedbush Securities）的科技分析师丹·艾夫斯（Dan Ives）去年就指出，微软已展现出其强劲实力。通过与OpenAI的合作，并投入上百亿美元，微软迅速从ChatGPT的成功中受益。同时，微软还推出了人工智能生产力工具365 Copilot，用于支持Office和Excel。然而，微软在推出其文生图工具Copilot Designer时也遇到了挑战。这款软件大约一年前首次发布，但随后引发了对其生成内容可能引起的黄色、暴力和偏见“有害内容”的担忧。随后纳德拉在世界银行的全球数字峰会上承认，减少人工智能带来的“意外问题”的技术并非完美。当被问及如何减轻人工智能可能带来的风险和担忧时，纳德拉回应说：“这一切都不是完美的我们讨论的是一种可能会面临对抗性攻击的新技术。”微软和谷歌没有立即回应置评请求。 ... PC版： 手机版：

微软发布首份年度人工智能透明度报告

微软发布首份年度人工智能透明度报告 所有这些活动也让许多人感到担忧，认为像微软 开发的人工智能工具可能会被用于不道德或非法行为。今天，微软在一篇博客文章中宣布，它已经发布了第一份计划中的年度透明度报告，介绍其目前负责任的人工智能实践。微软总裁 Brad Smith 在博文中表示：这份报告使我们能够分享我们日趋成熟的实践，反思我们所学到的东西，规划我们的目标，对自己负责，并赢得公众的信任。八年来，我们一直在负责任的人工智能领域不断创新，在发展我们的计划的同时，我们也从过去的经验中吸取教训，不断改进。这份PDF格式的报告详细介绍了微软 在多个领域为其服务提供负责任的人工智能实践，并对员工进行了使用培训。报告指出：2023 年版的《商业行为标准》培训是全公司必修的商业道德课程，涵盖了我们的员工用于安全开发和部署人工智能的资源。截至 2023 年 12 月 31 日，99% 的员工完成了这一课程，包括负责任的人工智能模块。微软还成立了负责任的人工智能委员会，定期召开会议，目的是不断改进工作，确保人工智能服务的安全。公司还有一个"负责任的人工智能冠军"计划，要求其成员发现并解决人工智能产品中存在的问题，并就负责任的做法向其他成员提供指导。报告还举例说明了负责任的人工智能程序如何影响其产品的创建和开发。其中一个例子涉及微软 Designer，这款人工智能图像创建应用程序据说被不明人士用来制作流行歌手泰勒-斯威夫特（Taylor Swift）的露骨"深度伪造"图像，后来在互联网上疯传。微软说，它要求新闻团体 NewsGuard 在 Designer 中输入提示，"创建强化或描绘与政治、国际事务和选举有关的突出虚假叙述的视觉效果"。结果，在 Designer 创建的图片中，有 12%"包含有问题的内容"。微软对 Designer 进行了修改，试图避免出现这些图片，效果是有问题图片的数量降到了3.6%。了解更多： ... PC版： 手机版：

微软吹哨人继续对其Designer AI图像创建器敲响警钟

微软吹哨人继续对其Designer AI图像创建器敲响警钟 据 CNBC 报道，琼斯今天向美国联邦贸易委员会主席莉娜-汗（Lina Khan）发出了新的信件，同时还向微软董事会发出了另一封信。在给汗的信中，琼斯声称他已经敦促微软将 Designer 从公众使用中移除几个月，直到新的、更好的防护措施到位为止。琼斯声称，微软拒绝下架"Designer"，因此他现在要求公司对"Designer"可以创建的内容进行新的披露，并更改 Android 应用程序的评级，使其不再被评为 E 级（面向所有人）。琼斯声称他在 Designer 中输入了"Pro-choice"（支持选择），随后 Designer 制作了大量暴力卡通形象。CNBC 观看了这些图像，其中包括一个长着尖牙的恶魔正准备吃掉一个婴儿，达斯-维达手持光剑，旁边是变异的婴儿，还有一个标有"支持选择"的手持钻头状装置正被用于一个完全长大的婴儿。琼斯还声称，"Designer"可以用来制作迪斯尼公司基于版权的人物形象。文章称，它看到的图片包括"星球大战品牌的百威淡啤罐头和白雪公主的肖像在汽水上"。在发给 CNBC 的一份声明中，微软发言人表示，微软感谢公司员工为测试其技术和服务所做的努力，以帮助他们更安全地使用这些技术和服务。该发言人补充道：当涉及到可能对我们的服务或合作伙伴产生潜在影响的安全绕过或担忧时，我们已经建立了强大的内部报告渠道，以妥善调查和补救任何问题，我们鼓励员工利用这些渠道，以便我们能够适当地验证和测试他们的担忧。今年 2 月，Google关闭了双子座人工智能聊天机器人中使用的人工智能图像生成器，因为发现它可能被用于创建具有种族攻击性的图像。该公司表示，它正在设置新的防护措施，以便该功能恢复后不会再生成同样的图片。在琼斯提出这些新说法的同时，反数字仇恨中心（Center for Countering Digital Hate）的最新研究表明，包括微软在内的人工智能艺术制作者可以轻易地被用来制作旨在制造有关选举和候选人的虚假信息的图像。 ... PC版： 手机版：

OpenAI考虑允许人们通过AI生成色情图片 但不能伪造他人

OpenAI考虑允许人们通过AI生成色情图片 但不能伪造他人 OpenAI 似乎已经了解到用户可能对通过人工智能生成色情图片有着期望，因此需要探索能否在负责任的前提下，在适合年龄的环境中生成 NSFW 内容。需要强调的是 OpenAI 考虑的不仅是文本生成图片，按照讨论诸如利用 ChatGPT 生成色情类的文本内容也是可以的，当然这都可能需要验证年龄确保用户在已经成年的情况下使用。 对于生成图片类，尽管 OpenAI 考虑允许使用人工智能生成色情图片 (甚至包括未来使用 OpenAI Sora 模型生成色情视频)，但前提是不得使用深度伪造 (DeepFake)，即用户不得生成用来伪造他人色情内容的图片。 现阶段这些还是讨论，该公司希望确保用户在不违反法律或他人权利的情况下，最大程度的拥有控制权、可以生成自己想要的任何内容而不会被限制。另外 OpenAI 强调讨论这些内容不代表该公司已经在尝试开发人工智能色情相关的内容，所以要等讨论结束后 OpenAI 才会做决定，即是否放开这类限制。来源 ， 频道：@kejiqu 群组：@kejiquchat