AI比核武器还危险？ChatGPT为此建立了一支“红队”

AI比核武器还危险？ChatGPT为此建立了一支“红队”去年，OpenAI聘请了50名学者和专家来测试最新GPT-4模型。在六个月的时间里，这支“红队”将“定性探测和对抗性测试”新模型，试图“攻破”它。神经毒剂美国罗切斯特大学的化学工程教授安德鲁·怀特(AndrewWhite)就是OpenAI聘请的专家之一。当他获准访问GPT-4后，他用它来推荐一种全新的神经毒剂。怀特称，他曾让GPT-4推荐一种可以充当化学武器的化合物，并使用“插件”为模型提供新的信息来源，例如科学论文和化学品制造商名录。接着，GPT-4甚至找到了制造它的地方。马斯克称AI比核武器还危险“我认为，它会让每个人都拥有一种工具，可以更快、更准确地做化学反应，”他表示，“但人们也存在重大风险……做危险的化学反应。现在，这种情况确实存在。”这一令人担忧的发现使得OpenAI能够确保在上个月更广泛地向公众发布GPT-4时，不会出现上述危险结果。红队演练红队演练旨在解决人们对于在社会中部署强大AI系统所产生危险的普遍担忧。该团队的工作是提出探索性或危险的问题以测试工具，后者能够以详细而又细致的答案回应人类的查询。OpenAI希望在模型中找出毒性、偏见和语言偏见等问题。因此，红队测试了谎言、语言操纵和危险的科学常识。他们还研究了GPT-4在协助和教唆剽窃、金融犯罪和网络攻击等非法活动方面的潜力，以及它如何危害国家安全和战场通信。这支团队兼顾了各个领域的白领专业人士，包含学者、教师、律师、风险分析师和安全研究人员，主要工作地点在美国和欧洲。他们的发现被反馈给了OpenAI，后者在更广泛地发布GPT-4之前用这些发现来降低它的危险性，并“重新训练”。在几个月的时间里，专家们每人花了10小时到40个小时来测试这个模型。多位受访者表示，大部分人的时薪约为100美元。红队成员对于语言模型的快速发展，特别是通过插件将它们连接到外部知识来源的风险，都表示了担忧。“现在，该系统被冻结了，这意味着它不再学习，也不再有记忆，”GPT-4红队成员、瓦伦西亚AI研究所教授乔斯·赫楠蒂兹·奥拉罗(JoséHernández-Orallo)表示，“但如果我们让它连接到互联网呢？它可能成为一个与世界相连的非常强大的系统。”OpenAI表示，该公司非常重视安全性，在发布前对插件进行了测试。随着越来越多的人使用GPT-4，该公司将定期更新它。技术和人权研究员罗亚·帕克扎德(RoyaPakzad)使用英语和波斯语提示来测试该模型的性别反应、种族偏好和宗教偏见，特别是在头巾方面。帕克扎德承认，这种工具对非英语母语者有好处，但他发现，即使在后来的版本中，该模型也显示出对边缘化社区的明显刻板印象。她还发现，在用波斯语测试模型时，所谓的AI“幻觉”会更严重。“幻觉”指的是聊天机器人用编造的信息进行回应。与英语相比，GPT-4在波斯语中虚构的名字、数字和事件的比例更高。“我担心语言多样性和语言背后的文化可能会减少。”她表示。内罗毕律师博鲁·戈鲁(BoruGollu)是红队中的唯一非洲测试者，他也注意到模型带有歧视性的语气。“在我测试这个模型的时候，它就像一个白人在跟我说话，”戈鲁表示，“如果你问一个特定的群体，它会给你一个带有偏见的观点或非常有偏见的回答。”OpenAI也承认，GPT-4仍然存在偏见。红队成员从国家安全角度评估模型，对新模型的安全性有不同的看法。外交关系委员会研究员劳伦·卡恩(LaurenKahn)表示，当她开始研究该技术可能如何被用于对军事系统发动网络攻击时，她“没想到它会如此详细地描述过程，以至于我只需微调”。不过，卡恩和其他安全测试人员发现，随着测试的推进，模型的反应变得非常安全了。OpenAI表示，在GPT-4推出之前，该公司对其进行了拒绝恶意网络安全请求的训练。红队的许多成员表示，OpenAI在发布前已经做了严格的安全评估。卡内基梅隆大学语言模型毒性研究专家马丁·萨普(MaartenSap)表示：“他们在消除这些系统中明显的毒性方面做得相当不错。”萨普检查了该模型对不同性别的描述，发现这些偏见反映了社会差异。然而，萨普也发现，OpenAI做出了一些积极的带有政治色彩的选择来对抗这种情况。然而，自GPT-4推出以来，OpenAI面临广泛批评，包括一个技术道德组织向美国联邦贸易委员会投诉称，GPT-4“有偏见、具有欺骗性，对隐私和公共安全构成威胁”。插件风险最近，OpenAI推出了一项名为ChatGPT插件的功能。借助该功能，Expedia、OpenTable和Instacart等合作伙伴的应用可以让ChatGPT访问他们的服务，允许它代表人类用户预订和订购商品。插件会让ChatGPT更强大红队的人工智能安全专家丹·亨德里克斯(DanHendrycks)表示，插件会让“圈外人”面临风险。“如果聊天机器人可以把你的私人信息发布到网上，进入你的银行账户，或者派警察到你家里去，到时会怎样?”他表示，“总的来说，在我们让人工智能发挥互联网的力量之前，我们需要更强有力的安全评估。”受访者还警告说，OpenAI不能仅仅因为其软件已经上线就停止安全测试。在乔治城大学安全和新兴技术中心工作的希瑟·弗雷斯(HeatherFrase)对GPT-4协助犯罪的能力进行了测试。她说，随着越来越多的人使用这项技术，风险将继续增加。“你之所以做操作测试，就是因为一旦它们在真实环境中实际使用，它们的表现就不同了。”弗雷斯表示。她认为，应该创建一个公共账本，以报告由大型语言模型引起的事件，类似于网络安全或消费者欺诈报告系统。劳动经济学家兼研究员莎拉·金斯利(SaraKingsley)建议，最好的解决办法是像“营养成分标签”那样，清楚地宣传其危害和风险。“要有一个框架，知道经常出现的问题是什么，这样你就有了一个安全阀，”她说，“这就是为什么我说工作永远做不完的原因。”...PC版：https://www.cnbeta.com.tw/articles/soft/1354795.htm手机版：https://m.cnbeta.com.tw/view/1354795.htm

AI系统红队测试方法：提升AI系统安全性与可靠性的关键工具，通过对抗性测试技术识别潜在漏洞，为AI开发者、政策制定者和组织提供了

：提升AI系统安全性与可靠性的关键工具，通过对抗性测试技术识别潜在漏洞，为AI开发者、政策制定者和组织提供了多样化的红队测试方法和实践案例，以促进AI测试生态系统的健康发展-红队测试是评估AI系统安全性和可靠性的重要工具，通过对技术系统进行对抗性测试来识别潜在漏洞。-AI领域目前红队测试方法不统一，使得很难客观比较不同AI系统的相对安全性。需要建立系统性红队测试的共识和标准。-文章介绍了多种红队测试方法，每种都有自己的优势和挑战，可以整合到从定性到定量的迭代测试流程中。-域专家红队可以利用专业知识识别复杂的上下文相关风险。可扩展到不同语言和文化背景的测试。-使用语言模型自动生成对抗样本可以提高测试效率。可以建立红队蓝队框架，迭代提升系统鲁棒性。-多模态红队测试可以识别新模态带来的风险。公开的社区红队测试可以汇集更广泛的观点。-红队结果可以转化为定量评估指标，并围绕其不断改进系统。需要政策支持红队测试的标准化和采纳。-红队测试是确保AI系统安全的重要手段之一。需要多个利益相关方参与，建立行业共识，推动AI的负责任发展。

GPT-4发布前，OpenAI曾雇各行专家开展“对抗性测试”以规避歧视等问题

GPT-4发布前，OpenAI曾雇各行专家开展“对抗性测试”以规避歧视等问题在安德鲁·怀特(AndrewWhite)获得权限调用人工智能聊天机器人背后的新模型GPT-4后，他利用其提出了一种全新的神经毒剂。作为罗切斯特大学的化学工程教授，怀特是OpenAI去年聘请的50名学者和专家之一，他们共同组成了OpenAI的“蓝军”团队。在六个月的时间里，“蓝军”成员将对新模型进行“定性探测和对抗性测试”，看能否攻破GPT-4。怀特表示，他使用GPT-4提出一种可以用作化学毒剂的化合物，还引入诸如科学论文和化学品制造商名目等能为新语言模型提供信息来源的各种“插件”。结果人工智能聊天机器人甚至找到了地方来制作这种化学毒剂。怀特说：“我认为人工智能将为每个人都带来更快更准确开展化学实验的工具。”“但也有人们会用人工智能做危险化学实验的风险……现在这种情况确实存在。”引入“蓝军测试”的做法让OpenAI能确保，在GPT-4发布时不会出现这种后果。“蓝军测试”的目的是为了打消人们认为在社会上部署强大人工智能系统存在危险的担忧。“蓝军”团队的工作就是提出各种探索性或危险问题，测试人工智能如何进行回应。OpenAI想要知道新模型对不良问题会做出何种反应。因此，“蓝军”团队测试了谎言、语言操纵和危险科学常识等问题。他们还研究了新模型在协助和教唆剽窃、金融犯罪和网络攻击等非法活动方面的可能性。GPT-4“蓝军”团队来自各行各业，有学者、教师、律师、风险分析师和安全研究人员，主要工作地点在美国和欧洲。他们将发现反馈给OpenAI,OpenAI在公开发布GPT-4之前，用团队成员的发现结果来重新训练GPT-4并解决问题。在几个月的时间里，成员们每人会花费10到40个小时的时间来测试新模型。多位受访者表示，自己的时薪约为100美元。很多“蓝军”团队成员都担心大型语言模型的快速发展，更担心通过各种插件与外部知识源连接起来的风险。“现在系统是被冻结了，这意味着它不再学习，也不再有记忆，”GPT-4“蓝军”成员、瓦伦西亚人工智能研究所教授何塞·埃尔南德斯-奥拉洛（JoséHernández-Orallo）说。“但如果我们用它来上网呢？这可能是一个与全世界相连的非常强大系统。”OpenAI表示，公司非常重视安全性，在发布前会对各种插件进行测试。而且随着越来越多的人使用GPT-4，OpenAI将定期对模型进行更新。技术和人权研究员罗亚·帕克扎德(RoyaPakzad)使用英语和波斯语问题来测试GPT-4模型在性别、种族和宗教方面是否存在偏见。帕克扎德发现，即便更新后，即使在后来更新的版本中，GPT-4也有对边缘化社区的明显刻板印象。她还发现，在用波斯语问题测试模型时，聊天机器人用编造信息回答问题的“幻觉”现象更严重。与英语相比，机器人用波斯语虚构的名字、数字和事件更多。帕克扎德说：“我担心语言多样性和语言背后的文化可能会衰减。”常驻内罗毕的律师博鲁·戈洛(BoruGollo)是唯一一位来自非洲的测试者，他也注意到新模型带有歧视性语气。“在我测试这个模型的时候，它就像一个白人在跟我说话，”戈洛说。“如果你问到某个特定群体，它会给你一个有偏见的观点或非常有偏见的答案。”OpenAI也承认GPT-4仍然存在偏见。从安全角度评估模型的“蓝军”成员则对新模型安全性有着不同的看法。来自美国外交关系委员会的研究员劳伦·卡恩(LaurenKahn)表示，当她开始研究这种技术是否有可能被用于网络攻击时，表示“没想到它会如此详细，以至于进行微调就可以实施”。然而卡恩和其他测试人员发现，随着时间推移，新模型的回应变得相当安全。OpenAI表示，在GPT-4发布之前，公司对其进行了有关拒绝恶意网络安全请求的训练。“蓝军”的许多成员表示，OpenAI在发布前已经做了严格安全评估。卡耐基梅隆大学语言模型毒性研究专家马丁·萨普(MaartenSap)说：“他们在消除系统中明显毒性方面做得相当不错。”自上线ChatGPT以来，OpenAI也受到多方批评，有技术道德组织向美国联邦贸易委员会(FTC)投诉称，GPT-4“有偏见、具有欺骗性，对隐私和公共安全构成威胁”。最近，OpenAI还推出了名为ChatGPT插件的功能，Expedia、OpenTable和Instacart等合作伙伴应用程序可以通过这一功能让ChatGPT访问他们的服务，允许其代表人类用户订购商品。“蓝军”团队的人工智能安全专家丹·亨德里克斯(DanHendrycks)表示，这种插件可能会让人类自己成了“局外人”。“如果聊天机器人可以把你的私人信息发布到网上，访问你的银行账户，或者派人到你家里去，你会怎么想？”亨德里克斯说。“总的来说，在我们让人工智能掌握网络力量之前，我们需要更强有力的安全评估。”“蓝军”成员还警告说，OpenAI不能仅仅因为软件实时响应就停止安全测试。在乔治城大学安全和新兴技术中心工作的希瑟·弗雷斯(HeatherFrase)还对GPT-4是否会协助犯罪行为进行了测试。她说，随着越来越多的人使用这项技术，风险将继续增加。她说：“你做实际运行测试的原因是，一旦用到真实环境中，它们的表现就不同了。她认为，应该开发公共系统来报告大型语言模型引发的各类事件，类似于网络安全或消费者欺诈报告系统。劳动经济学家兼研究员莎拉·金斯利(SaraKingsley)建议，最好的解决办法是像食品包装上的“营养标签”那样，直接说明危害和风险。她说：“关键是要有一个框架，知道经常出现的问题是什么，这样你就可以有一个安全阀。”“这就是为什么我说工作永远做不完。”（辰辰）...PC版：https://www.cnbeta.com.tw/articles/soft/1355189.htm手机版：https://m.cnbeta.com.tw/view/1355189.htm

OpenAI 推出面向所有用户的更快更便宜 AI 模型

OpenAI推出面向所有用户的更快更便宜AI模型OpenAI推出了一个更快、更便宜的人工智能模型来支持其聊天机器人ChatGPT。这家初创公司正努力在日益拥挤的市场中保持领先地位。在周一的直播活动中，OpenAI推出了新的大语言模型GPT-4o。这是其已经问世一年多的GPT-4模型的更新版本。该模型基于来自互联网的大量数据进行训练，更擅长处理文本和音频，并且支持50种语言。新模式将面向所有用户，而不仅仅是付费用户。GPT-4o的发布势将撼动快速发展的人工智能领域，目前GPT-4仍然是黄金标准。越来越多的初创公司和大型科技公司，包括Anthropic、Cohere和AlphabetInc.旗下谷歌，最近推出了人工智能模型，并声称在某些基准测试中的性能可以与GPT-4相媲美甚至超过。OpenAI发布新模型也正值谷歌I/O开发者大会的前一天。谷歌是人工智能领域的早期领导者，预计将利用这次活动发布更多人工智能更新，以追赶有微软公司支持的OpenAI。

Anthropic、Google、Microsoft和OpenAI发表联合声明，宣布成立前沿模型论坛

Anthropic、Google、Microsoft和OpenAI发表联合声明，宣布成立前沿模型论坛今天，Anthropic、Google、Microsoft和OpenAI宣布成立FrontierModelForum（前沿模型论坛），这是一个新的行业机构，旨在确保前沿AI模型的安全和负责任开发。FrontierModelForum将利用其成员公司的技术和运营专业知识，惠及整个AI生态系统，例如通过推动技术评估和基准的发展，并开发一个公共解决方案库以支持行业最佳实践和标准。该论坛的核心目标是：1.推进AI安全研究，促进前沿模型的负责任开发，最小化风险，并实现独立、标准化的能力和安全评估。2.确定前沿模型的负责任开发和部署的最佳实践，帮助公众了解技术的性质、能力、限制和影响。3.与政策制定者、学者、公民社会和公司合作，分享有关信任和安全风险的知识。来源：https://blog.google/outreach-initiatives/public-policy/google-microsoft-openai-anthropic-frontier-model-forum/投稿：@ZaiHuaBot频道：@TestFlightCN

OpenAI首席技术官Mira Murati透露：Sora有望在今年内开启公开测试

OpenAI首席技术官MiraMurati透露：Sora有望在今年内开启公开测试Sora技术亮点与未来展望：-能在几分钟内生成20秒长的720P视频。-计算资源需求远超过ChatGPT和DALL·E。-目前正在进行安全性的红队测试。-期待未来版本将支持视频声效增强。而且还向外界传递了一层重要信息：OpenAI在考虑发布这项技术时，抱有非常谨慎的态度。“我们希望电影界人士和世界各地的创作者都能参与进来，与我们共同探索如何进一步推动这些行业发展。”线索：@ZaiHuabot投稿：@TNSubmbot频道：@TestFlightCN