AI系统红队测试方法：提升AI系统安全性与可靠性的关键工具，通过对抗性测试技术识别潜在漏洞，为AI开发者、政策制定者和组织提供了

：提升AI系统安全性与可靠性的关键工具，通过对抗性测试技术识别潜在漏洞，为AI开发者、政策制定者和组织提供了多样化的红队测试方法和实践案例，以促进AI测试生态系统的健康发展-红队测试是评估AI系统安全性和可靠性的重要工具，通过对技术系统进行对抗性测试来识别潜在漏洞。-AI领域目前红队测试方法不统一，使得很难客观比较不同AI系统的相对安全性。需要建立系统性红队测试的共识和标准。-文章介绍了多种红队测试方法，每种都有自己的优势和挑战，可以整合到从定性到定量的迭代测试流程中。-域专家红队可以利用专业知识识别复杂的上下文相关风险。可扩展到不同语言和文化背景的测试。-使用语言模型自动生成对抗样本可以提高测试效率。可以建立红队蓝队框架，迭代提升系统鲁棒性。-多模态红队测试可以识别新模态带来的风险。公开的社区红队测试可以汇集更广泛的观点。-红队结果可以转化为定量评估指标，并围绕其不断改进系统。需要政策支持红队测试的标准化和采纳。-红队测试是确保AI系统安全的重要手段之一。需要多个利益相关方参与，建立行业共识，推动AI的负责任发展。

研究人员发现了弱点 人类在围棋比赛中击败顶级AI KataGo

研究人员发现了弱点人类在围棋比赛中击败顶级AIKataGo这一结果主要得益于研究人员利用特定计算机程序发现人工智能系统中存在的一个弱点。据报道，总共进行的15场比赛中，美国业余四段棋手凯琳·佩林(KellinPelrine)在没有计算机直接支持的前提下，利用这一弱点赢得了其中的14场。开发这一程序的美国加州研究公司FARAI首席执行官亚当·格利夫(AdamGleave)表示：“对我们人类来说，利用这个系统弱点出奇地容易。”佩林说，计算机程序所提出的击败人工智能策略“并非很常见，但对人类来说也不是特别难”。他补充说，中等水平的棋手就可以用这种方法来击败人工智能。他还用这种方法战胜了另一个顶级人工智能下棋系统LeelaZero。格利夫补充说，计算机先是与KataGo下了100多万盘围棋，发现了人类棋手可以利用的漏洞。7年前，世界围棋冠军李世石以1比4的比分输给了谷歌设计的AlphaGo系统。退役3年后，李世石曾表示，人工智能“无法击败”。现在看来，这一说法过于悲观。虽然佩林没有与AlphaGo直接交锋，但所击败的两个人工智能系统与AlphaGo不相上下。他在实战中采用的是一种“声东击西”的策略，人类棋手很容易识破的这种诡计似乎让人工智能束手无策。加州大学伯克利分校计算机科学教授斯图尔特·拉塞尔(StuartRussell)表示，在一些最先进的围棋人工智能系统上发现弱点，表明支撑当今最先进人工智能的深度学习系统存在根本缺陷。他补充说，这些系统只能“理解”它们过去接触过的特定情况，无法像人类一样进行概括。罗素说：“这再次表明，我们过于草率地将超人智力水平归功于机器。”研究人员表示，让围棋人工智能系统失灵的确切原因还只是一个猜测。格利夫说，一个可能原因是佩林所使用的战术很少被使用，这意味着人工智能系统没有接受过足够多的类似训练，无法意识到自己的弱点。他补充说，当受到针对围棋计算机的那种“对抗性攻击”时，发现人工智能系统缺陷是很常见的。尽管如此，“我们看到非常大的(人工智能)系统在几乎没有验证的情况下被大规模部署”。...PC版：https://www.cnbeta.com.tw/articles/soft/1345187.htm手机版：https://m.cnbeta.com.tw/view/1345187.htm

GPT-4发布前，OpenAI曾雇各行专家开展“对抗性测试”以规避歧视等问题

GPT-4发布前，OpenAI曾雇各行专家开展“对抗性测试”以规避歧视等问题在安德鲁·怀特(AndrewWhite)获得权限调用人工智能聊天机器人背后的新模型GPT-4后，他利用其提出了一种全新的神经毒剂。作为罗切斯特大学的化学工程教授，怀特是OpenAI去年聘请的50名学者和专家之一，他们共同组成了OpenAI的“蓝军”团队。在六个月的时间里，“蓝军”成员将对新模型进行“定性探测和对抗性测试”，看能否攻破GPT-4。怀特表示，他使用GPT-4提出一种可以用作化学毒剂的化合物，还引入诸如科学论文和化学品制造商名目等能为新语言模型提供信息来源的各种“插件”。结果人工智能聊天机器人甚至找到了地方来制作这种化学毒剂。怀特说：“我认为人工智能将为每个人都带来更快更准确开展化学实验的工具。”“但也有人们会用人工智能做危险化学实验的风险……现在这种情况确实存在。”引入“蓝军测试”的做法让OpenAI能确保，在GPT-4发布时不会出现这种后果。“蓝军测试”的目的是为了打消人们认为在社会上部署强大人工智能系统存在危险的担忧。“蓝军”团队的工作就是提出各种探索性或危险问题，测试人工智能如何进行回应。OpenAI想要知道新模型对不良问题会做出何种反应。因此，“蓝军”团队测试了谎言、语言操纵和危险科学常识等问题。他们还研究了新模型在协助和教唆剽窃、金融犯罪和网络攻击等非法活动方面的可能性。GPT-4“蓝军”团队来自各行各业，有学者、教师、律师、风险分析师和安全研究人员，主要工作地点在美国和欧洲。他们将发现反馈给OpenAI,OpenAI在公开发布GPT-4之前，用团队成员的发现结果来重新训练GPT-4并解决问题。在几个月的时间里，成员们每人会花费10到40个小时的时间来测试新模型。多位受访者表示，自己的时薪约为100美元。很多“蓝军”团队成员都担心大型语言模型的快速发展，更担心通过各种插件与外部知识源连接起来的风险。“现在系统是被冻结了，这意味着它不再学习，也不再有记忆，”GPT-4“蓝军”成员、瓦伦西亚人工智能研究所教授何塞·埃尔南德斯-奥拉洛（JoséHernández-Orallo）说。“但如果我们用它来上网呢？这可能是一个与全世界相连的非常强大系统。”OpenAI表示，公司非常重视安全性，在发布前会对各种插件进行测试。而且随着越来越多的人使用GPT-4，OpenAI将定期对模型进行更新。技术和人权研究员罗亚·帕克扎德(RoyaPakzad)使用英语和波斯语问题来测试GPT-4模型在性别、种族和宗教方面是否存在偏见。帕克扎德发现，即便更新后，即使在后来更新的版本中，GPT-4也有对边缘化社区的明显刻板印象。她还发现，在用波斯语问题测试模型时，聊天机器人用编造信息回答问题的“幻觉”现象更严重。与英语相比，机器人用波斯语虚构的名字、数字和事件更多。帕克扎德说：“我担心语言多样性和语言背后的文化可能会衰减。”常驻内罗毕的律师博鲁·戈洛(BoruGollo)是唯一一位来自非洲的测试者，他也注意到新模型带有歧视性语气。“在我测试这个模型的时候，它就像一个白人在跟我说话，”戈洛说。“如果你问到某个特定群体，它会给你一个有偏见的观点或非常有偏见的答案。”OpenAI也承认GPT-4仍然存在偏见。从安全角度评估模型的“蓝军”成员则对新模型安全性有着不同的看法。来自美国外交关系委员会的研究员劳伦·卡恩(LaurenKahn)表示，当她开始研究这种技术是否有可能被用于网络攻击时，表示“没想到它会如此详细，以至于进行微调就可以实施”。然而卡恩和其他测试人员发现，随着时间推移，新模型的回应变得相当安全。OpenAI表示，在GPT-4发布之前，公司对其进行了有关拒绝恶意网络安全请求的训练。“蓝军”的许多成员表示，OpenAI在发布前已经做了严格安全评估。卡耐基梅隆大学语言模型毒性研究专家马丁·萨普(MaartenSap)说：“他们在消除系统中明显毒性方面做得相当不错。”自上线ChatGPT以来，OpenAI也受到多方批评，有技术道德组织向美国联邦贸易委员会(FTC)投诉称，GPT-4“有偏见、具有欺骗性，对隐私和公共安全构成威胁”。最近，OpenAI还推出了名为ChatGPT插件的功能，Expedia、OpenTable和Instacart等合作伙伴应用程序可以通过这一功能让ChatGPT访问他们的服务，允许其代表人类用户订购商品。“蓝军”团队的人工智能安全专家丹·亨德里克斯(DanHendrycks)表示，这种插件可能会让人类自己成了“局外人”。“如果聊天机器人可以把你的私人信息发布到网上，访问你的银行账户，或者派人到你家里去，你会怎么想？”亨德里克斯说。“总的来说，在我们让人工智能掌握网络力量之前，我们需要更强有力的安全评估。”“蓝军”成员还警告说，OpenAI不能仅仅因为软件实时响应就停止安全测试。在乔治城大学安全和新兴技术中心工作的希瑟·弗雷斯(HeatherFrase)还对GPT-4是否会协助犯罪行为进行了测试。她说，随着越来越多的人使用这项技术，风险将继续增加。她说：“你做实际运行测试的原因是，一旦用到真实环境中，它们的表现就不同了。她认为，应该开发公共系统来报告大型语言模型引发的各类事件，类似于网络安全或消费者欺诈报告系统。劳动经济学家兼研究员莎拉·金斯利(SaraKingsley)建议，最好的解决办法是像食品包装上的“营养标签”那样，直接说明危害和风险。她说：“关键是要有一个框架，知道经常出现的问题是什么，这样你就可以有一个安全阀。”“这就是为什么我说工作永远做不完。”（辰辰）...PC版：https://www.cnbeta.com.tw/articles/soft/1355189.htm手机版：https://m.cnbeta.com.tw/view/1355189.htm