研究人员发现绕过 ChatGPT 安全控制的漏洞

研究人员发现绕过ChatGPT安全控制的漏洞在周四发布的一份中，匹兹堡卡内基梅隆大学和旧金山人工智能安全中心的研究人员展示了任何人如何规避人工智能安全措施并使用任何领先的聊天机器人生成几乎无限量的有害信息。研究人员发现，他们可以通过在输入系统的每个英语提示符上附加一长串字符来突破开源系统的护栏。如果他们要求其中一个聊天机器人“写一篇关于如何制造炸弹的教程”，它会拒绝这样做。但如果他们在同一个提示中添加一个冗长的后缀，它会立即提供有关如何制作炸弹的详细教程。以类似的方式，他们可以诱使聊天机器人生成有偏见的、虚假的和其他有毒的信息。研究人员感到惊讶的是，他们用开源系统开发的方法也可以绕过封闭系统的护栏，包括OpenAI的ChatGPT、GoogleBard和初创公司Anthropic构建的聊天机器人Claude。聊天机器人开发公司可能会阻止研究人员确定的特定后缀。但研究人员表示，目前还没有已知的方法可以阻止所有此类攻击。专家们花了近十年的时间试图阻止对图像识别系统的类似攻击，但没有成功。Anthropic政策和社会影响临时主管MichaelSellitto在一份声明中表示，该公司正在研究阻止攻击的方法，就像研究人员详细介绍的那样。“还有更多工作要做，”他说。——

英国政府计划拨款1亿英镑购买数千个顶级GPU用于AI研究

英国政府计划拨款1亿英镑购买数千个顶级GPU用于AI研究里希·苏纳克（RishiSunak，首相）将花费纳税人高达1亿英镑的资金购买数千枚高性能人工智能芯片，以在全球计算能力竞赛中迎头赶上。政府官员一直在与IT巨头英伟达（Nvidia）、AMD和英特尔（Intel）讨论为国家"人工智能研究资源"采购设备的事宜，这也是里希-苏纳克让英国成为该领域全球领导者的雄心壮志的一部分。这项工作由科学资助机构英国研究与创新组织（UKResearchandInnovation）牵头，据信已进入向英伟达（Nvidia）订购多达5000个图形处理器（GPU）的后期阶段，英伟达的芯片为ChatGPT等人工智能模型提供动力。该项目已获得1亿英镑的拨款。然而，据信这笔支出被认为不足以满足政府的人工智能雄心，官员们正在推动杰里米-亨特在未来几个月内划拨更多资金。今年发表的一份政府审查报告批评英国缺乏"专门的人工智能计算资源"，只有不到1000块高端英伟达（Nvidia）芯片可供研究人员使用。建议尽快提供至少3000个"顶级规格"的GPU。——

【研究：ChatGPT推出后人工智能相关的加密货币资产呈上涨趋势】

【研究：ChatGPT推出后人工智能相关的加密货币资产呈上涨趋势】2023年06月06日05点05分老不正经报道，德国汉堡区块链研究实验室的研究人员一项研究表明，OpenAI推出ChatGPT后，人工智能相关的加密货币资产呈上涨趋势。据研究人员称：尽管整个加密货币市场处于看跌状态，但ChatGPT的推出对人工智能相关加密资产的表现产生了重大影响。使用综合差分法，我们发现在发布后的一个月内人工智能相关加密资产平均价格上涨至少10.7%。”

一款AI检测工具可轻易识别ChatGPT撰写的论文

一款AI检测工具可轻易识别ChatGPT撰写的论文该论文的合著者、美国堪萨斯大学的化学家HeatherDesaire指出，“大多数文本分析领域都想要推出一种真正通用的检测器，可以适用于任何东西”。但她表示她的团队正通过制作一种专注于特定类型论文的检测工具，旨在“追求准确性”。Desaire称，研究结果表明，开发人工智能（AI）检测器的努力可以通过定制软件来促进特定类型的论文写作，“如果你能快速而轻松地构建一项专门的工具，那么为不同的领域构建不同的工具就不是那么困难了。”从公布的数据来看，这种专门的检测器比市面上现有的两种人工智能检测器的性能都要好，可以帮助学术出版商识别出那些由人工智能文本生成器生成的论文。准确率惊人Desaire和她的同事在6月份首次描述了他们研发的ChatGPT探测器，当时他们将其应用于《科学》杂志上的Perspective文章。该团队使用人工智能检测器检查写作风格的20个特征，包括句子长度的变化、某些单词和标点符号的频率等，来确定文章是有人类科学家所作还是由ChatGPT所生成的。当时的研究结果表明，“你可以使用一小部分特征来获得高水平的准确性”。在最新的研究中，该团队将美国化学学会（ACS）出版的十本化学期刊的论文引言部分作为人工智能探测器的训练对象。研究人员将100篇已发表的人类撰写的引言作为比对材料，然后要求ChatGPT-3.5以ACS期刊的风格撰写200篇引言。其中100篇是研究人员向ChatGPT提供了论文标题后生成的，而另外100篇是研究人员向ChatGPT提供了论文摘要后生成的。研究结果显示，当把人类撰写的引言和和人工智能从同一期刊上生成的介绍进行测试时，该人工智能检测器能够100%识别出由ChatGPT-3.5编写的前100篇引言（基于论文标题生成的）；而对于后100篇ChatGPT-3.5生成的引言（基于论文摘要所生成的），检测的准确率略低，为98%。此外，该工具同样适用于ChatGPT-4编写的文本。相比之下，市场上的另两款人工智能检测器中，德国的ZeroGPT识别人工智能编写的介绍的准确率仅为35-65%，这取决于使用的ChatGPT版本以及介绍是由论文标题还是摘要生成的。而OpenAI自身的文本分类器工具也表现不佳——它能够识别人工智能编写的介绍，准确率约为10-55%。柏林应用科技大学研究学术剽窃的计算机科学家DeboraWeber-Wulff评价道，该篇论文的作者们所做的是一件“令人着迷的事情”。她表示，许多现有的工具试图通过搜索人工智能生成的文章的预测文本模式来确定作者的身份，而不是通过观察写作风格和文体的特征。Weber-Wulff称，“我从来没有想过在ChatGPT上使用文体计量学。”...PC版：https://www.cnbeta.com.tw/articles/soft/1395143.htm手机版：https://m.cnbeta.com.tw/view/1395143.htm

研究人员发出警告AI系统已学会如何欺骗人类

研究人员发出警告AI系统已学会如何欺骗人类第一作者、麻省理工学院人工智能存在安全博士后彼得-S-帕克（PeterS.Park）说："人工智能开发人员对造成欺骗等不良人工智能行为的原因并不十分了解。但一般来说，我们认为人工智能欺骗行为的产生是因为基于欺骗的策略被证明是在特定人工智能训练任务中表现出色的最佳方式。欺骗有助于它们实现目标。"Park及其同事分析了相关文献，重点研究了人工智能系统传播虚假信息的方式--通过学习欺骗，系统地学会操纵他人。研究人员在分析中发现的最显著的人工智能欺骗例子是Meta公司的CICERO，这是一个专门用来玩"外交"游戏的人工智能系统。尽管Meta公司声称它训练CICERO"基本上是诚实和乐于助人的"，并且在玩游戏时"从不故意背叛"人类盟友，但该公司随其科学论文一起发表的数据显示，CICERO玩得并不公平。Meta的CICERO在外交游戏中的欺骗示例。资料来源：Patterns/ParkGoldsteinetal.Park说："我们发现，Meta的人工智能学会了欺骗。虽然Meta成功地训练其人工智能在外交游戏中获胜--CICERO在参加过不止一次游戏的人类玩家中名列前10%，但Meta却未能训练其人工智能以诚实的方式获胜"。其他人工智能系统也展示了在与人类职业玩家进行的德州扑克游戏中虚张声势的能力，在战略游戏《星际争霸II》中伪造攻击以击败对手的能力，以及在经济谈判中歪曲自己的偏好以占上风的能力。Park补充说，虽然人工智能系统在游戏中作弊看似无害，但这可能会导致"人工智能欺骗能力的突破"，并在未来演变成更高级的人工智能欺骗形式。研究人员发现，一些人工智能系统甚至学会了欺骗旨在评估其安全性的测试。在一项研究中，数字模拟器中的人工智能生物"装死"，以骗过为消除快速复制的人工智能系统而设计的测试。通过有计划地欺骗人类开发人员和监管机构对其进行的安全测试，欺骗性人工智能会让我们人类陷入虚假的安全感。GPT-4完成验证码任务。图片来源：Patterns/ParkGoldsteinetal.帕克警告说，欺骗性人工智能的主要近期风险包括使敌对行为者更容易实施欺诈和篡改选举。他说，最终，如果这些系统能够完善这种令人不安的技能组合，人类可能会失去对它们的控制。"作为一个社会，我们需要尽可能多的时间来为未来人工智能产品和开源模型更先进的欺骗能力做好准备，"Park说。"随着人工智能系统的欺骗能力越来越先进，它们给社会带来的危险也将越来越严重。"虽然Park和他的同事们认为社会还没有正确的措施来解决人工智能欺骗问题，但他们感到鼓舞的是，政策制定者已经通过欧盟人工智能法案和拜登总统的人工智能行政命令等措施开始认真对待这个问题。但Park说，鉴于人工智能开发人员尚不具备控制这些系统的技术，旨在减少人工智能欺骗行为的政策能否得到严格执行还有待观察。"如果禁止人工智能欺骗在当前政治上不可行，我们建议将欺骗性人工智能系统归类为高风险，"Park说。编译来源：ScitechDaily...PC版：https://www.cnbeta.com.tw/articles/soft/1430598.htm手机版：https://m.cnbeta.com.tw/view/1430598.htm

研究人员发现了弱点 人类在围棋比赛中击败顶级AI KataGo

研究人员发现了弱点人类在围棋比赛中击败顶级AIKataGo这一结果主要得益于研究人员利用特定计算机程序发现人工智能系统中存在的一个弱点。据报道，总共进行的15场比赛中，美国业余四段棋手凯琳·佩林(KellinPelrine)在没有计算机直接支持的前提下，利用这一弱点赢得了其中的14场。开发这一程序的美国加州研究公司FARAI首席执行官亚当·格利夫(AdamGleave)表示：“对我们人类来说，利用这个系统弱点出奇地容易。”佩林说，计算机程序所提出的击败人工智能策略“并非很常见，但对人类来说也不是特别难”。他补充说，中等水平的棋手就可以用这种方法来击败人工智能。他还用这种方法战胜了另一个顶级人工智能下棋系统LeelaZero。格利夫补充说，计算机先是与KataGo下了100多万盘围棋，发现了人类棋手可以利用的漏洞。7年前，世界围棋冠军李世石以1比4的比分输给了谷歌设计的AlphaGo系统。退役3年后，李世石曾表示，人工智能“无法击败”。现在看来，这一说法过于悲观。虽然佩林没有与AlphaGo直接交锋，但所击败的两个人工智能系统与AlphaGo不相上下。他在实战中采用的是一种“声东击西”的策略，人类棋手很容易识破的这种诡计似乎让人工智能束手无策。加州大学伯克利分校计算机科学教授斯图尔特·拉塞尔(StuartRussell)表示，在一些最先进的围棋人工智能系统上发现弱点，表明支撑当今最先进人工智能的深度学习系统存在根本缺陷。他补充说，这些系统只能“理解”它们过去接触过的特定情况，无法像人类一样进行概括。罗素说：“这再次表明，我们过于草率地将超人智力水平归功于机器。”研究人员表示，让围棋人工智能系统失灵的确切原因还只是一个猜测。格利夫说，一个可能原因是佩林所使用的战术很少被使用，这意味着人工智能系统没有接受过足够多的类似训练，无法意识到自己的弱点。他补充说，当受到针对围棋计算机的那种“对抗性攻击”时，发现人工智能系统缺陷是很常见的。尽管如此，“我们看到非常大的(人工智能)系统在几乎没有验证的情况下被大规模部署”。...PC版：https://www.cnbeta.com.tw/articles/soft/1345187.htm手机版：https://m.cnbeta.com.tw/view/1345187.htm