研究人员发出警告AI系统已学会如何欺骗人类

研究人员发出警告AI系统已学会如何欺骗人类第一作者、麻省理工学院人工智能存在安全博士后彼得-S-帕克（PeterS.Park）说："人工智能开发人员对造成欺骗等不良人工智能行为的原因并不十分了解。但一般来说，我们认为人工智能欺骗行为的产生是因为基于欺骗的策略被证明是在特定人工智能训练任务中表现出色的最佳方式。欺骗有助于它们实现目标。"Park及其同事分析了相关文献，重点研究了人工智能系统传播虚假信息的方式--通过学习欺骗，系统地学会操纵他人。研究人员在分析中发现的最显著的人工智能欺骗例子是Meta公司的CICERO，这是一个专门用来玩"外交"游戏的人工智能系统。尽管Meta公司声称它训练CICERO"基本上是诚实和乐于助人的"，并且在玩游戏时"从不故意背叛"人类盟友，但该公司随其科学论文一起发表的数据显示，CICERO玩得并不公平。Meta的CICERO在外交游戏中的欺骗示例。资料来源：Patterns/ParkGoldsteinetal.Park说："我们发现，Meta的人工智能学会了欺骗。虽然Meta成功地训练其人工智能在外交游戏中获胜--CICERO在参加过不止一次游戏的人类玩家中名列前10%，但Meta却未能训练其人工智能以诚实的方式获胜"。其他人工智能系统也展示了在与人类职业玩家进行的德州扑克游戏中虚张声势的能力，在战略游戏《星际争霸II》中伪造攻击以击败对手的能力，以及在经济谈判中歪曲自己的偏好以占上风的能力。Park补充说，虽然人工智能系统在游戏中作弊看似无害，但这可能会导致"人工智能欺骗能力的突破"，并在未来演变成更高级的人工智能欺骗形式。研究人员发现，一些人工智能系统甚至学会了欺骗旨在评估其安全性的测试。在一项研究中，数字模拟器中的人工智能生物"装死"，以骗过为消除快速复制的人工智能系统而设计的测试。通过有计划地欺骗人类开发人员和监管机构对其进行的安全测试，欺骗性人工智能会让我们人类陷入虚假的安全感。GPT-4完成验证码任务。图片来源：Patterns/ParkGoldsteinetal.帕克警告说，欺骗性人工智能的主要近期风险包括使敌对行为者更容易实施欺诈和篡改选举。他说，最终，如果这些系统能够完善这种令人不安的技能组合，人类可能会失去对它们的控制。"作为一个社会，我们需要尽可能多的时间来为未来人工智能产品和开源模型更先进的欺骗能力做好准备，"Park说。"随着人工智能系统的欺骗能力越来越先进，它们给社会带来的危险也将越来越严重。"虽然Park和他的同事们认为社会还没有正确的措施来解决人工智能欺骗问题，但他们感到鼓舞的是，政策制定者已经通过欧盟人工智能法案和拜登总统的人工智能行政命令等措施开始认真对待这个问题。但Park说，鉴于人工智能开发人员尚不具备控制这些系统的技术，旨在减少人工智能欺骗行为的政策能否得到严格执行还有待观察。"如果禁止人工智能欺骗在当前政治上不可行，我们建议将欺骗性人工智能系统归类为高风险，"Park说。编译来源：ScitechDaily...PC版：https://www.cnbeta.com.tw/articles/soft/1430598.htm手机版：https://m.cnbeta.com.tw/view/1430598.htm

行业领袖警告： AI 可能给人类带来“灭绝的风险”

行业领袖警告：AI可能给人类带来“灭绝的风险”周二，来自OpenAI、GoogleDeepmind、Anthropic和其他AI实验室的领导者警告说，他们正在开发的人工智能技术可能有一天会对人类构成生存威胁，并应被视为与流行病和核战争同等的社会风险。“减轻人工智能灭绝的风险应该与其他社会规模的风险（例如流行病和核战争）一起成为全球优先事项，”预计将由非营利组织人工智能安全中心发布的一句话声明中写道。超过350名从事AI工作的高管、研究人员和工程师签署了这封公开信签署人包括来自3家领先AI公司的高管：OpenAI首席执行官SamAltman；谷歌DeepMind首席执行官戴米斯·哈萨比斯(DemisHassabis)；以及Anthropic的首席执行官DarioAmodei。杰弗里·辛顿(GeoffreyHinton)和约书亚·本吉奥(YoshuaBengio)是三位因在神经网络方面的开创性工作而获得图灵奖的研究人员中的两位，他们通常被认为是现代人工智能运动的“教父”，他们和该领域的其他著名研究人员一样签署了声明。该声明发表之际，人们越来越担心人工智能的潜在危害。所谓的大型语言模型——ChatGPT和其他聊天机器人使用的人工智能系统类型——的最新进展引发了人们的担忧，即人工智能可能很快被大规模用于传播错误信息和宣传，或者它可能会夺走数百万白领的工作。最终，一些人认为，如果不采取任何措施减缓它的发展，人工智能可能会变得强大到足以在几年内造成社会规模的破坏，尽管研究人员有时不会解释这将如何发生。——

ChatGPT之父发出警告：“AI可能灭绝人类” 三巨头AI公司CEO力挺

ChatGPT之父发出警告：“AI可能灭绝人类”三巨头AI公司CEO力挺签署这封公开信的，既包括三大AI巨头的CEO，即ChatGPT老板、OpenAI的SamAltman，DeepMind的DemisHassabis和Anthropic的DarioAmodei；也包括不少国内外高校的教授，除了YoshuaBengio和GeoffreyHinton以外，清华AIR院长张亚勤和斯坦福教授、图灵奖得主MartinHellman等人也名列其中。这段时间来，关于AI风险的各种大小讨论也是接连不断，OpenAICEOSamAltman前段时间还倡议称，人们应当像对待核设施一样监管AI。所以，究竟是谁发起的这封公开信倡议，又是否有AI大牛反对这件事？为何签署这封信？发布这封公开信的机构名叫CenterforAISafety（CAIS），是一家关于AI安全的非营利组织。在这封公开信的开头，CAIS反复强调：包括AI专家、记者、政策制定者和公众在内，越来越多的人开始讨论AI带来的一系列重要和紧迫的风险。即便如此，要想表达对先进AI的严重风险，可能还是有一定难度。这封公开信旨在克服这一障碍，并展开对相关议题的讨论，让更多专家和公众人物认识到这一点。事实上，已经有不少签署了这封信的AI大牛，最近发了关于AI风险的博客文章、或是在访谈中谈到了自己的观点。例如前段时间，YoshuaBengio就写了一封长信，警告称“人类大脑是生物机器，一定会有超级智能AI超越它”。除此之外，包括StabilityAI的创始人EmadMostaque、以及剑桥大学助理教授DavidKrueger等人，也都在最近的访谈中提到了关于AI带来的潜在危害。例如，EmadMostaque认为，10年后包括StabilityAI、OpenAI和DeepMind在内，这些AI公司的规模甚至会超过谷歌和Facebook。也正是因此，AI风险是一个必须要考虑的事情：我们可能正处于全面变革的风口浪尖，这些变革对于任何一家公司或是国家来说都太过庞大，以至于难以管理。没签的AI大牛怎么说？当然，这波闹得沸沸扬扬的“请求AI监管”浪潮下，也有不少反对的声音。目前为止，包括另一位图灵奖得主YannLeCun、前特斯拉AI总监AndrejKarpathy还有吴恩达等AI大牛在内，都还没签署这封联名信。吴恩达发推回应称：当我想到大部分人类生存面临的风险时：流行病、气候变化导致大规模人口减少、（撞击地球的）小行星……AI将是我们寻找解决方案的关键部分。所以，如果你想让人类在接下来的1000年里生存和繁荣，那就让AI发展得更快，而不是更慢。LeCun转发表示同意：“超人级”AI之所以不在风险列表榜首，很大程度上是因为它还不存在。至少我们在设计出达到狗智商（更不用说人类了）的AI之前，讨论它的安全性还为时过早。对此，纽约大学教授GaryMarcus补充道：不要把框架缩小到只关注人类灭绝的风险。AI其实还存在许多其他的严重风险，包括可能帮助开发生物武器等。不过，GaryMarcus同样没有签署这份350人公开信。显然包括不少AI大牛在内，反对者主要有两种意见。一种意见认为，AI技术确实存在风险，但这封公开信涉及到的内容太泛泛。如果有更精确的声明如“减轻AI技术的潜在风险应该是科技行业、政府和该领域学术研究人员的首要任务”，那么这封信还是可以签署的。这封公开信中的内容根本就是夸大其词了，而且AI在气候变化等领域甚至可以起到降低风险的作用。另一类意见则认为，这封信只不过是当前掌握最领先AI技术的人，试图控制AI接下来的走向而已。以OpenAI的CEOSamAltman为例：SamAltman要是真的担心，大可以现在直接关掉ChatGPT服务器。所以，你认为按照现在的进度来看，AI有可能灭绝人类吗？参考链接：[1]https://www.safe.ai/statement-on-ai-risk[2]https://www.nytimes.com/2023/05/30/technology/ai-threat-warning.html?smtyp=cur&smid=tw-nytimes[3]https://twitter.com/AndrewYNg/status/1663584330751561735[4]https://www.reddit.com/r/MachineLearning/comments/13vls63/n_hinton_bengio_and_other_ai_experts_sign/...PC版：https://www.cnbeta.com.tw/articles/soft/1362681.htm手机版：https://m.cnbeta.com.tw/view/1362681.htm

【OpenAI CEO等350名AI行业人士签署公开信 警告AI或给人类带来“灭绝风险”】

【OpenAICEO等350名AI行业人士签署公开信警告AI或给人类带来“灭绝风险”】2023年05月30日10点10分5月30日消息，350位AI行业的高管、研究人员和工程师日前签署了一封公开信，表示担忧AI技术将对人类带来生存威胁。这封信由位于非营利组织人工智能安全中心发布，其中仅有一句话：“降低人工智能带来的灭绝风险应该成为一个全球优先事项，与大流行病、核战争等其他社会规模的风险并列。”OpenAI首席执行官SamAltman、GoogleDeepMind首席执行官DemisHassabis、Anthropic首席执行官DarioAmodei三位AI公司高管，以及2018年图灵奖得主GeoffreyHinton、YoshuaBengio已签署这封信。

研究人员发现了弱点 人类在围棋比赛中击败顶级AI KataGo

研究人员发现了弱点人类在围棋比赛中击败顶级AIKataGo这一结果主要得益于研究人员利用特定计算机程序发现人工智能系统中存在的一个弱点。据报道，总共进行的15场比赛中，美国业余四段棋手凯琳·佩林(KellinPelrine)在没有计算机直接支持的前提下，利用这一弱点赢得了其中的14场。开发这一程序的美国加州研究公司FARAI首席执行官亚当·格利夫(AdamGleave)表示：“对我们人类来说，利用这个系统弱点出奇地容易。”佩林说，计算机程序所提出的击败人工智能策略“并非很常见，但对人类来说也不是特别难”。他补充说，中等水平的棋手就可以用这种方法来击败人工智能。他还用这种方法战胜了另一个顶级人工智能下棋系统LeelaZero。格利夫补充说，计算机先是与KataGo下了100多万盘围棋，发现了人类棋手可以利用的漏洞。7年前，世界围棋冠军李世石以1比4的比分输给了谷歌设计的AlphaGo系统。退役3年后，李世石曾表示，人工智能“无法击败”。现在看来，这一说法过于悲观。虽然佩林没有与AlphaGo直接交锋，但所击败的两个人工智能系统与AlphaGo不相上下。他在实战中采用的是一种“声东击西”的策略，人类棋手很容易识破的这种诡计似乎让人工智能束手无策。加州大学伯克利分校计算机科学教授斯图尔特·拉塞尔(StuartRussell)表示，在一些最先进的围棋人工智能系统上发现弱点，表明支撑当今最先进人工智能的深度学习系统存在根本缺陷。他补充说，这些系统只能“理解”它们过去接触过的特定情况，无法像人类一样进行概括。罗素说：“这再次表明，我们过于草率地将超人智力水平归功于机器。”研究人员表示，让围棋人工智能系统失灵的确切原因还只是一个猜测。格利夫说，一个可能原因是佩林所使用的战术很少被使用，这意味着人工智能系统没有接受过足够多的类似训练，无法意识到自己的弱点。他补充说，当受到针对围棋计算机的那种“对抗性攻击”时，发现人工智能系统缺陷是很常见的。尽管如此，“我们看到非常大的(人工智能)系统在几乎没有验证的情况下被大规模部署”。...PC版：https://www.cnbeta.com.tw/articles/soft/1345187.htm手机版：https://m.cnbeta.com.tw/view/1345187.htm

OpenAI 员工发公开信警告 AI 风险，认为可能导致 “人类灭绝”

OpenAI员工发公开信警告AI风险，认为可能导致“人类灭绝”多家美国人工智能（AI）领域企业的在职和离职员工当地时间4日发表公开信，对这项新兴技术带来的风险表示担忧。据路透社5日报道，公开信的签署者包括美国AI初创企业OpenAI以及谷歌旗下“深层思维”公司的前员工和现员工，共计13人。公开信警告了不受监管的AI带来的风险，例如传播错误信息，AI系统独立性丧失，以及社会阶层不平等的加深。信中认为，这些风险可能导致“人类灭绝”，AI公司在与政府分享关键信息方面只尽到了“微弱的义务”，不能指望这些公司自愿分享信息。路透社称，这封公开信是行业内部对生成式AI技术提出安全担忧的最新案例。公开信敦促AI公司允许让在职和离职员工表达与行业风险相关的担忧。（环球时报）