英国首相顾问警告：人工智能可能在2年内威胁到人类

英国首相顾问警告：人工智能可能在2年内威胁到人类近日，英国政府高级研究与发明局主席兼人工智能特别工作组的马特·克利福德在接受媒体采访时表示，目前的人工智能系统进化速度越来越快，能力也越来越强大。克利福德对此深感不安，他认为，如果人类没能找到控制该技术的办法，或者现在不考虑安全和监管问题，人工智能系统将在两年内变得“非常强大”。他指出，决策者应该作好准备，无论是短期还是长期，都存在许多不同类型的风险，可能出现从网络攻击到制造生物武器等一系列的威胁。“这可能会对人类生存构成非常严重的威胁，仅仅从我们预计两年后会出现的模型来看，可能会杀死很多人，当然，不是所有人。”在克利福德接受采访之前，科技界高管和人工智能科学家联合发布声明称，这项技术带来的灭绝风险堪比疫情和核战。克利福德解释道：“他们谈论的是，一旦我们有效地创造了一个新物种，一种比人类更加聪明的物种，会发生什么情况。”他还表示，乐观地看，我们可能在两年内拥有比人类更聪明的人工智能。这位人工智能专家表示，这听起来像是电影的情节，但确实令人担忧，这也是各国需跨境合作来制定规则的一个原因。根据克利福德的说法，监管机构和开发者的主要关注点应该是了解如何控制这些人工智能系统，然后在全球范围内实施监管。他提醒道：“正在构建最强大人工智能系统的人坦率地承认，他们并不完全理解（人工智能系统）是如何表现出它们所做的行为的，也就是我最担心的事情。”克利福德强调，许多构建人工智能管理组织的领导者也同意，强大的人工智能模型在部署之前必须经过某种审计和评估过程。...PC版：https://www.cnbeta.com.tw/articles/soft/1364265.htm手机版：https://m.cnbeta.com.tw/view/1364265.htm

“AI教父”警告：人工智能可能取代人类

“AI教父”警告：人工智能可能取代人类在上周日的一次电视采访中，辛顿继续强调了人工智能进步可能带来的负面影响。辛顿说：“也许我们回顾过去，把这看作是一种转折点，人类必须做出决定，是否进一步发展这些东西，如果他们这样做了，该如何保护自己。”辛顿说，人工智能可能有好有坏，接下来会发生什么还不得而知。“我们需要认真思考接下来会发生什么。我们只是不知道。”辛顿在这次采访中警告称，人工智能有可能取代人类。他说：“如果我们能阻止他们这么做，那就太好了，但目前还不清楚我们能否阻止他们这么做。”辛顿的担忧包括人工智能带来的就业流失，以及假新闻的兴起，有偏见的人工智能程序提供的信息被当作事实。辛顿警告说，人工智能系统可能编写自己的计算机代码来修改自己，“这是我们需要认真担心的事情。”尽管对人工智能相关的风险感到担忧，但辛顿说，他对帮助开发系统和推动人工智能的兴起并不后悔。他在谈到人工智能可能带来的好处是说：“因此，医疗保健显然是一个巨大的好处。在理解医学图像的情况方面，人工智能已经可以与放射科医生相提并论。它将非常擅长设计药物。”辛顿说，可能无法找到一条可以确保人类未来安全的人工智能发展道路，“我们正在进入一个非常不确定的时期，我们正在处理以前从未处理过的事情。”他警告称，我们负担不起出错。...PC版：https://www.cnbeta.com.tw/articles/soft/1388979.htm手机版：https://m.cnbeta.com.tw/view/1388979.htm

研究人员发出警告AI系统已学会如何欺骗人类

研究人员发出警告AI系统已学会如何欺骗人类第一作者、麻省理工学院人工智能存在安全博士后彼得-S-帕克（PeterS.Park）说："人工智能开发人员对造成欺骗等不良人工智能行为的原因并不十分了解。但一般来说，我们认为人工智能欺骗行为的产生是因为基于欺骗的策略被证明是在特定人工智能训练任务中表现出色的最佳方式。欺骗有助于它们实现目标。"Park及其同事分析了相关文献，重点研究了人工智能系统传播虚假信息的方式--通过学习欺骗，系统地学会操纵他人。研究人员在分析中发现的最显著的人工智能欺骗例子是Meta公司的CICERO，这是一个专门用来玩"外交"游戏的人工智能系统。尽管Meta公司声称它训练CICERO"基本上是诚实和乐于助人的"，并且在玩游戏时"从不故意背叛"人类盟友，但该公司随其科学论文一起发表的数据显示，CICERO玩得并不公平。Meta的CICERO在外交游戏中的欺骗示例。资料来源：Patterns/ParkGoldsteinetal.Park说："我们发现，Meta的人工智能学会了欺骗。虽然Meta成功地训练其人工智能在外交游戏中获胜--CICERO在参加过不止一次游戏的人类玩家中名列前10%，但Meta却未能训练其人工智能以诚实的方式获胜"。其他人工智能系统也展示了在与人类职业玩家进行的德州扑克游戏中虚张声势的能力，在战略游戏《星际争霸II》中伪造攻击以击败对手的能力，以及在经济谈判中歪曲自己的偏好以占上风的能力。Park补充说，虽然人工智能系统在游戏中作弊看似无害，但这可能会导致"人工智能欺骗能力的突破"，并在未来演变成更高级的人工智能欺骗形式。研究人员发现，一些人工智能系统甚至学会了欺骗旨在评估其安全性的测试。在一项研究中，数字模拟器中的人工智能生物"装死"，以骗过为消除快速复制的人工智能系统而设计的测试。通过有计划地欺骗人类开发人员和监管机构对其进行的安全测试，欺骗性人工智能会让我们人类陷入虚假的安全感。GPT-4完成验证码任务。图片来源：Patterns/ParkGoldsteinetal.帕克警告说，欺骗性人工智能的主要近期风险包括使敌对行为者更容易实施欺诈和篡改选举。他说，最终，如果这些系统能够完善这种令人不安的技能组合，人类可能会失去对它们的控制。"作为一个社会，我们需要尽可能多的时间来为未来人工智能产品和开源模型更先进的欺骗能力做好准备，"Park说。"随着人工智能系统的欺骗能力越来越先进，它们给社会带来的危险也将越来越严重。"虽然Park和他的同事们认为社会还没有正确的措施来解决人工智能欺骗问题，但他们感到鼓舞的是，政策制定者已经通过欧盟人工智能法案和拜登总统的人工智能行政命令等措施开始认真对待这个问题。但Park说，鉴于人工智能开发人员尚不具备控制这些系统的技术，旨在减少人工智能欺骗行为的政策能否得到严格执行还有待观察。"如果禁止人工智能欺骗在当前政治上不可行，我们建议将欺骗性人工智能系统归类为高风险，"Park说。编译来源：ScitechDaily...PC版：https://www.cnbeta.com.tw/articles/soft/1430598.htm手机版：https://m.cnbeta.com.tw/view/1430598.htm

AI教父发出警告：新版人工智能会让杀人机器人变为现实

AI教父发出警告：新版人工智能会让杀人机器人变为现实对毕生工作感到有些后悔欣顿周一正式加入到人工智能批评者的行列。批评者们认为，那些积极开发基于人工智能的产品的企业是在加速走向危险。欣顿说，他已辞去谷歌的工作，并对自己一生致力于人工智能开发感到有些后悔，欣顿已为谷歌效力长达十年。欣顿从人工智能奠基人到末日预言者的转变，标志着科技产业的一个关键时刻，该行业正处于几十年来最重要的转折点。业界领袖认为，人工智能系统的重要性可与上世纪90年代初引入网络浏览器媲美，并可能给从制药到教育等一系列领域带来突破。但许多业内人士担心，这有可能是一项危险的技术。人工智能已经成为生成错误信息的工具。很快，它就会带来就业风险。对人工智能感到最不放心的业界人士甚至认为，人工智能可能对人类构成威胁。欣顿说：“很难找到防止坏人用它做坏事的方法。”在旧金山初创企业开放人工智能研究中心(OpenAI)今年3月发布新版ChatGPT之后，1000多名技术领袖和研究人员签署公开信，呼吁在6个月内暂停开发人工智能新系统。几天后，有40年历史的人工智能促进会的19名现任和前任领导人发表公开信，警告人工智能存在风险。人工智能“变得越来越危险”1972年，作为英国爱丁堡大学的一名研究生，欣顿接受了所谓人工神经网的概念，即通过分析数据学习技能的系统，并以研发该系统作为主要工作。20世纪80年代，欣顿在卡内基-梅隆大学计算机系担任教授，但后来离开该大学前往加拿大，因为他不想接受五角大楼的经费资助。当时，美国的大部分人工智能研究都是由国防部资助的。但欣顿强烈反对在战场上使用人工智能，即他所说的“机器士兵”。2012年，欣顿博士和他在多伦多的两名学生伊利亚·苏茨克韦尔和亚历克斯·克里舍夫斯基共同创建了一个人工神经网，它可以通过分析数千张照片建立自己识别物体的能力，比如认识花、狗和汽车。谷歌斥资4400万美元收购了由欣顿博十及其两名学生创办的公司。他们创建的系统催生了越来越强大的技术包括聊天机器人ChatGPT和谷歌的巴德(Bard)。苏茨克韦尔后来成为OpenAI的首席科学家。大约同一时间，谷歌、OpenAI和其他公司开始建立通过大量数字化文本学习的人工神经网。去年，谷歌公司和OpenAI公司开始利用更庞大的数据建立人工智能系统。欣顿博士认为，这些系统在某些方面仍然不如人脑，但在其他方面已经超过了人类智力。他认为，随着企业逐渐升级人工智能系统，它们将变得越来越危险。杀人机器人或会变为现实现在，微软用聊天机器人加强了必应搜索引擎，谷歌也想采用同样的技术。欣顿说，科技巨头们已经陷入一场可能无法停止的竞争。他眼下最担心的是，互联网上将充斥着各种虚假照片、虚假视频和文字普通人“再也无法知道什么是真的了。”他还担心人工智能会颠覆就业市场。目前，ChatGPT这样的聊天机器人还是人类的助手，但它们已经可以胜任一些死记硬背的工作。欣顿说：“这不仅会夺走工作机会，它会夺走更多。”欣顿担心，新版本的人工智能会对人类构成威胁，因为它们往往会通过分析海量数据学会令人意想不到的本领。他说这会带来问题因为技术人员和公司不仅允许人工智能系统自己生成代码，而且还允许它们自行运行代码。他担心，有朝一日这会使杀人机器人变为现实。他说：“过去，有人认为这种东西会变得比人更聪明，我认为这样想为时过早，成为现实至少还需要30到50年甚至更长时间。显然我现在不这么认为了。”欣顿博士认为，谷歌和微软等公司之间的竞争将升级为一场全球竞赛，除非有某种形式的全球监管，否则竞赛不会停止。但他说，监管不太可能，因为与核武器不同，目前无法知道企业或国家是否在秘密研发这项技术。最大的希望是世界顶尖科学家联手找到控制这项技术的方法。欣顿说：“我认为，不应再升级该技术，直到人们确定是否能控制住人工智能。”...PC版：https://www.cnbeta.com.tw/articles/soft/1358583.htm手机版：https://m.cnbeta.com.tw/view/1358583.htm

科学家警告：用AI生成内容训练AI 将在几代内开始产生＂垃圾＂

科学家警告：用AI生成内容训练AI将在几代内开始产生＂垃圾＂该研究的作者之一、剑桥大学教授罗斯·安德森(RossAnderson)在阐述关于研究结果的博客文章中写道，数据表明，“经过几次迭代后，人工智能输出的文字就变成了垃圾，图像也会变得无法理解”。这些科学家们的论文尚未经过同行评审，他们称这种现象为“模型崩溃”。聊天机器人ChatGPT背后的大语言模型(LLM)通常需要从互联网上抓取大量数据进行训练，这些数据多为人类生成。但随着人们对这些工具的使用越来越多，人工智能生成的内容正被大量添加到在线数据池中，未来的LLM将从中学习。科学家们说，利用人工智能生成内容对人工智能系统进行迭代训练，意味着错误和无意义的例子会不断增加，使后来的人工智能无法区分事实和虚构内容。他们担忧道，人工智能将“通过强化自己的信念，开始曲解他们认为是真实的东西”。安德森用莫扎特（Mozart）和另一位音乐家安东尼奥·萨列里（AntonioSalieri）的作品来阐释这个问题。他写道：“如果你用莫扎特的作品来训练某个音乐模型，你可以期待输出的音乐风格有点像莫扎特，但不会有太多亮点，我们可以称之为‘萨列里’。然后再利用‘萨列里’训练下一代人工智能系统，如此反复下去，第五代或第六代模型会是什么样子?”这项研究的第一作者、牛津大学教授伊利亚·舒马伊洛夫（IliaShumailov）说，问题在于人工智能在接受早期人工智能生成内容的训练后对概率的感知。不太可能发生的事件越来越不可能反映在它的输出中，从而缩小了下一代人工智能（根据这种输出进行训练）所能理解的可能性。在论文中给出的一个例子中，人类生成的关于中世纪建筑的文本通过人工智能语言模型输入，然后该模型的输出用于训练下一代人工智能。最初的文本巧妙地处理了相互竞争的建筑理论，并经过了多次这样的循环。到了第九次迭代，这些文字就变成了毫无意义的胡言乱语。上面写着：“建筑是世界上最大的黑长耳大野兔、白长耳大野兔、蓝长耳大野兔、红长耳大野兔、黄长耳大野兔的家园。”安德森将“模型崩溃”比作大规模污染，他写道：“就像我们在海洋里撒满了塑料垃圾，在大气中放满了二氧化碳，我们即将让互联网上充满胡言乱语。”人工智能生成的内容已经在网上大规模出现。今年5月，在线虚假信息监管机构NewsGuard警告称，它发现49个新闻网站似乎完全由人工智能撰写内容。据报道，市场营销和公关机构越来越多地将文案外包给聊天机器人，从而抢走了人类创作者的工作。但是，根据舒马伊洛夫和安德森的发现，希望不被人工智能打败的人类创作者还不应该开香槟庆祝。舒马伊洛夫说，对于训练人工智能来说，人工生成的数据并不是绝对必要的，它之所以有用，是因为我们的语言产生了大量的自然变化、错误和不可预测的结果。“所以，人类肯定会提供帮助，”他说。“与此同时，这也表明，在训练人工智能时，人类数据的需求不会非常庞大。”...PC版：https://www.cnbeta.com.tw/articles/soft/1366273.htm手机版：https://m.cnbeta.com.tw/view/1366273.htm

别对 AI 未来过于自信！诺奖得主：两年前的 “加密货币泡沫” 或重演

别对AI未来过于自信！诺奖得主：两年前的“加密货币泡沫”或重演2018年诺贝尔经济学奖得主罗默(PaulRomer)警告，各界对人工智慧(AI)的信心“失控”(runaway)，可能重演两年前加密货币泡沫破裂的错误。OpenAI在2022年底发表广受欢迎的ChatGPT后，掀起各界对AI的兴奋浪潮，带动对运算与云端能力的大量投资，微软和谷歌等全球科技巨人都参与其中。英伟达因生产能最有效处理AI训练的晶片，成为市值数万亿美元的企业。但曾任世界银行首席经济学家的罗默警告说，期望人工智能如今的发展势头无限期地持续下去是危险的。“我们从扩大计算规模和吸收大量数据中受益。扩展计算非常容易。只需要更多的机器，更多的芯片。但即将发生的是，我们将没有足够的数据。”他说。罗默认为，能作为范例的警世例子就是自动驾驶汽车。特斯拉等公司多年来一直承诺会推出全自动驾驶车辆，但其自驾系统却持续被可信度问题或极端事故案例所拖累，迄今都无法兑现承诺。罗默说，人们可能两年后回顾现在时会说：“这真是个泡沫，我们高估了当时的情况”。