研究：部分AI系统已经学会欺骗人类

研究：部分AI系统已经学会欺骗人类近期一项研究显示，部分人工智能系统已经学会“撒谎”，其中包括一些号称已被训练得诚实且乐于助人的系统。新华社报道，美国麻省理工学院的研究团队星期六（5月11日）发表在《模式》（Patterns）科学杂志的研究指出，部分人工智能（AI）系统通过习得性欺骗，系统地学会了“操纵”他人。随着AI技术飞速发展，人们一直关心AI是否会欺骗人类。这项研究在文献中列举了一些AI学习传播虚假信息的例子，其中包括Meta公司的“西塞罗”（Cicero）AI系统。这套系统最初设计目的是在一款名为“外交”（Diplomacy）的战略游戏中充当人类玩家的对手，游戏的获胜关键是结盟。Meta公司声称，西塞罗系统“在很大程度上是诚实和乐于助人的”，并且在玩游戏时“从不故意背刺”它的人类盟友，但该公司发表的论文数据显示，该系统在游戏中并未做到公平。这项研究的第一作者、美国麻省理工学院（MIT）研究AI存在安全的博士后研究员帕克（PeterPark）说，西塞罗系统已经成为“欺骗大师”。它在玩家排行榜中排名前10%，但公司没能训练它诚实地获胜。举例来说，在游戏中扮演法国的西塞罗与人类玩家扮演的德国合谋，欺骗并入侵同为人类玩家扮演的英国。西塞罗承诺会保护英国，却偷偷向德国通风报信。其他一些AI系统则展现出虚张声势、假意攻击对手、在谈判游戏中为占上风而歪曲偏好等能力。帕克指出，这些危险功能常常在事后才被发现，而当前技术训练诚实倾向而非欺瞒倾向的能力非常差。研究人员说，虽然AI系统在游戏中作弊看似无害，但可能会导致“欺骗性AI能力的突破”，并在未来演变成更高级的AI欺骗形式。帕克说：“我们需要尽可能多的时间，为未来AI产品和开源模型可能出现的更高级欺骗做好准备。我们建议，将欺骗性AI系统归类为高风险系统。”2024年5月12日7:12PM

研究发现部分 AI 系统已学会“说谎”，未来或演变成更高级欺骗形式

研究发现部分AI系统已学会“说谎”，未来或演变成更高级欺骗形式https://www.ithome.com/0/767/426.htmhttps://www.cell.com/patterns/fulltext/S2666-3899(24)00103-X（英文）PeterPark表示，它已经成为“欺骗大师”，虽然Meta成功训练出了它在游戏中获胜的能力，但没有训练出它“诚信获胜”的能力。譬如，在游戏中扮演法国的Cicero与人类玩家扮演的德国合谋，欺骗并入侵同为人类玩家的英格兰。Cicero起初“承诺”会保护英格兰，但同时会偷偷向德国通风报信。

顶级AI研究人员和CEO在22字声明中对"灭绝人类的风险"提出警告

顶级AI研究人员和CEO在22字声明中对"灭绝人类的风险"提出警告这份声明由位于旧金山的非营利组织人工智能安全中心发布，包括GoogleDeepMind首席执行官DemisHassabis和OpenAI首席执行官SamAltman以及GeoffreyHinton和YoushuaBengio在内的人物共同签署了这份声明--他们是因其在人工智能方面的工作而获得2018年图灵奖（有时被称为"计算界的诺贝尔奖"）的三位人工智能研究人员中的两位。在撰写本报告时，今年的第三位获奖者、现任Facebook母公司Meta的首席人工智能科学家YannLeCun还没有签字。该声明是对人工智能安全的复杂和有争议的辩论的最新高调干预。今年早些时候，一封由许多支持22字警告的人签署的公开信，呼吁人工智能发展"暂停"6个月。这封信在多个层面受到了批评。一些专家认为它夸大了人工智能带来的风险，而另一些人同意风险，但不同意信中建议的补救措施。人工智能安全中心(CenterforAISafety)的执行董事丹-亨德利克斯(DanHendrycks)告诉《纽约时报》，今天声明的简洁性--没有提出任何潜在的方法来减轻人工智能带来的威胁--是为了避免这种分歧的产生。"我们不想推动一个非常大的30种潜在干预措施的菜单，"亨德利克斯说。"当这种情况发生时，它稀释了信息。"Hendrycks将这一信息描述为担心人工智能风险的行业人士的"出柜"。"有一个非常普遍的误解，甚至在人工智能界，认为只有少数的末日主义者，"亨德利克斯告诉《纽约时报》。"但是，事实上，许多人私下里会对这些事情表示担忧。"这场辩论的大体轮廓是熟悉的，但细节往往是无休止的，是基于人工智能系统迅速提高能力，并不再在安全可控运行下的假设情景。许多专家指出，像大型语言模型这样的系统的迅速改进，证明了未来智能的预期收益。他们说，一旦人工智能系统达到一定的复杂程度，可能会变得无法控制其行动。其他人则怀疑这些预测。他们指出，人工智能系统甚至无法处理相对平凡的任务，比如说，驾驶汽车。尽管在这一研究领域付出了多年的努力和数十亿的投资，但完全自动驾驶的汽车仍远未成为现实。怀疑论者说，如果人工智能连这一个挑战都处理不了，那么在未来几年，这项技术还有什么机会与人类的其他成就相媲美呢？同时，人工智能风险倡导者和怀疑论者都认为，即使不改进其能力，人工智能系统在今天也会带来一些威胁--从它们的使用导致大规模监视，到为错误的"预测性警务"算法提供动力，以及为制造错误信息和虚假信息提供便利。...PC版：https://www.cnbeta.com.tw/articles/soft/1362501.htm手机版：https://m.cnbeta.com.tw/view/1362501.htm

研究人员发现了弱点 人类在围棋比赛中击败顶级AI KataGo

研究人员发现了弱点人类在围棋比赛中击败顶级AIKataGo这一结果主要得益于研究人员利用特定计算机程序发现人工智能系统中存在的一个弱点。据报道，总共进行的15场比赛中，美国业余四段棋手凯琳·佩林(KellinPelrine)在没有计算机直接支持的前提下，利用这一弱点赢得了其中的14场。开发这一程序的美国加州研究公司FARAI首席执行官亚当·格利夫(AdamGleave)表示：“对我们人类来说，利用这个系统弱点出奇地容易。”佩林说，计算机程序所提出的击败人工智能策略“并非很常见，但对人类来说也不是特别难”。他补充说，中等水平的棋手就可以用这种方法来击败人工智能。他还用这种方法战胜了另一个顶级人工智能下棋系统LeelaZero。格利夫补充说，计算机先是与KataGo下了100多万盘围棋，发现了人类棋手可以利用的漏洞。7年前，世界围棋冠军李世石以1比4的比分输给了谷歌设计的AlphaGo系统。退役3年后，李世石曾表示，人工智能“无法击败”。现在看来，这一说法过于悲观。虽然佩林没有与AlphaGo直接交锋，但所击败的两个人工智能系统与AlphaGo不相上下。他在实战中采用的是一种“声东击西”的策略，人类棋手很容易识破的这种诡计似乎让人工智能束手无策。加州大学伯克利分校计算机科学教授斯图尔特·拉塞尔(StuartRussell)表示，在一些最先进的围棋人工智能系统上发现弱点，表明支撑当今最先进人工智能的深度学习系统存在根本缺陷。他补充说，这些系统只能“理解”它们过去接触过的特定情况，无法像人类一样进行概括。罗素说：“这再次表明，我们过于草率地将超人智力水平归功于机器。”研究人员表示，让围棋人工智能系统失灵的确切原因还只是一个猜测。格利夫说，一个可能原因是佩林所使用的战术很少被使用，这意味着人工智能系统没有接受过足够多的类似训练，无法意识到自己的弱点。他补充说，当受到针对围棋计算机的那种“对抗性攻击”时，发现人工智能系统缺陷是很常见的。尽管如此，“我们看到非常大的(人工智能)系统在几乎没有验证的情况下被大规模部署”。...PC版：https://www.cnbeta.com.tw/articles/soft/1345187.htm手机版：https://m.cnbeta.com.tw/view/1345187.htm

AI教父发出警告：新版人工智能会让杀人机器人变为现实

AI教父发出警告：新版人工智能会让杀人机器人变为现实对毕生工作感到有些后悔欣顿周一正式加入到人工智能批评者的行列。批评者们认为，那些积极开发基于人工智能的产品的企业是在加速走向危险。欣顿说，他已辞去谷歌的工作，并对自己一生致力于人工智能开发感到有些后悔，欣顿已为谷歌效力长达十年。欣顿从人工智能奠基人到末日预言者的转变，标志着科技产业的一个关键时刻，该行业正处于几十年来最重要的转折点。业界领袖认为，人工智能系统的重要性可与上世纪90年代初引入网络浏览器媲美，并可能给从制药到教育等一系列领域带来突破。但许多业内人士担心，这有可能是一项危险的技术。人工智能已经成为生成错误信息的工具。很快，它就会带来就业风险。对人工智能感到最不放心的业界人士甚至认为，人工智能可能对人类构成威胁。欣顿说：“很难找到防止坏人用它做坏事的方法。”在旧金山初创企业开放人工智能研究中心(OpenAI)今年3月发布新版ChatGPT之后，1000多名技术领袖和研究人员签署公开信，呼吁在6个月内暂停开发人工智能新系统。几天后，有40年历史的人工智能促进会的19名现任和前任领导人发表公开信，警告人工智能存在风险。人工智能“变得越来越危险”1972年，作为英国爱丁堡大学的一名研究生，欣顿接受了所谓人工神经网的概念，即通过分析数据学习技能的系统，并以研发该系统作为主要工作。20世纪80年代，欣顿在卡内基-梅隆大学计算机系担任教授，但后来离开该大学前往加拿大，因为他不想接受五角大楼的经费资助。当时，美国的大部分人工智能研究都是由国防部资助的。但欣顿强烈反对在战场上使用人工智能，即他所说的“机器士兵”。2012年，欣顿博士和他在多伦多的两名学生伊利亚·苏茨克韦尔和亚历克斯·克里舍夫斯基共同创建了一个人工神经网，它可以通过分析数千张照片建立自己识别物体的能力，比如认识花、狗和汽车。谷歌斥资4400万美元收购了由欣顿博十及其两名学生创办的公司。他们创建的系统催生了越来越强大的技术包括聊天机器人ChatGPT和谷歌的巴德(Bard)。苏茨克韦尔后来成为OpenAI的首席科学家。大约同一时间，谷歌、OpenAI和其他公司开始建立通过大量数字化文本学习的人工神经网。去年，谷歌公司和OpenAI公司开始利用更庞大的数据建立人工智能系统。欣顿博士认为，这些系统在某些方面仍然不如人脑，但在其他方面已经超过了人类智力。他认为，随着企业逐渐升级人工智能系统，它们将变得越来越危险。杀人机器人或会变为现实现在，微软用聊天机器人加强了必应搜索引擎，谷歌也想采用同样的技术。欣顿说，科技巨头们已经陷入一场可能无法停止的竞争。他眼下最担心的是，互联网上将充斥着各种虚假照片、虚假视频和文字普通人“再也无法知道什么是真的了。”他还担心人工智能会颠覆就业市场。目前，ChatGPT这样的聊天机器人还是人类的助手，但它们已经可以胜任一些死记硬背的工作。欣顿说：“这不仅会夺走工作机会，它会夺走更多。”欣顿担心，新版本的人工智能会对人类构成威胁，因为它们往往会通过分析海量数据学会令人意想不到的本领。他说这会带来问题因为技术人员和公司不仅允许人工智能系统自己生成代码，而且还允许它们自行运行代码。他担心，有朝一日这会使杀人机器人变为现实。他说：“过去，有人认为这种东西会变得比人更聪明，我认为这样想为时过早，成为现实至少还需要30到50年甚至更长时间。显然我现在不这么认为了。”欣顿博士认为，谷歌和微软等公司之间的竞争将升级为一场全球竞赛，除非有某种形式的全球监管，否则竞赛不会停止。但他说，监管不太可能，因为与核武器不同，目前无法知道企业或国家是否在秘密研发这项技术。最大的希望是世界顶尖科学家联手找到控制这项技术的方法。欣顿说：“我认为，不应再升级该技术，直到人们确定是否能控制住人工智能。”...PC版：https://www.cnbeta.com.tw/articles/soft/1358583.htm手机版：https://m.cnbeta.com.tw/view/1358583.htm

研究人员称 GPT-4 通过图灵测试

研究人员称GPT-4通过图灵测试《生活科学》报道，OpenAI的GPT-4已经通过了图灵测试，这意味着该模型在对话中能够表现出类似人类的智能水平。图灵测试由计算机科学家阿兰·图灵提出，是评估人工智能是否能够与人类表现出相同智能的标准。此次测试结果显示，GPT-4的表现足够逼真，足以欺骗评判者，使其难以分辨其与人类的对话。关注频道@ZaiHuaPd频道爆料@ZaiHuabot