AI能毁灭人类?这是不是危言耸听?

AI能毁灭人类?这是不是危言耸听?“减轻AI带来的灭绝风险,应该与流行病和核战争等其他社会规模风险一起,成为全球的优先事项。”这封只有一句话的公开信这么写道。这封信是科技行业对于AI发出的最新不详警告,但是明显缺乏细节。今天的AI系统无法摧毁人类,有些AI系统甚至还不会加减法。那么,为什么最了解AI的人会如此担心呢?怕什么?一些科技行业的“乌鸦嘴”说,总有一天,企业、政府或独立研究人员能够部署强大的AI系统来处理从商业到战争在内的一切事务。这些系统可能会做一些人类不希望它们做的事情。如果人类试图干扰或关闭它们,它们可以抵抗甚至复制自己,这样它们就可以继续运作。“今天的系统根本不可能构成生存风险,”蒙特利尔大学教授、AI研究员约书亚·本吉奥(YoshuaBengio)表示,“但是一年、两年、五年以后呢?有太多的不确定性。这就是问题所在。我们不能确定这些系统不会达到某个临界点,引发灾难性后果。”对于AI的威胁,忧虑者经常使用一个简单的比喻。他们说,如果你要求一台机器制造尽可能多的回形针,它可能会失去控制,把一切都变成回形针工厂,包括人类。那么,这种威胁与现实世界或者不远的未来能够想象的世界有何关系呢?企业可以让AI系统具备越来越多的自主性,并将其连接到重要的基础设施上,包括电网、股市和军事武器。它们可能会从那里引发问题。对于许多专家来说,这原本似乎并不可信,直到去年,OpenAI展示了他们技术的重大改进。这些最新技术表明,如果AI继续以如此快的速度发展,可能会发生一些意想不到的事情。“随着AI变得越来越自主,它将逐渐被授权,并可能篡夺当前人类和人类管理的机构的决策和思考权力。”加州大学圣塔克鲁兹分校的宇宙学家安东尼·阿吉雷(AnthonyAguirre)表示,他也是未来生命研究所的创始人之一,该组织是两封警告AI危险性公开信中的一封的背后推动者。他表示:“未来某个时刻,人们会清楚地意识到,主导社会和经济的巨大机器并非真正受人类控制,也无法像关闭标准普尔500指数一样被关闭。”这或许只是理论上的说法。其他AI专家认为,这是一个荒谬的假设。“对于生存风险的讨论,我可以用一个礼貌的词语来形容我的看法,这些担忧只是‘假设’。”西雅图研究实验室艾伦AI研究所的创始CEO奥伦·埃齐奥尼(OrenEtzioni)这么说。AI有这种能力了吗?还没有。但是,研究人员正在将ChatGPT这样的聊天机器人转变为能够根据他们生成的文本采取行动的系统。一个名为AutoGPT的项目就是最典型的例子。该项目的想法是给AI系统设定目标,比如“创办一家公司”或“赚一些钱”。然后,系统会不断寻找实现这一目标的方式,特别是如果它们与其他互联网服务相连接的情况下。像AutoGPT这样的系统可以生成计算机程序。如果研究人员给它访问计算机服务器的权限,它实际上可以运行这些程序。从理论上讲,这是AutoGPT几乎可以在网上做任何事情的一种方式,包括获取信息、使用应用程序、创建新的应用程序,甚至自我改进。目前,AutoGPT这样的系统运转还不够顺畅。他们往往会陷入无尽的循环中。研究人员曾为一个系统提供了复制自身所需的所有资源,但是它还无法复制自身。不过,假以时日,这些限制可能会被突破。“人们正在积极尝试构建自我完善的系统,”Conjecture公司创始人康纳·莱希(ConnorLeahy)说,该公司希望将AI技术与人类价值观保持一致,“目前,这还行不通。但总有一天会的。我们不知道那一天是什么时候。”莱希认为,当研究人员、企业和犯罪分子给这些系统设定“赚一些钱”之类的目标时,AI系统最终可能会闯入银行系统,在持有石油期货的国家煽动革命,或者在有人试图关闭它们时进行自我复制。AI会变坏像ChatGPT这样的AI系统建立在神经网络和数学系统之上,可以通过分析数据来学习技能。大约在2018年,Google和OpenAI等公司开始构建神经网络,让这些网络从互联网上挑选的大量数字文本中学习。通过准确找出所有这些数据中的模式,这些系统学会了自己创作,包括新闻文章、诗歌、计算机程序,甚至是类似人类的对话。最终结果是:像ChatGPT这样的聊天机器人诞生了。由于它们能从更多的数据中学习,甚至超过了它们的创造者所能理解的范围,这些系统也表现出了意想不到的行为。研究人员最近表明,有一个系统能够在网上雇佣一个人来通过验证码测试。当人类问它是不是“机器人”时,系统撒谎说它是一个有视力障碍的人。一些专家担心,随着研究人员让这些系统变得更强大,用越来越多的数据对它们进行训练,它们可能会学到更多的坏习惯。早有警告声音其实在21世纪初,一位名叫埃利泽·尤德科夫斯基(EliezerYudkowsky)的年轻作家已经开始警告说,AI可能会毁灭人类。他的网上帖子催生出了一个信徒社区。这个群体被称为理性主义者或有效利他主义者(EA,以改善世界为目标),在学术界、政府智库和科技行业都具有巨大的影响力。尤德科夫斯基和他的文章在OpenAI和DeepMind的创建过程中发挥了关键作用。DeepMind是一家AI实验室,2014年被Google收购。许多来自“有效利他主义者”社区的人在这些实验室里工作。他们认为,因为他们了解AI的危险,所以他们最能够开发AI。AI安全中心和未来生命研究所是最近发布公开信警告AI风险的两大组织,他们与“有效利他主义者”社区密切相关。除此之外,一些AI研究先驱和行业领袖也对AI发出了警告,比如埃隆·马斯克(ElonMusk),他长期以来一直在警告这种风险。最新一封警告信由OpenAICEO萨姆·阿尔特曼(SamAltman)、戴米斯·哈萨比斯(DemisHassabis)签署。哈萨比斯协助创立了DeepMind,现在负责管理一个新的AI实验室,该实验室汇集了DeepMind和Google的顶尖研究人员。其他一些备受尊敬的人物也签署了这两份警告信中的一封或两封,其中包括蒙特利尔大学的本吉奥博士和“AI教父”杰弗里·辛顿(GeoffreyHinton),后者最近辞去了Google高管和研究员职务。2018年,本吉奥和辛顿一同获得了“计算界的诺贝尔奖”图灵奖,以表彰他们在神经网络方面所做的工作。拖延战术?大数据公司Palantir的老板亚历克斯·卡普(AlexKarp)近日表示,他反对暂停AI研究的想法,那些提出这种想法的人是因为他们没有自己的AI产品。卡普周四在接受采访时说,“那些没有什么产品可以提供的人,想利用暂停时间来研究AI”,但是如果暂停开发,这可能会导致敌对国不仅在商业应用领域,而且在军事应用领域窃取领先优势。他表示,“让其他人在商业领域和战场上都取得胜利”是一个非常糟糕的策略。卡普称,世界已经在上演一场AI军备竞赛,美国处于领先,但是即便美国放慢脚步,这场竞赛也不会停。...PC版:https://www.cnbeta.com.tw/articles/soft/1364623.htm手机版:https://m.cnbeta.com.tw/view/1364623.htm

相关推荐

封面图片

前OpenAI安全研究员警告:AI毁灭人类的可能性为 20%

前OpenAI安全研究员警告:AI毁灭人类的可能性为20%克里斯蒂亚诺认为机器会逐渐地崛起,人类的终结不是一场突如其来的事件,而是人工智能逐渐地崛起,人类与机器已经透过诸如自动驾驶汽车、无人机等已经渗透到了生活中。而当AI超越人类智商阈值时,一切皆有可能。克里斯蒂亚诺认为,AI杀消灭人类的最可能方式是日常生活中部署的所有AI联合起来,而不是突然消灭人类。克里斯蒂亚诺的新非营利组织AlignmentResearchCenter基于人工智能对齐的概念,该概念早在2018年就被广泛定义为让机器的动机与人类的动机保持一致。尽管OpenAI口头上说要对齐,声称它“旨在使人工智能(AGI)与人类价值观保持一致并遵循人类意图”,但仍需要进行更多的研究和开发,以确保安全和合乎道德地开发人工智能。确保机器的动机与人类的动机一致对于防止人工智能毁灭的可能性至关重要。...PC版:https://www.cnbeta.com.tw/articles/soft/1358433.htm手机版:https://m.cnbeta.com.tw/view/1358433.htm

封面图片

平正和 | 世界隔离中国绝非危言耸听

随着世界疫情加剧和“战狼”外交扩大,中国与西方国家在抗疫问题上的矛盾愈演愈烈。如果不改变这种局面,疫情过后,隔离中国、去中国化、与中国脱钩,绝不是一种虚拟的假设,而是残酷的现实。

封面图片

DeepMind 研究员论文称 AI 将消灭人类

DeepMind研究员论文称AI将消灭人类来自谷歌DeepMind和牛津大学的研究人员发表的一篇新论文称,超级智能的AI“很可能”会给人类带来生存灾难。这篇论文设想地球上的生命将变成人类与超级先进的机器之间的零和游戏。他们认为,在一个资源有限的世界里,对这些资源的竞争是不可避免的。在未来的某个时刻,监督某些重要功能的高级AI可能被激励想出作弊策略,以损害人类的方式获得其奖励。来自:雷锋频道:@kejiqu群组:@kejiquchat投稿:@kejiqubot

封面图片

研究:部分AI系统已经学会欺骗人类

研究:部分AI系统已经学会欺骗人类近期一项研究显示,部分人工智能系统已经学会“撒谎”,其中包括一些号称已被训练得诚实且乐于助人的系统。新华社报道,美国麻省理工学院的研究团队星期六(5月11日)发表在《模式》(Patterns)科学杂志的研究指出,部分人工智能(AI)系统通过习得性欺骗,系统地学会了“操纵”他人。随着AI技术飞速发展,人们一直关心AI是否会欺骗人类。这项研究在文献中列举了一些AI学习传播虚假信息的例子,其中包括Meta公司的“西塞罗”(Cicero)AI系统。这套系统最初设计目的是在一款名为“外交”(Diplomacy)的战略游戏中充当人类玩家的对手,游戏的获胜关键是结盟。Meta公司声称,西塞罗系统“在很大程度上是诚实和乐于助人的”,并且在玩游戏时“从不故意背刺”它的人类盟友,但该公司发表的论文数据显示,该系统在游戏中并未做到公平。这项研究的第一作者、美国麻省理工学院(MIT)研究AI存在安全的博士后研究员帕克(PeterPark)说,西塞罗系统已经成为“欺骗大师”。它在玩家排行榜中排名前10%,但公司没能训练它诚实地获胜。举例来说,在游戏中扮演法国的西塞罗与人类玩家扮演的德国合谋,欺骗并入侵同为人类玩家扮演的英国。西塞罗承诺会保护英国,却偷偷向德国通风报信。其他一些AI系统则展现出虚张声势、假意攻击对手、在谈判游戏中为占上风而歪曲偏好等能力。帕克指出,这些危险功能常常在事后才被发现,而当前技术训练诚实倾向而非欺瞒倾向的能力非常差。研究人员说,虽然AI系统在游戏中作弊看似无害,但可能会导致“欺骗性AI能力的突破”,并在未来演变成更高级的AI欺骗形式。帕克说:“我们需要尽可能多的时间,为未来AI产品和开源模型可能出现的更高级欺骗做好准备。我们建议,将欺骗性AI系统归类为高风险系统。”2024年5月12日7:12PM

封面图片

港府斥美驻港澳总领事言论失实 纯属危言耸听

港府斥美驻港澳总领事言论失实纯属危言耸听香港特区政府星期四(1月26日)发声明严厉谴责美国驻港总领事梅儒瑞星期三(25日)在美国智库举办的研讨会上有关《香港国安法》,以及香港法治、权利和自由的不实言论和污蔑抹黑,并指其言论失实,纯属危言耸听。据《明报》报道,美国驻港澳总领事梅儒瑞(GregoryMay)到港就任四个月,星期三受邀出席美国华府智库战略与国际研究中心(CSIS)主办的香港经济前景研讨会,并发表视频讲话。他在讲话中提到,中国全国人大常委会上月就《香港国安法》释法,将扩大香港行政当局的权力且缺乏司法机构监察,可能进一步破坏香港司法独立。梅儒瑞说,《香港国安法》的实施或影响香港公司运作及其员工,并提醒北京的行动或导致香港人才流失、影响香港国际金融中心的地位。据港府新闻网26日消息,港府在声明坚决反对任何对港府维护国家安全工作的偏颇评论。港府并再次强烈敦促美国政府立即停止不符合国际法和国际关系基本准则的行为,立即停止干涉香港事务。对于梅儒瑞针对香港落实《香港国安法》的失实和无理指控,港府直斥纯属无事生非,危言耸听。就梅儒瑞对中国全国人民代表大会常务委员会去年就《香港国安法》作出解释的肆意歪曲和蓄意抹黑,港府严正指出,全国人大常委会根据《中华人民共和国宪法》和《香港国安法》的相关规定行使解释权,是“一国两制”原则下的重要一环,体现法治原则。全国人大常委会这次作出的立法解释,并不直接处理具体司法案件,而是厘清有关法律规定的含义和适用法律的依据,绝不存在损害香港法院受《基本法》保障的独立审判权和终审权的问题。这次释法并没有在这方面向行政长官授予额外权力,只是澄清该条款可以适用于处理有关海外律师的争议。就《香港国安法》实施方面,港府重申,美国倡议某种背景的人士、机构或组织不应就其违法行为和活动受到法律制裁,等同给予其犯法特权,完全违反法治精神。《香港国安法》清楚列出所规定的四类危害国家安全罪行。只要严格遵守香港法律,无论是香港居民或海外旅客及投资者,都不会误坠法网。...发布:2023年1月27日12:32PM

封面图片

邓炳强批评彭博社评论文章危言耸听

邓炳强批评彭博社评论文章危言耸听香港保安局局长邓炳强致函彭博社,强烈反对并谴责其评论文章对基本法第23条立法的误导。综合《星岛日报》和《明报》报道,邓炳强星期二(3月12日)致函彭博社,反驳该社同日刊发的一篇题为《香港新国安法含糊不清令人担忧》(HongKong’sNewSecurityLawIsWorryinglyVague)的评论文章内容,称该文危言耸听。彭博社评论文章提及,根据23条草案,如果发现有公司和组织为外国势力工作,香港特首可以禁止他们在港运营,并质疑会引起外国企业担忧。对此,邓炳强在信中称,评论文章中有关“外部势力”的言论是不准确的,企业和组织不会因为“被发现为外国势力工作”而被禁止营运。他说明,拟议的罪行旨在逮捕那些与外部势力勾结并使用不正当手段,例如故意作出重大不实陈述、使用暴力、威胁损害他人财产或名誉,意图造成干扰效果,例如干扰有关个人或组织,包括选举。正常正当的营商活动和对外交往不可能在无意间违法。邓炳强认为,文章将香港特别行政区的执法行动与澳洲和新加坡的执法行动进行比较,也具有严重误导性。铲除国家安全属严重罪行,没有国家会袖手旁观,并称该篇评论文章也忽视了特区制定23条宪制责任。邓炳强说,草案明确规定,维护国家安全立法的基本原则之一是尊重和保护人权;也明确界定了犯罪的要素,并规定了适当的免责辩护条件,以确保公众不会无意中触犯法律,从而维护法治。他强调,维护国家安全、经济与人权相辅相成,23条立法是为了更好地维护香港居民和其他人权的权利和自由。此前,邓炳强星期一(3月11日)致函《华盛顿邮报》,反驳该报10日刊发的一篇题为《香港以新安全法加倍镇压》(Withnewsecuritylaw,HongKongdoublesdownonrepression)的评论文章内容,并指其论调不当且具误导性。2024年3月13日11:15AM

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人