AI学会欺骗和操纵人类科学家呼吁政府严防

None

相关推荐

封面图片

中国和西方科学家呼吁对先进人工智加强监管,警告AI未来会对“人类的生存构成威胁”

中国和西方科学家呼吁对先进人工智加强监管,警告AI未来会对“人类的生存构成威胁” 中国的人工智能科学家与西方学者一起呼吁对这项技术进行比英国、美国和欧盟提议的更严格的控制,各国在本周的全球人工智能安全峰会之前摆出了相互竞争的立场。 周三在英国布莱切利公园举行的峰会的几位中国学术与会者签署了一份声明,警告先进的人工智能将在未来几十年对“人类的生存构成威胁”。 该组织包括中国最著名的计算机科学家之一姚期智,呼吁建立一个国际监管机构,对先进人工智能系统进行强制注册和审核,纳入即时“关闭”程序,并要求开发者花费他们的研究预算的百分之三十用于人工智能安全。 这些提案比美国总统乔·拜登本周发布的人工智能行政命令(其中包括算法歧视和劳动力市场影响)以及欧盟拟议的人工智能法案(重点保护隐私等权利)更关注存在风险。 该声明还比英国首相里希·苏纳克(Rishi Sunak)为具有里程碑意义的峰会起草的人工智能安全公报草案走得更远,该公报没有呼吁各国政府实施具体监管。 这些措施是在北京和华盛顿之间围绕关键技术的世界领导地位紧张局势加剧之际,中国可能对全球人工智能监管采取的立场的早期迹象。

封面图片

研究发现更多的动物存在意识 科学家呼吁重新思考动物与人类的关系

研究发现更多的动物存在意识 科学家呼吁重新思考动物与人类的关系 据《自然》报道,基于上述持续扩展的研究,一个科学家联盟呼吁重新思考动物与人类的关系。上个月,不同领域的几十名科学家联合签署了《纽约动物意识宣言》,旨在推动更多对动物意识的研究和资金支持。英国伦敦政治经济学院哲学家、该宣言作者之一Jonathan Birch表示,随着证据的积累,科学家们开始认真对待这个话题,而不是像过去那样将其视为一个疯狂的想法并断然驳回。该宣言指出,对于可能有意识体验的动物,人类在作影响它们的决策时忽视这种可能性,是不负责任的表现。不过,对于哪些物种一定有意识体验,宣言并没有给出明确的答案,而是指出有足够的证据表明,在与人类截然不同的物种中,存在某种意识体验的现实可能性,比如爬行动物、鱼类、昆虫以及其他一些不被认为有精神生活的动物可能有意识体验,而鸟类和哺乳动物则有强有力的科学研究支持其存在意识体验。Birch表示,意识的定义很复杂,但其研究小组专注于研究意识的一个方面,即感知。这通常被定义为具有主观体验的能力。对于动物来说,这种体验包括闻、尝、听或触摸周围的世界,以及感受恐惧、快乐或痛苦。但主观经验并不需要思考自己经历的能力。“由于非人类动物不能用语言来表达内心状态,为了评估这些动物的意识,科学家通常依靠间接证据,寻找与意识体验相关的某些行为。”Birch说。其中,一个非常经典的实验是“镜子测试”。这是一个自我认知能力测试,即测试动物是否有能力辨别自己在镜子中的影像。在这个实验中,科学家们在动物身上贴上贴纸或其他视觉标记,并将动物放在镜子前。包括黑猩猩、亚洲象和清洁鱼在内的一些动物对标记表现出好奇,甚至试图去除它。这种行为表明了它们可能存在自我意识,这可能是意识体验的一个迹象。而对乌鸦、章鱼等开展的实验也表明它们的一些行为是意识体验的潜在标志。此外,一项果蝇研究表明,它们既有深度睡眠,也有主动睡眠。在主动睡眠中,果蝇大脑的活动与其清醒时相同。“这可能类似于人类的快速眼动睡眠,这种睡眠下会做最生动的梦。我们将其解释为有意识的体验。”研究果蝇行为的澳大利亚昆士兰大学生物学家Bruno van Swinderen签署了宣言,有些人认为梦是意识的关键组成部分,如果苍蝇和其他无脊椎动物有活跃的睡眠,那么这可能是一个很好的线索,表明它们可能有意识。不过,也有研究人员对现有的动物意识证据持怀疑态度。“我认为到目前为止基本上没有任何决定性证据出现。”日本理化学研究所脑科学研究中心神经科学家Hakwan Lau说,越来越多的研究表明动物有复杂的感知行为,但这并不一定意味着有意识。比如,在人类身上,既存在有意识的感知,也存在无意识的感知。不过,有研究人员表示,即使没有明确的答案,该宣言仍可能对制定与动物伦理和福利有关的政策产生积极影响。 ... PC版: 手机版:

封面图片

#科学家

封面图片

25位世界顶尖科学家在《科学》呼吁应采取更强有力行动防范AI风险

25位世界顶尖科学家在《科学》呼吁应采取更强有力行动防范AI风险 文章截图:《科学》网站自6个月前在英国布莱奇利公园举行第一届AI安全峰会以来,世界各国领导人承诺以负责任的方式管理AI,但是AI专家认为这依然不够。随着第二届AI安全峰会(5月21日至22日)在韩国首尔举行,25位世界顶尖AI科学家呼吁,全世界应对AI风险采取更强有力的行动。发表于《科学》杂志的一份专家共识文章中,专家组概述了全球应采取的紧急政策优先事项。文章作者之一、英国牛津大学工程科学系教授菲利普·托尔表示:“在上届AI峰会上,世界一致认为我们需要采取行动,而现在是时候将模糊的建议转变为具体的承诺了。”安全性研究严重匮乏这25位全球顶尖的AI及其治理专家来自美国、中国、欧盟、英国和其他AI技术强国,其中包括图灵奖获得者以及诺贝尔奖获得者。这也是首次由国际专家组就AI风险的全球政策制定达成一致。文章指出,全球领导人需认真考虑,在未来十年内可能开发出超越人类能力的通用AI系统。他们表示,尽管世界各国政府一直在讨论先进AI,并尝试引入初步指导方针,但这与许多专家期望的快速、变革性进展仍有距离。目前关于AI安全的研究严重缺乏,只有1%3%的AI出版物涉及相关安全问题。此外,全球没有适当的机制或机构来防止滥用和鲁莽行为,包括如何使用能独立采取行动和自行实现目标的自治系统。在快速发展中防范极端风险文章建议,各国政府需建立可快速行动的AI监管机构,并为这些机构提供资金。美国AI安全研究所目前的年度预算为1000万美元,听起来并不少,但相比之下,美国食品和药物管理局(FDA)的预算达67亿美元。AI领域需要更严格的风险评估并制定可执行的措施,而不是依赖一些不甚明确的模型评估。应要求AI研发企业优先考虑安全性,并证明其系统不会造成伤害,AI开发人员要承担起证明安全性的责任。人们还要有一个与AI系统带来的风险水平相称的缓解办法,解决之道是制定一个“自动”政策,当AI达到某些能力里程碑时“自动触发”如果AI发展迅速,这一严格的要求就会自动生效;如果进展缓慢,要求将相应放缓。对于能力超凡的未来AI系统,政府必须作好带头监管的准备。这包括许可开发,限制其在关键社会角色中的自主权,停止部署部分能力,强制执行访问控制,以及要求对国家级黑客采取强有力的信息安全手段,直到人们准备好足够的保护措施。谨记AI不是玩具不列颠哥伦比亚大学AI教授、强化学习领域专家杰夫·克伦纳表示,太空飞行、核武器和互联网等技术在数年内就从科幻变成了现实,AI也不例外。“我们现在必须为那些看似科幻小说的风险做好准备”。现在,AI已经在黑客攻击、社交操纵和战略规划等关键领域取得了快速进展,并可能很快带来前所未有的关于“控制”的挑战。AI系统可能会为了实现某个“不良目的”而骗取人类信任、获取资源并影响关键决策者。为了避免人为干预,它们还可以在全球服务器网络上复制自身算法。在这种情况下,大规模网络犯罪、社会操纵和其他危害会因此迅速升级。而在公开冲突中,AI系统能自主部署各种武器,甚至包括生物武器。因此,当AI的进步不受控制,很可能最终导致大规模生命损失、生物圈破坏、人类边缘化甚至灭绝。美国加州大学伯克利分校计算机科学教授斯图尔特·卢塞尔表示:“此次是权威专家的共识文章,其呼吁政府严格监管,而不是自愿制定一些规范行业的行为。”“企业可能抱怨说满足这些法规太难,但所谓‘法规扼杀创新’的说法是荒谬的。”卢塞尔这样说,“是时候认真对待先进AI系统了,它们不是玩具。在我们了解如何确保它们的安全性之前,轻易增强它们的能力是完全鲁莽的行为。” ... PC版: 手机版:

封面图片

Meta首席科学家:大模型永远达不到人类智力 正开发替代AI系统

Meta首席科学家:大模型永远达不到人类智力 正开发替代AI系统 杨立昆表示,大语言模型“对逻辑的理解非常有限……不了解物理世界,没有持久的记忆,不能以任何合理的术语定义来推理,也无法进行层次化的规划”。他在接受英国《金融时报》采访时表示,不要依靠先进的大语言模型来追求人类水平的智力,因为这些模型只有在获得正确训练数据的情况下才能准确回答提示,因此“本质上是不安全的”。眼下,杨立昆正在努力开发全新一代的AI系统,希望这些系统能够为机器提供人类水平的智力,尽管他表示这一愿景可能需要10年才能实现。他在Meta基础AI研究实验室(Fair)领导者着一个大约500人的团队。他们正致力于创造能够具备常识,像人一样学习世界运作方式的AI,这种方法被称为“世界建模”。不过,一些专家对于杨立昆的愿景表示怀疑。杜兰大学计算机科学副教授阿隆·库洛塔(Aron cullotta)表示,长期以来,常识一直是“AI的眼中钉”,教授模型因果关系具有挑战性,使得它们“容易受到这些意想不到的失败的影响”。Meta的一名前AI员工将“世界建模”努力描述为“模糊不清的东西”,“感觉就像宣示领地。”另一名现任员工表示,Fair尚未证明自己是DeepMind等研究机构的真正竞争对手。但是,杨立昆认为,从长远来看,这项技术将能够驱动AI代理,后者可以通过可穿戴技术(包括增强现实或智能眼镜)和肌电“手链”等与用户互动。“AI代理要想真正有用,它们需要具备类似于人类水平的智力。”他表示。 ... PC版: 手机版:

封面图片

计算机科学家认为不应神化 AI

计算机科学家认为不应神化 AI 计算机科学家 Jaron Lanier 在《纽约客》发表文章《There Is No AI》,提出应停止对人工智能的神化,而将其作为一种创新的社会协作形式来看待。他反对最近呼吁停止训练更高级人工智能的联署信,并再次提出“数据尊严”概念:结束人工智能黑箱,记录比特的来源,“人们可以为他们创造的东西获得报酬,即使这些东西是通过大模型过滤和重新组合的”,“当一个大模型提供有价值的输出时,数据尊严的方法将追踪最独特和有影响力的贡献者。” 频道 @WidgetChannel 投稿 @WidgetPlusBot

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人