一文解析OpenAI宫斗背后真正的“无形之手”

一文解析OpenAI宫斗背后真正的“无形之手”有效利他主义是如何影响AI领域的?有效利他主义(EffectiveAltruism)于21世纪初萌芽,这套哲学理念希望用证据和推理来选择最有效的方式以造福他人,即最大或更好地行善。对有效利他主义者而言,一个很重要的目标就是改善这个世界,而且做到愈有效率愈好。这意味着:他们会透过理性分析、衡量状况,确保手中的资源能够发挥最大的作用,以最终达到改善世界的目的!这个理念被那些致力于动物权利和气候变化的人所接受,他们从哲学家、数学家和未来预测家那里汲取思想,影响着硅谷和其他地方的人工智能研究界。按照这一理念推演,在互联网科技领域,“开源”“免费”“去中心化”等均有利于最大程度地行善,而以营利为基本目标的公司组织形态则与之背道而驰。而在AI领域,有效利他主义者相信,精心打造的人工智能系统在注入正确的人类价值观后,将带来一个黄金时间,但如果做不到这一点,可能会带来世界末日般的后果。OpenAI于一年前发布了ChatGPT,它的问世其实就部分基于有效利他主义的原则。奥特曼和马斯克于2015年开始组建OpenAI,两人当时的愿景便旨在实现通用人工智能(AGI),这是一种推理能力达到或超过人类水平的系统。他们当时表示,希望以一种造福人类的方式实现这一目标,而不仅仅是为企业牟利。而在某种程度上,OpenAI过去一周的动荡,本身也是一场由此产生的理念之争:一方是相信市场规律的群体,而另一方是相信赋予道德、理性、数学和精确调整的机器,才能更为安全地指引人类未来的有效利他主义者。四位董事中有三位有效利他主义者?有效利他主义者认为,一味追求人工智能可能会毁灭人类。对于人工智能的发展,他们更倾向于安全而非速度。而不少这场运动的参与者,本身便是过往一年帮助形成人工智能热潮的引领者。据熟悉OpenAI内部争议的人士表示,上周五被OpenAI董事会解雇的奥特曼,与公司首席科学家兼董事会成员IlyaSutskever在人工智能安全问题上,就曾发生过激烈冲突。而Sutskever过往的一系列立场,其实就反映了有效利他主义者对当前AI高速发展的担忧。如同许多人在这场OpenAI“宫斗大戏”后了解到的那样,IlyaSutskever是“深度学习之父”GeoffreyHinton的学生。GeoffreyHinton今年早些时候从谷歌辞职,就是为了能更好地对人工智能安全提出警告,而作为Hinton的学生,Sutskever对AI的担心很早就存在。在今年7月,OpenAI正式宣布成立一个新的研究团队“超级对齐”(Superalignment)团队,这恰恰便是由Sutskever领导的一项工作——计划未来4年投入20%算力,用AI监督AI的方式,解决超智能“AI对齐”问题。“AI对齐”的意思是,要求AI系统的目标要和人类的价值观与利益相一致。而与Sutskever存有类似观点的,还有最初投票驱逐奥特曼的另两位董事——TashaMcCauley和HelenToner。TashaMcCauley是一位技术高管,也是有效利他主义慈善机构——有效风险投资公司(EffectiveVentures)的董事会成员,而HelenToner则是乔治城大学安全与新兴技术中心的高管,该中心得到了一个致力于有效利他主义事业的慈善机构的支持。熟悉内情的人士说,他们在董事会中占到了推翻奥特曼所需四票中的三票。OpenAI周三宣布,奥特曼将重新担任该公司首席执行官,而上述三人——IlyaSutskever、TashaMcCauley和HelenToner,则均已不在最新的董事会成员名单之上。可以说,有效利他主义阵营虽然在这场“宫斗大戏”的前半段,闪电般地驱逐了奥特曼,但最终仍在这场博弈中“一败涂地”。然而,眼下发生在OpenAI身上的一切,就真的已经是这场故事的最终大结局了吗?显然,未必!理念之争料将伴随AI发展事实上,从2014年左右开始,有效利他主义者就已经开始意识到先进人工智能系统存在导致人类灭绝的风险——这被他们视作一种与气候危机程度相当的危险。这一启示恰逢瑞典哲学家尼克·博斯特罗姆出版了《超级智能》一书,该书将“回形针”作为人工智能危险的象征。这个设想的概念很简单,但却又很可怕——如果一台机器的唯一目标就是最大化的量产回形针,那它有可能会发明些匪夷所思的技术,只为了把宇宙中能用的资源都转化成回形针,最终毁灭人类。去年秋天的一天,数千个OpenAI徽标形状的回形针,被寄到了该公司位于旧金山的办公室。似乎没有人知道他们来自哪里,但每个人都知道他们的含义……这个恶作剧据说是由OpenAI同城竞争对手Anthropic的一名员工干的,该公司本身就是由一群OpenAI出走的前员工创建,单飞的原因据说也是基于人工智能安全问题的分歧。而很有意思的是,在IlyaSutskever等人上周末最初逼走奥特曼后,第一时间爆出的消息——居然便是想要让OpenAI和Anthropic合并。在许多并非有效利他主义的信奉者眼中,他们的思想似乎很难被认同。风险投资家、OpenAI投资人VinodKhosla在《TheInformation》的一篇评论文章中就写道:“OpenAI董事会成员对‘有效利他主义’的信仰及其错误应用,可能会阻碍世界通往人工智能的巨大利益之路。”奥特曼今年春天在全球巡回演讲时,虽然警告人工智能可能造成严重危害,但他同样认为有效利他主义是一种“漏洞百出的运动”,表现出“非常奇怪的突发行为”。风险投资公司AndreessenHorowitz的联合创始人MarcAndreessen和初创企业孵化器YCombinator的首席执行官GarryTan也对这一运动提出了批评。Tan称这是一种没有实质意义的“美德信号哲学”,应予以摒弃,以解决真正的问题,创造人类的富足。普林斯顿大学一个研究该运动的团队研究员ShazedaAhmed则指出,有效利他主义者对人工智能将毁灭人类的迫切恐惧,“遮蔽了他们接受对该文化外部批评的能力。这对任何试图解决任何棘手问题的群体来说都不是好事。”不过,人们如今显然将无法忽视有效利他主义在硅谷乃至AI领域的影响力。这场运动的支持者包括Facebook的联合创始人DustinMoskovitz和Skype联合创始人JannTallinn,他们已承诺为有效利他主义研究提供数十亿美元。在去年FTX爆雷之前,FTX创始人SamBankman-Fried也曾认捐了数十亿美元。最后,还有一个举足轻重的名字显然更为不容人们忽视——特斯拉CEO马斯克。马斯克曾表示,有效利他主义运动的创始人、英国哲学教授威廉·麦克阿斯基尔(WilliamMacAskill)“与我的哲学非常吻合”。而在过去一年,马斯克已多次表达了对AI可能毁灭人类的担忧。...PC版:https://www.cnbeta.com.tw/articles/soft/1399325.htm手机版:https://m.cnbeta.com.tw/view/1399325.htm

相关推荐

封面图片

OpenAI再陷宫斗:理想主义者是如何被击碎的?

OpenAI再陷宫斗:理想主义者是如何被击碎的?GPT-4o发布会之后,伊利亚突然更新推文,宣布从OpenAI离职。首席科学家的退出,加速了OpenAI的分裂。伊利亚(左三)与奥特曼(左四)3天后,另一位“超级对齐”的科学家简·雷克(JanLeike),也宣布提桶跑路。简·雷克公开爆料称,两人与奥特曼等高层存在严重分歧,安全团队举步维艰。OpenAI的文化正在“变质”,忽视安全主义而转向“闪亮的产品”。陆续有技术大牛选择离开。一位OpenAI员工对着媒体说道,“注重安全的员工已经对他失去了信心。信任正一点点崩溃,就像多米诺骨牌一张一张倒下一样。”众所周知,OpenAI是一家由理想主义情结捏合起来的机构。然而,对于如何实现这一理想,OpenAI内部却渐渐衍生出了两条不同的路线。伊利亚的离开,意味着他所代表的理想主义,已经彻底败给了另一种理想主义。科学家与狂想家2005年的一个周日,多伦多大学教授辛顿的办公室门外,来了个不速之客。来者是一位数学系的学生,操着一口东欧口音,表情似乎总是愁眉苦脸。彼时,辛顿是极少数仍在研究深度学习的学者,并在多伦多大学组建了一个实验室。这个学生说,他整个夏天都在快餐店兼职炸薯条,现在他更想来这个实验室工作。辛顿打算考考这位急于展现自己的年轻人,给了他一份反向传播的论文。这篇论文写于上世纪80年代,是辛顿最知名的研究成果之一。几天后,这个学生回来了,问他,“你为什么不求导并采用一个合理的函数优化器?”辛顿倒吸了一口气,“我花了5年时间才想到这一点。”这个学生,就是伊利亚。辛顿发现,伊利亚有种非常强大的原始直觉,能靠“第六感”找到正确的技术路线。因此,辛顿将伊利亚视作唯一一个比自己更“天才”的学生。并且,辛顿很快发现,“技术天才”只是伊利亚身上的一个特质。与伊利亚长期共事过的研究员谢尔盖·莱文(SergeyLevine)曾说道,他喜欢大的想法,并且从不惧怕相信。“不怕的人有很多,但他尤其不怕。”2010年,伊利亚在阅读了一篇论文之后,便大胆宣称,深度学习将改变计算机视觉——只需要有人来推动这项研究。在那个深度学习等同于民科的时代,伊利亚这番发言,显然是有些倒反天罡的。然而,他只花了2年,就打了所有人的脸。2012年,辛顿、伊利亚以及克里哲夫斯基三人打造的AlexNet,以高达84%的图像识别正确率,让世界看到了深度学习的潜力,并引发了产业界的狂热追逐。那一年,Google花了4400万美元的天价,只为了将AlexNet的3位作者收入麾下。伊利亚、克里哲夫斯基与辛顿(从左到右)Google工作期间,伊利亚又开始相信一件更宏大的事情:超越人类的超级智能,已经近在眼前。一方面,是因为他发现深度学习的游戏规则变了。此前,研究深度学习的只有一小撮人,资源捉襟见肘。2009年时,辛顿曾短暂地在微软做过一个深度学习项目,连一张价值1万美金的显卡都申请不下来,气得他一顿阴阳怪气,“微软显然是家资金短缺的软件销售商。”然而,自AlexNet之后,无数聪明头脑与热钱涌入,未来被加速了。另一方面,早在学生时期,伊利亚就坚信Scalinglaws。“第六感”告诉他,超级智能并没那么复杂,只需要更多的数据与算力。并且,伊利亚又一次证明了自己是对的。2014年的NIPS学术会议上,伊利亚公布了他最新的研究成果:Seq2Seq(序列到序列)模型。Transformer诞生之前,它曾是Google机器翻译的灵魂。只需要足够的数据,Seq2Seq模型就能表现得很好。伊利亚在路演中提到,一个弱模型永远不可能有好的表现。“真正的结论是,如果你有一个非常大的数据集和非常大的神经网络,那么成功是有保证的。”伊利亚在NIPS2014科学家与狂想家这两张面孔,在伊利亚身上迸发了神奇的化学反应。随着伊利亚对超级智能愈发笃信,他对安全问题的重视也与日俱增。没过多久,伊利亚便遇见了知己。理想主义的天花板2015年,伊利亚收到投资机构YCombinator掌门人萨姆·奥特曼的邀请,前往硅谷的瑰丽酒店参与一场秘密聚会。然而,奥特曼并非这场秘密聚会的主角。马斯克突然现身,告诉现场所有人,他打算成立一间AI实验室。瑰丽酒店促使马斯克这么做的导火索,是数周前的44岁生日派对。当时,马斯克邀请了GoogleCEO拉里·佩奇等一众好友,去度假村玩了3天。晚饭过后,马斯克与佩奇围绕AI展开了激烈争吵。马斯克认为AI会毁灭人类,而佩奇则不以为然,嘲讽他是个“物种主义者”,对硅基生命有偏见。从那之后,马斯克就不怎么和佩奇说话了。在秘密聚会的现场,马斯克等人提到,很少有科学家会考虑自己研究的长期后果。如果任由Google这样的大型企业垄断AI技术,很可能会在无意间造成巨大伤害。因此,他们提出了一种全新的形式:成立一间不受任何人控制、非盈利的实验室。他们同样会去追逐AGI(通用人工智能)的圣杯,但不以盈利为导向,且放弃大多数研究成果,转而面向社会公开(opensource)。马斯克与奥特曼认为,如果所有人都能获得强大的AI,那么“恶意AI”的威胁将大大降低。“我能想到最好的事情,就是让人类以更安全的方式构建真正的AI。”另一位组织者布罗克曼(GregBrockman)说道。伊利亚被这个浪漫的想法打动了。他为此放弃了年薪200万美元的诱惑,毅然加入OpenAI。成立的头15个月,OpenAI并没有设立具体的战略方向。Google科学家达里奥·阿莫迪(DarioAmodei),当时曾拜访过OpenAI,询问在研究什么,OpenAI的管理层竟一时答不上来,“我们现在的目标...是做点好事。”几个月后,阿莫迪跳槽去了OpenAI,一起做点好事。达里奥·阿莫迪2017年3月,奥特曼等领导层意识到该更专注了。然而,在规划AGI路线图的时候,他们却发现了一个严重的问题:算力跟不上了。大模型所需要的算力,每隔3-4个月就会翻一倍;非盈利机构的形式,显然不足以支撑。当时,马斯克提出了一个提案:OpenAI并入特斯拉,由他完全掌管[8]。然而,马斯克低估了奥特曼的野心。奥特曼一直在寻找重大的科学突破,希望凭此打造出一家价值万亿美金的企业。过去,YC最为人熟知的投资案例,是Airbnb。随着奥特曼掌权之后,YC开始挤破脑袋寻找各种研究核聚变、人工智能、量子计算的公司。a16z创始人、风险投资家马克·安德森曾表示,“在奥特曼的领导下,YC的野心水平提高了10倍。”2018年2月,奥特曼将OpenAI管理层都拉拢到了自己的阵营。马斯克从此离开了团队,不再和奥特曼说话,并取消了对OpenAI的后续资助。奥特曼与马斯克两个月后,奥特曼发布了OpenAI的公司章程。在不起眼的角落,他对公司愿景的表述,做了些小小的修改,“我们预计需要调动大量资源来完成使命。”至此,曾经那个高度理想主义的OpenAI,渐渐踏入了另一条河流。第一次分裂2019年2月,OpenAI对外宣告了GPT-2,却没有第一时间对外开源。而后来的GPT-3,更彻底走向了闭源,OpenAI变成了CloseAI。一个月后,OpenAI又改变了“非盈利”的性质,成立了一个营利部门,并接受了微软10亿美金的投资。突然的180度大转向,使得OpenAI内部开始分裂成两个对立的派别:以达里奥·阿莫迪、伊利亚为代表的安全主义,认为必须先确保AI不会威胁人类,再公开发布产品;而以奥特曼、布罗克曼为代表的加速主义,则希望加速AI的普及,从而让更多人使用AI造福世界。从中可以看出,两个派别的行事方式完全相反:安全主义主张先验证安全,再发布;而加速主义主张先扩大市场,再根据测...PC版:https://www.cnbeta.com.tw/articles/soft/1432568.htm手机版:https://m.cnbeta.com.tw/view/1432568.htm

封面图片

ChatGPT之父:目前OpenAI不会上市 要保证对AI的决策权

ChatGPT之父:目前OpenAI不会上市要保证对AI的决策权“我不想被公开市场、华尔街等人起诉,所以不,没那么感兴趣。”奥特曼表示,当开发超级智能时,可能会做出一些让公开市场投资者认为非常奇怪的决定。按照奥特曼的想法,为了保持对OpenAI以及开发人工智能技术的决策权,目前不会让公司上市,因为会影响其个人决策。此前奥特曼就曾表示,自己并不拥有OpenAI的股权,防止股权利益和决策有“冲突”。值得一提的是,今年1月,微软和OpenAI正式宣布,将以“多年、数十亿美元”的投资扩展他们的合作伙伴关系,利用微软Azure云计算服务提供的算力,以更快地实现AI的突破。据报道,微软将向OpenAI公司投资100亿美元。从2019年开始,微软与OpenAI建立了紧密的战略合作关系,前者对OpenAI进行了三次投资。在ChatGPT全球爆火的同时,以其为代表的生成式人工智能也面临许多国家和地区的严格监管。今年5月,奥特曼曾在美国国会就人工智能技术的潜在危险参加听证会,呼吁政府对生成式人工智能进行监管和干预。此次活动上,奥特曼再次谈及AI监管,强调愿意与监管机构合作,开发减少人工智能潜在危害的框架。在5月份的一次访谈中,奥特曼曾提到,可以建立一个类似于国际原子能机构(IAEA)的AI监管机构,让每个人都参与到对极其强大的AI训练系统的全球监管机构中来。在这次活动上,奥特曼再次提到这个想法,“应该确保我们能团结一致,成立一个全球性的组织,希望这个组织能够在监管AI方面发挥真正的作用。”对于AI的未来发展,奥特曼提到,几年后GPT-4将看起来像一个不那么令人印象深刻的小玩具。不过,他也指出,AI可以帮助目前无法进行的科学探索,也已经看到人们开始使用这些工具来提高效率,未来AI或许可以帮助治愈所有疾病,“这将是一个非常美好的世界,我认为我们离这不远了。”不过,奥特曼也提醒,当前处在一个非常微妙的时间点,AI技术今天并没有那么危险,但它会很快变得危险,可以提前做好准备。OpenAI成立于2015年,是聊天机器人ChatGPT的开发公司,旗下拥有大语言模型GPT-3以及多模态模型GPT-4等产品。当地时间6月1日,据营销机构VezaDigital,OpenAI每月活跃用户数量飙升至近10亿,3月共有8.47亿用户访问,跻身全球访问量最高网站Top20。...PC版:https://www.cnbeta.com.tw/articles/soft/1363903.htm手机版:https://m.cnbeta.com.tw/view/1363903.htm

封面图片

奥特曼出席 AI 峰会,首次公开回应 OpenAI 治理和 AI 语音争议等敏感问题

奥特曼出席AI峰会,首次公开回应OpenAI治理和AI语音争议等敏感问题OpenAI首席执行官萨姆・奥特曼周四在联合国电信机构的年度AIforGood会议上通过视频发表了演讲,就如何利用人工智能技术的社会前景发表了讲话。在接受《大西洋月刊》首席执行官尼古拉斯・汤普森的采访时,奥特曼详细谈论了与人工智能相关的主题。但他回避了有关公司治理以及被罢免的董事会成员的批评等棘手问题。奥特曼在采访中首次就OpenAI使用酷似好莱坞影星斯嘉丽・约翰逊声音的AI语音一事引发的争议发表公开评论,强调“那不是她的声音”。

封面图片

OpenAI早期投资者:AI毁灭人类的风险“不值一提”

OpenAI早期投资者:AI毁灭人类的风险“不值一提”  科斯拉说:“说实话,这有点不值得讨论。”科斯拉是备受瞩目的人工智能初创公司OpenAI的早期支持者。他在谈到OpenAI最近的“政变”风波时表示,尽管奥特曼很快重新获得了OpenAI首席执行官的职位,但整个事件突显了在某些圈子里普遍存在的对人工智能的谨慎心态的问题,包括精心策划了奥特曼下台的OpenAI前董事会成员。科斯拉说:“有一群被误导的董事会成员信奉错误的宗教,而不是做出理性的决定。公司现在的情况比一个月前好多了。”在周二的峰会上,OpenAI的另一位早期投资者、LinkedIn联合创始人里德·霍夫曼(Reidhoffman)称奥特曼被驱逐是“董事会治理的失败”。霍夫曼说,奥特曼是一位“了不起的CEO”,“我真的很高兴他回来了。”霍夫曼也赞同科斯拉对人工智能利大于弊的态度,尽管他的表达方式远没有那么尖锐。他说:“是的,我们需要关注并参与风险的对话,但真正重要的是不要对未来感到困惑。”...PC版:https://www.cnbeta.com.tw/articles/soft/1404085.htm手机版:https://m.cnbeta.com.tw/view/1404085.htm

封面图片

OpenAI开发者建议 美国政府立新机构监管AI发展

OpenAI开发者建议美国政府立新机构监管AI发展先进聊天机器人ChatGPT创始人呼吁美国立法者规范人工智能(AI)的发展和应用。英国广播公司(BBC)报道,美国人工智能公司OpenAI总裁奥特曼(SamAltman)星期二(5月16日)出席参议院司法委员会的听证会,就ChatGPT的潜力和陷阱作证。在OpenAI开发ChatGPT后的短短几个月内,市场上就出现了好几款这类AI模型。38岁的奥特曼说,美国政府应该成立一个新的机构,为人工智能公司颁发许可证。ChatGPT和其他类似的AI程序可以创建极度像人类的答案,但它们在回答问题时,也可能提供大错特错的答案。现已俨然成为AI聊天机器人代言人的奥特曼并没有回避人工智能引发的伦理问题,并推动政府进行更多监管。奥特曼说,人工智能的潜力可能和印刷业技术一样巨大,但他也承认人工智能有潜在的危险。他还承认人工智能可能对经济产生的影响,包括,导致某些领域裁员。奥特曼说:“这将冲击就业机会。我们尽可能非常明白地坦承这一点。”奥特曼也对人工智能对民主的潜在影响,以及在选举期间可能被用来发送有针对性的错误信息,表示担忧。他对成立一个针对人工智能的新机构可以如何监管AI聊天机器人提出了几项建议,包括发放或取消人工智能公司的许可证。他也认为,像OpenAI这样的公司应该接受独立审计。共和党参议员霍利说,AI聊天机器人可能具有革命性,但这项新技术也像原子弹的发明。民主党参议员布卢门撒尔说,由AI聊天机器人主导的未来“不一定是我们想要的未来”。他警告说:“我们需要最大限度地利用它的好处而不是它的坏处。国会现在可以做出一个选择。我们在社交媒体面世时也面对了选择。我们已错过一次机会。”出席星期二听证会的两党参议员明显都支持成立一个新机构来监管AI聊天机器人这一新兴行业。然而,技术发展日新月异,立法者对于新机构能否赶得上先进技术的发展仍心存疑问。

封面图片

【奥特曼出席AI峰会,首次公开回应OpenAI治理和AI语音争议等敏感问题】

【奥特曼出席AI峰会,首次公开回应OpenAI治理和AI语音争议等敏感问题】2024年05月31日09点24分老不正经报道,OpenAI首席执行官萨姆·奥特曼周四在联合国电信机构的年度AIforGood会议上通过视频发表了演讲,就如何利用人工智能技术的社会前景发表了讲话。在接受《大西洋月刊》首席执行官尼古拉斯·汤普森的采访时,奥特曼详细谈论了与人工智能相关的主题。但他回避了有关公司治理以及被罢免的董事会成员的批评等棘手问题。奥特曼在采访中首次就OpenAI使用酷似好莱坞影星斯嘉丽·约翰逊声音的AI语音一事引发的争议发表公开评论,强调“那不是她的声音”。

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人