OpenAI正引爆一场全球AI安全热战

OpenAI正引爆一场全球AI安全热战 “SSI是我们的使命、我们的名字、我们的整个产品路线图,因为它是我们唯一的焦点。我们的团队、投资者和商业模式都是以实现SSI为目标。”伊利亚、科技企业家和投资者Daniel Gross、OpenAI前科学家Daniel Levy在该公司官网发表的联合署名文章中称,“构建安全的超级智能,是我们这个时代最重要的技术问题。我们计划尽快提升能力,同时确保我们的安全始终处于领先地位。”伊利亚透露,该公司已经启动了世界上第一个直接的安全的超级智能实验室,只有一个目标和一个产品:一个安全的超级智能。但目前,SSI并未公布公司的股东、科研团队和盈利模式。实际上,伊利亚离开OpenAI,很大程度上就是因为与OpenAI CEO奥尔特曼(Sam Altman)为核心的管理层存在分歧,尤其是在如何驾驭超级AI、AGI(通用人工智能)安全发展等问题上存在相反的观点。其中,奥尔特曼和OpenAI总裁Greg Brockman倾向于加速商业化,以获得更多资金来支持AI模型的算力需求,力求快速增强AI的力量;而伊利亚等人则希望AI更安全。去年11月,双方矛盾激化,OpenAI上演“宫斗”大戏,结果奥尔特曼和Greg Brockman在短暂离职后重归OpenAI,原董事会中的多位董事离开,伊利亚则在今年5月宣布离任。对此,国内AI安全公司瑞莱智慧(RealAI)CEO田天对钛媒体AGI等表示,奥尔特曼和伊利亚之间的分歧在于对AI安全的“路线之争”,伊利亚的新公司就是为了 AI 安全目标而设立的。田天指出,包括伊利亚、图灵奖得主Geoffrey Hinton等人认为,AI安全问题现在已经到了“非常迫切”去解决的程度。如果现在不去做,很有可能就会错过这个机会,未来再想亡羊补牢是“没有可能性”的。“大模型领域也是一样。虽然我们对于大模型预期非常高,认为它在很多领域都能去应用,但其实现在,真正在严肃场景下的大模型应用典型案例还是非常少的,主要问题在于 AI 安全上。如果不解决安全可控问题,对于一些严肃场景,是没有人敢去信任AI,没有人敢去用它(AI)。只有说解决安全、可信问题,AI才有可能去落地和应用。”田天表示,如果一些商业化公司对于安全问题不够重视、并毫无边界快速往前跑的话,可能会造成一系列安全危害,甚至可能对于整个全人类有一些安全风险和影响。早在聊天机器人ChatGPT发布之前,伊利亚便提到AGI对人类社会可能的威胁。他把AGI与人类的关系,类比人类与动物的关系,称“人类喜欢许多动物,但当人类要造一条高速路时,是不会向动物征求意见的,因为高速路对人类很重要。人类和通用人工智能的关系也将会这样,通用人工智能完全按照自己的意愿行事。”AGI,即人工智能已具备和人类同等甚至超越人类的智能,简单而言就是能说会写,具备计算、推理、分析、预测、完成任务等各类人类行为。这样的AI曾经遥远,但在OpenAI推出第四代模型GPT-4且正训练第五代模型GPT-5时,AGI看似近在咫尺。今年以来,AI 安全问题持续引发关注。今年1月,美国一位流行歌手被人用AI恶意生成虚假照片,在社交媒体迅速传播,给歌手本人造成困扰;2月,香港一家公司遭遇“AI变脸”诈骗,损失高达2亿元港币,据悉,这家公司一名员工在视频会议中被首席财务官要求转账。然而,会议中的这位“领导”和其他员工,实际都是深度伪造的AI影像。诈骗者通过公开渠道获取的资料,合成了首席财务官的形象和声音,并制作出多人参与视频会议的虚假场景。整体来看,为了实现AGI目标,当前,AI系统在设计上主要面临五大安全挑战:软硬件的安全:在软件及硬件层面,包括应用、模型、平台和芯片,编码都可能存在漏洞或后门;攻击者能够利用这些漏洞或后门实施高级攻击。在AI模型层面上,攻击者同样可能在模型中植入后门并实施高级攻击;由于AI模型的不可解释性,在模型中植入的恶意后门难以被检测。数据完整性:在数据层面,攻击者能够在训练阶段掺入恶意数据,影响AI模型推理能力;攻击者同样可以在判断阶段对要判断的样本加入少量噪音,刻意改变判断结果。模型保密性:在模型参数层面,服务提供者往往只希望提供模型查询服务,而不希望暴露自己训练的模型;但通过多次查询,攻击者能够构建出一个相似的模型,进而获得模型的相关信息。模型鲁棒性:训练模型时的样本往往覆盖性不足,使得模型鲁棒性不强;模型面对恶意样本时,无法给出正确的判断结果。数据隐私:在用户提供训练数据的场景下,攻击者能够通过反复查询训练好的模型获得用户的隐私信息。北京智源人工智能研究院学术顾问委员会主任张宏江在2024北京智源大会上表示,过去一年大模型发展速度之快,行业纷纷探讨通用人工智能的实现路径与曙光,但AI安全问题的严重性与紧迫性不容忽视。“当我们从不同层面 AI 能安全问题进行审视,除了对社会偏见,错误信息,潜在的工作替代或者大模型、自主机器人带来的大规模自动化而导致的工作流失,以及潜在的加速财富集中或财富两极化等问题有所了解,更应该关注 AI 可能带来新的经济体系和包括潜在的灾难性风险或误用事故,甚至可能导致延伸性的人类风险。AI 安全已有很多声明和请愿,但更重要的是明确目标、投入资源、采取行动、共同应对风险。”张宏江表示。北京智源人工智能研究院理事长黄铁军表示,水深流急,AI安全已进入风险很突出的阶段。应对AI安全风险,需要对AGI水平和能力进行分五级,而且,人类应该致力于解决 AI 安全问题,加强与国际社会在AI安全领域的合作,确保AI技术可控,迎接安全AGI的到来。AGI水平和能力的五个级别生成式AI技术是一把双刃剑,如何把生成式AI的强大能力用于建立信息安全规范,将制约行业发展的“绊脚石”变为“压舱石”?业界一直在探索“用技术治理技术”的方案。就在6月21日,瑞莱智慧推出全球首个可实时检测AI合成内容产品RealBelieve,中文名“尊嘟假嘟”。据悉,与此前国内外AIGC检测产品被动上传检测不同,RealBelieve主要面向终端用户,能够提供主动实时检测防护,可接入视频流鉴别人脸真伪,也可在用户浏览网页内容时提供AIGC合成可能性提示。不仅可以为终端用户提供文本、图片、视频和音频多种模态的文件上传检测服务,还可以通过浏览器插件的形式实时提示用户所浏览网页的疑似AI合成内容,变被动为主动。目前,尊嘟假嘟RealBelieve已开启内测招募。田天表示,作为国内为数不多专攻 AI 安全领域的公司,瑞莱智慧已服务百余家政务、金融等领域客户。随着AI技术的发展,安全在整个AI发展中的优先级一直在往前去走。未来 AI 技术要往超级智能方向发展的话,必须要建立整个安全体系,从而确保形成安全的超级智能技术。“如果现在不去做好 AI 安全的话,可能后面我们就没有机会了。”田天称。 ... PC版: 手机版:

相关推荐

封面图片

OpenAI 预测超智能 AI 十年内出现,正研究用 AI 来监督 AI

OpenAI 预测超智能 AI 十年内出现,正研究用 AI 来监督 AI 当地时间周三,ChatGPT 的开发者 OpenAI 表示计划投入更多资源并成立新的研究团队,研究如何确保 AI 对人类的安全性,最终实现用 AI 来监督 AI。 OpenAI 联合创始人伊利亚・苏茨凯弗(Ilya Sutskever)和 AI 对齐负责人简・莱克(Jan Leike)在中表示:“超级智能的巨大能力可能导致人类失去力量甚至灭绝。目前,我们还没有解决方案来操纵或控制一个可能的超智能 AI,并防止其变成无赖。” 这篇博文预测,超智能 AI,即相比于人类更智能的系统,可能会在未来 10 年中出现。人类需要比目前更强大的技术来控制超智能 AI,因此需要在“AI 对齐研究”方面取得突破,确保人 AI 对人类持续有益。AI 对齐是 AI 控制中的主要问题,即要求 AI 的目标和人类的价值观与意图保持一致。来源 , 来自:雷锋 频道:@kejiqu 群组:@kejiquchat 投稿:@kejiqubot

封面图片

5.人工通用智能的发展:尽管 OpenAI 取得了消费者成功,但 Altman 表示,公司寻求向构建人工通用智能方向取得进展。他

5.人工通用智能的发展:尽管 OpenAI 取得了消费者成功,但 Altman 表示,公司寻求向构建人工通用智能方向取得进展。他认为,大型语言模型(LLM),即支撑 ChatGPT 的模型,是“构建 AGI 的核心部分之一,但在其上还会有很多其他部分”。他还强调了语言作为信息压缩的重要性,这是他认为像谷歌 DeepMind 这样的公司忽视的一个因素。 OpenAI的通用人工智能(AGI)的愿景: 1.构建与人类智能相当的软件:Sam Altman 的愿景是创建一种计算机软件,其智能水平与人类相当。这种软件被称为人工通用智能(AGI),它能够执行与人类智能相似的复杂任务和决策。 2.安全性和效益:Altman 强调,构建 AGI 的过程中需要考虑如何确保其安全,并且要弄清楚如何从中获得益处。这意味着在开发过程中,安全性和伦理问题将是重要的考虑因素。 3.构建更强大的自主代理:OpenAI 正在努力构建更加自主的代理,这些代理能够执行各种任务和动作,例如执行代码、进行支付、发送电子邮件或提交索赔。随着时间的推移,这些代理的能力将变得越来越强大,任务也将变得越来越复杂。 4.开发下一代 AI 模型:OpenAI 正在开发 GPT-5,这是其下一代 AI 模型。GPT-5 预计将比其前身更复杂,但其确切的新能力和技能在训练之前难以预测。 5.理解和创造新知识:Altman 认为,开发 AGI 的最大挑战之一是使这些系统能够进行基本的理解和创新。他比喻说,就像艾萨克·牛顿(Isaac Newton)发明微积分一样,AI 模型也需要能够超越现有知识,创造新的知识。

封面图片

OpenAI内幕曝光:高管怒斥遭打压 7100亿AI巨头内外交困

OpenAI内幕曝光:高管怒斥遭打压 7100亿AI巨头内外交困 访问:NordVPN 立减 75% + 外加 3 个月时长 另有NordPass密码管理器 就在大家为离职事件进行讨论之时,5月18日凌晨,简·雷克直接在社交平台X 上连发13条推文,自述心路历程,并爆料对齐技术团队遭到OpenAI CEO奥尔特曼(Sam Altman)们的打压。简·雷克表示:“这是我担任 OpenAI 公司超级对齐部门负责人、高级领导以及执行层成员的最后一天。在过去的 3 年里,我们的团队取得了很多成果,但我在公司核心发展重点的问题上与领导层存在长期分歧,最终无法调和。我认为应该将更多资源和精力投入到为新一代 AI 模型做准备的工作中,但目前的发展路径无法顺利达成目标。我的团队在过去几个月面临巨大挑战,有时难以获取足够的计算资源。”简·雷克强调,创造超越人类智能的机器充满风险,OpenAI 正在承担这一责任,但安全文化和流程在追求产品开发过程中被边缘化。“我们应该极其严肃地对待通用人工智能(AGI)可能带来的深远影响,尽最大努力优先做好应对 AGI 的准备,确保其惠及全人类。OpenAI必须转型为一家将安全放在首位的AGI公司。”针对简·雷克的爆料信息,5月18日奥尔特曼也紧急发文回应称:“我非常感激简·雷克对OpenAI在 AI 超级对齐研究和安全文化方面的贡献,对他离开公司感到非常遗憾。他指出了我们还有很多工作需要完成,我们对此表示认同,并致力于推进这些工作。在接下来的几天里,我会撰写一篇更详细的文章来讨论这个问题。”5月19日凌晨,OpenAI联合创始人、总裁格雷格·布罗克曼(Greg Brockman)发长文回应称,感谢简·雷克对 OpenAI 的贡献,并强调对 AGI 风险与机遇的认知,包括呼吁国际治理等,而且阐述为安全部署更强大系统所做的努力,如GPT-4的推出及后续改进,而未来更具挑战性,需提升安全工作以匹配新模型,但承认无法预知所有未来情况,强调需紧密反馈、严格测试等。今天早上5点,奥尔特曼再发推文承认,公司员工有签保密协议,退出条款包括撤销员工在公司的既得股权,如果他们贬低公司或承认这些条款的存在,但奥尔特曼认为这“不应该是”,并补充说他对这些条款“真的感到尴尬”。“大约在过去一个月的时间里,该团队已开始修复标准离职文书。如果任何签署过这些旧协议的前雇员对此感到担心,他们可以联系我,我们也会解决这个问题。对此我深感抱歉。”奥尔特曼在推文中表示。实际上,当前,这家估值1000亿美金(胡润研究院数据,约合人民币7100亿元)的 AI 巨兽OpenAI正面临新的内部和外部的双重承压。奥尔特曼最近表示,未来 OpenAI 希望训练人们经常使用 AI,从而不断产生更大的技术价值。伊利亚与奥尔特曼的内部路线之争如果把时间重新拉回到最初OpenAI“宫斗”之争之时,今天只是这场围绕伊利亚与奥尔特曼路线分歧的“续集”。2023年11月17日,作为全球最受瞩目的 AI 公司,OpenAI董事会突然宣布解雇CEO奥尔特曼和总裁格雷格·布罗克曼(Greg Brockman),并宣布公司CTO米拉接任。舆论哗然,这一事件引发全球关注,多位公司高管和投资人声援支持奥尔特曼,包括OpenAI的最大支持者微软等,游说让奥尔特曼重新掌舵,明确表示奥尔特曼是OpenAI成功的重要组成部分。而在这个过程中,伊利亚伙同OpenAI董事会合作试图解雇掉奥尔特曼。据The Information,在 OpenAI 当天举行的全员会上,伊尔亚承认员工所说的这是一场 “政变”。他表示 “你可以这么说(是政变),但我觉得这只是董事会在履行自己的职责。”几天后,在舆论的包围下,剩下的董事会成员改变了主意,恢复了奥尔特曼的首席执行官职位,并选择集体辞职。2023年12月8日,OpenAI特别委员会聘请美国著名律师事务所WilmerHale对奥尔特曼“罢免”事件进行审查。今年3月,经过数月的调查,OpenAI最终宣布,奥尔特曼并未有不当行为,即“不构成强制解雇”。董事会解雇奥尔特曼是基于与他的关系破裂和信任丧失,而非产品安全、开发进度、公司财务状况或对投资者、客户和商业伙伴声誉的担忧,并没有发现奥尔特曼应该被解雇的证据。因此,奥尔特曼将继续担任公司CEO、董事职务。据前Salesforce CEO布雷特·泰勒(Bret Taylor)的说法,对董事会混乱的后续审查得出结论,前董事会与奥尔特曼之间的信任严重破裂,但没有证据表明首席执行官误导投资者或以不安全的速度推出产品。在前董事会解散后,布雷特·泰勒被任命为OpenAI董事。“这只是董事会和奥尔特曼先生之间信任的破裂。”泰勒表示,之前的董事会“本着诚信行事,没有预料到之后的一些不稳定因素。”尽管奥尔特曼最终重回OpenAI并执掌大权,但其与伊尔亚两派对 OpenAI公司发展观念的不同,这一路线之争一直没有得到圆满解决。实际上,随着ChatGPT 爆火,在奥尔特曼的带领下,OpenAI 加速了商业化步伐,通过追求利润来资助非营利目标,也不再开放。目前GPT-5 正在研发中,而且计划向微软和更多的投资方筹集资金。奥尔特曼认为,美国人放慢 OpenAI 的进展是愚蠢的。有消息称,去年OpenAI年化收入已经超过20亿美元。《大西洋月刊》副主编 Ross Andersen 前不久发表的一篇关于 OpenAI 革命的特稿,就能察觉伊尔亚和奥尔特曼关注点的不同。在这篇罕见的长文中,作者这样描述这位首席科学家,“有一种神秘主义者的感觉,有时会有点过头。” 他声称GPT-4可能 “有轻微意识”,引起诸多争议。事实上,奥尔特曼罢免事件结束后,伊利亚在社交平台上“消失”了,直至前几天官宣离职。而且据称,他已经有超过6个月没有出现在OpenAI办公室了。“在过去的一个月里,我吸取了许多教训。其中一个教训是,‘在士气提高之前,殴打会一直持续下去’这句话比它应有的含义更经常地适用。”当时,伊利亚还留下了这一条耐人寻味的推文,但很快就删除了。据内部人士透露,事件发生后,伊利亚一直远程共同领导着超级对齐团队。然而,在公司内部,员工们对奥尔特曼的态度表现不一,更多人开始支持“伊利亚路线”。而对于奥尔特曼最大的指控就是言行不一,比如他声称自己想优先考虑安全,但他的行为却很矛盾。更早之前,OpenAI还从一家奥尔特曼投资的一家初创公司订购算力,总额高达5100万美元(约合人民币3.6亿元)。5月15日,在GoogleI/O开发者大会结束数小时内,伊利亚突然宣布辞职。“近十年后,我决定离开 OpenAI。公司的发展轨迹堪称奇迹,我相信 OpenAI将在奥尔特曼等人的出色领导下,打造既安全又有益的 AGI。能够与大家共事是我的荣幸,我会非常想念大家。再见,感谢你们所做的一切。我很期待接下来的计划这个项目对我个人来说意义重大,我会在适当的时候分享细节。”伊利亚表示。而仅仅间隔两分钟后,奥尔特曼发推文回应称,对此非常难过,如果没有伊尔亚,OpenAI 就不会有今天。这一切都像是设计好的一样。据Vox报道,更注重安全的员工已经对奥尔特曼失去了信心,“这是一个信任一点一点崩溃的过程”。但公开场合没有内部离职员工表达相关想法。报道称,一部分原因是,OpenAI一直以来,都有让员工签署带有非贬低协议的离职协议的传统。如果拒绝签署,就等于放弃了此前拿到的OpenAI的期权,这意味着出来说话的员工可能会损失一笔巨款。实际上,伊利亚的辞职加剧了OpenAI近期的离职潮。除了伊利亚、简·雷克之外,目前有至少五个安全团队成员离职。谈及伊利亚时,奥尔特曼也承认,他确定了公司最重要... PC版: 手机版:

封面图片

OpenAI制定AI五级分类系统,目前其正接近第二级“推理者”

OpenAI制定AI五级分类系统,目前其正接近第二级“推理者” PANews 7月12日消息,据Bloomberg报道,OpenAI制定了一个五级分类系统,以跟踪其构建超越人类能力的人工智能软件的进展。OpenAI首席执行官Sam Altman表示,他预计本十年内可能实现人工通用智能(AGI)。目前,OpenAI处于第一级,即能够进行对话的AI,正接近第二级“Reasoners(推理者)”,即具备人类博士水平的基本问题解决能力。第三级被称为“Agents”,指能够在用户的指示下执行多日任务的AI系统。第四级为能够提出新创新的AI,而最高级别第五级为“Organizations”,即能够执行组织工作的AI系统。 OpenAI计划向投资者和外界分享这一分类系统,以帮助人们更好地理解其对AI安全和未来的思考。该分类系统由OpenAI高管和高级领导团队制定,将从员工、投资者和董事会等方面收集反馈,并可能随时间进行调整。

封面图片

OpenAI再陷宫斗:理想主义者是如何被击碎的?

OpenAI再陷宫斗:理想主义者是如何被击碎的? GPT-4o发布会之后,伊利亚突然更新推文,宣布从OpenAI离职。首席科学家的退出,加速了OpenAI的分裂。伊利亚(左三)与奥特曼(左四)3天后,另一位“超级对齐”的科学家简·雷克(Jan Leike),也宣布提桶跑路。简·雷克公开爆料称,两人与奥特曼等高层存在严重分歧,安全团队举步维艰。OpenAI的文化正在“变质”,忽视安全主义而转向“闪亮的产品”。陆续有技术大牛选择离开。一位OpenAI员工对着媒体说道,“注重安全的员工已经对他失去了信心。信任正一点点崩溃,就像多米诺骨牌一张一张倒下一样。”众所周知,OpenAI是一家由理想主义情结捏合起来的机构。然而,对于如何实现这一理想,OpenAI内部却渐渐衍生出了两条不同的路线。伊利亚的离开,意味着他所代表的理想主义,已经彻底败给了另一种理想主义。科学家与狂想家2005年的一个周日,多伦多大学教授辛顿的办公室门外,来了个不速之客。来者是一位数学系的学生,操着一口东欧口音,表情似乎总是愁眉苦脸。彼时,辛顿是极少数仍在研究深度学习的学者,并在多伦多大学组建了一个实验室。这个学生说,他整个夏天都在快餐店兼职炸薯条,现在他更想来这个实验室工作。辛顿打算考考这位急于展现自己的年轻人,给了他一份反向传播的论文。这篇论文写于上世纪80年代,是辛顿最知名的研究成果之一。几天后,这个学生回来了,问他,“你为什么不求导并采用一个合理的函数优化器?”辛顿倒吸了一口气,“我花了5年时间才想到这一点。”这个学生,就是伊利亚。辛顿发现,伊利亚有种非常强大的原始直觉,能靠“第六感”找到正确的技术路线。因此,辛顿将伊利亚视作唯一一个比自己更“天才”的学生。并且,辛顿很快发现,“技术天才”只是伊利亚身上的一个特质。与伊利亚长期共事过的研究员谢尔盖·莱文(Sergey Levine)曾说道,他喜欢大的想法,并且从不惧怕相信。“不怕的人有很多,但他尤其不怕。”2010年,伊利亚在阅读了一篇论文之后,便大胆宣称,深度学习将改变计算机视觉只需要有人来推动这项研究。在那个深度学习等同于民科的时代,伊利亚这番发言,显然是有些倒反天罡的。然而,他只花了2年,就打了所有人的脸。2012年,辛顿、伊利亚以及克里哲夫斯基三人打造的AlexNet,以高达84%的图像识别正确率,让世界看到了深度学习的潜力,并引发了产业界的狂热追逐。那一年,Google花了4400万美元的天价,只为了将AlexNet的3位作者收入麾下。伊利亚、克里哲夫斯基与辛顿(从左到右)Google工作期间,伊利亚又开始相信一件更宏大的事情:超越人类的超级智能,已经近在眼前。一方面,是因为他发现深度学习的游戏规则变了。此前,研究深度学习的只有一小撮人,资源捉襟见肘。2009年时,辛顿曾短暂地在微软做过一个深度学习项目,连一张价值1万美金的显卡都申请不下来,气得他一顿阴阳怪气,“微软显然是家资金短缺的软件销售商。”然而,自AlexNet之后,无数聪明头脑与热钱涌入,未来被加速了。另一方面,早在学生时期,伊利亚就坚信Scaling laws。“第六感”告诉他,超级智能并没那么复杂,只需要更多的数据与算力。并且,伊利亚又一次证明了自己是对的。2014年的NIPS学术会议上,伊利亚公布了他最新的研究成果:Seq2Seq(序列到序列)模型。Transformer诞生之前,它曾是Google机器翻译的灵魂。只需要足够的数据,Seq2Seq模型就能表现得很好。伊利亚在路演中提到,一个弱模型永远不可能有好的表现。“真正的结论是,如果你有一个非常大的数据集和非常大的神经网络,那么成功是有保证的。”伊利亚在NIPS 2014科学家与狂想家这两张面孔,在伊利亚身上迸发了神奇的化学反应。随着伊利亚对超级智能愈发笃信,他对安全问题的重视也与日俱增。没过多久,伊利亚便遇见了知己。理想主义的天花板2015年,伊利亚收到投资机构Y Combinator掌门人萨姆·奥特曼的邀请,前往硅谷的瑰丽酒店参与一场秘密聚会。然而,奥特曼并非这场秘密聚会的主角。马斯克突然现身,告诉现场所有人,他打算成立一间AI实验室。瑰丽酒店促使马斯克这么做的导火索,是数周前的44岁生日派对。当时,马斯克邀请了GoogleCEO拉里·佩奇等一众好友,去度假村玩了3天。晚饭过后,马斯克与佩奇围绕AI展开了激烈争吵。马斯克认为AI会毁灭人类,而佩奇则不以为然,嘲讽他是个“物种主义者”,对硅基生命有偏见。从那之后,马斯克就不怎么和佩奇说话了。在秘密聚会的现场,马斯克等人提到,很少有科学家会考虑自己研究的长期后果。如果任由Google这样的大型企业垄断AI技术,很可能会在无意间造成巨大伤害。因此,他们提出了一种全新的形式:成立一间不受任何人控制、非盈利的实验室。他们同样会去追逐AGI(通用人工智能)的圣杯,但不以盈利为导向,且放弃大多数研究成果,转而面向社会公开(open source)。马斯克与奥特曼认为,如果所有人都能获得强大的AI,那么“恶意AI”的威胁将大大降低。“我能想到最好的事情,就是让人类以更安全的方式构建真正的AI。”另一位组织者布罗克曼(Greg Brockman)说道。伊利亚被这个浪漫的想法打动了。他为此放弃了年薪200万美元的诱惑,毅然加入OpenAI。成立的头15个月,OpenAI并没有设立具体的战略方向。Google科学家达里奥·阿莫迪(Dario Amodei),当时曾拜访过OpenAI,询问在研究什么,OpenAI的管理层竟一时答不上来,“我们现在的目标...是做点好事。”几个月后,阿莫迪跳槽去了OpenAI,一起做点好事。达里奥·阿莫迪2017年3月,奥特曼等领导层意识到该更专注了。然而,在规划AGI路线图的时候,他们却发现了一个严重的问题:算力跟不上了。大模型所需要的算力,每隔3-4个月就会翻一倍;非盈利机构的形式,显然不足以支撑。当时,马斯克提出了一个提案:OpenAI并入特斯拉,由他完全掌管[8]。然而,马斯克低估了奥特曼的野心。奥特曼一直在寻找重大的科学突破,希望凭此打造出一家价值万亿美金的企业。过去,YC最为人熟知的投资案例,是Airbnb。随着奥特曼掌权之后,YC开始挤破脑袋寻找各种研究核聚变、人工智能、量子计算的公司。a16z创始人、风险投资家马克·安德森曾表示,“在奥特曼的领导下,YC的野心水平提高了10倍。”2018年2月,奥特曼将OpenAI管理层都拉拢到了自己的阵营。马斯克从此离开了团队,不再和奥特曼说话,并取消了对OpenAI的后续资助。奥特曼与马斯克两个月后,奥特曼发布了OpenAI的公司章程。在不起眼的角落,他对公司愿景的表述,做了些小小的修改,“我们预计需要调动大量资源来完成使命。”至此,曾经那个高度理想主义的OpenAI,渐渐踏入了另一条河流。第一次分裂2019年2月,OpenAI对外宣告了GPT-2,却没有第一时间对外开源。而后来的GPT-3,更彻底走向了闭源,OpenAI变成了CloseAI。一个月后,OpenAI又改变了“非盈利”的性质,成立了一个营利部门,并接受了微软10亿美金的投资。突然的180度大转向,使得OpenAI内部开始分裂成两个对立的派别:以达里奥·阿莫迪、伊利亚为代表的安全主义,认为必须先确保AI不会威胁人类,再公开发布产品;而以奥特曼、布罗克曼为代表的加速主义,则希望加速AI的普及,从而让更多人使用AI造福世界。从中可以看出,两个派别的行事方式完全相反:安全主义主张先验证安全,再发布;而加速主义主张先扩大市场,再根据测... PC版: 手机版:

封面图片

核心安全团队解散后 OpenAI公布10大安全措施

核心安全团队解散后 OpenAI公布10大安全措施 如何安全地发展人工智能?5月21日周二,为期两天的“AI首尔峰会”以在线视频的方式开幕。本次会议主题主要围绕如何安全地发展AI。世界各地的领导人、科技公司的高管以及国际组织的代表,在会上共同讨论了AI的风险和潜在的好处。在韩国总统尹锡悦和英国首相苏纳克的共同主持下,16家世界领先的AI公司,包括Meta、OpenAI、谷歌、亚马逊、微软等均做出了自愿承诺,保证在开发最前沿的AI技术时注重安全,确保AI系统不会失控并危害人类。如果发现某些极端风险无法控制,他们甚至会选择停止相关AI模型的开发。同时,AI公司们还提出需要制定一些规则和政策框架,来评估和控制AI可能带来的风险。不仅是公司,一些国家的集团(比如G7、欧盟等)也表示支持这个想法,他们同意要把AI的安全和创新放在重要位置。与会者还强调,虽然公司可以自愿承诺要安全使用AI,但也需要有政府出台相关的法律来确保这些承诺能落到实处。被称为“人工智能教父”的计算机科学家Yoshua Bengio称,自愿承诺必须伴随法律监管。目前,全球各地的政府都在努力制定AI相关的法规,例如,联合国已经通过了关于AI系统安全使用的第一项决议,而欧盟的AI法案预计今年晚些时候将生效。对此,网友们纷纷点赞称:“这真是个好消息!很高兴看到欧盟为协调人工智能法规而采取的进步措施。这确实有助于为人工智能道德和安全制定高标准。期待看到该法案的积极影响显现!”虽然AI技术的迅速发展虽然可以造福人类,但同时来带了一些问题,如大批量失业、误导人们、传播错误信息等。牛津大学在X上发帖表示:“全球的AI界正在努力推动AI技术的能力越来越强大,但安全和伦理问题往往是事后才考虑的。科学家们在向世界领导人发出呼吁,要求对AI带来的风险采取行动。他们警告说,自从AI安全峰会以来,在处理这些风险方面的进展还不够。”在核心安全团队解散风波后,OpenAI披露公司安全措施最新情况,消除网友对公司安全问题的担忧例如,在此前OpenAI解散了AI风险团队事件中,该团队负责人Jan Leike离职后吐真言,指责OpenAI在过去几年里将华而不实的产品凌驾于安全之上,并呼吁OpenAl必须成为一家以安全为先的通用人工智能公司。Jan的发言引起了网友的广泛担忧,网友担心OpenAI是否能确保AI技术安全可靠地发展。5月21日,在核心安全团队解散风波后,OpenAI在“AI首尔峰会”上公开分享了公司正在实施的10大安全措施:模型测试与评估:在发布新的AI模型前,OpenAI会进行严格的安全测试,包括内部和外部的评估。如果发现风险超过了他们可接受的“中等”水平,他们会先进行改进,直到风险降低到可以接受的程度。他们还会请外部的专家来帮助评估风险。持续的安全与对齐研究:随着时间的推移,他们的模型在安全性上有了显著改进,这包括减少错误信息的产生和在不利条件下减少有害内容的输出。公司还在投资实用的安全系统和研究,来进一步提高模型的安全性。监控滥用行为:随着越来越强大的语言模型的部署,公司使用了各种工具来监控安全风险和滥用行为。他们与合作伙伴(如微软)共同揭露了技术被滥用的情况,以帮助其他人更好地防范类似风险。系统性的安全措施:公司在模型的每个生命周期阶段实施安全措施,从训练前到部署。他们在数据安全、模型行为控制和监控基础设施方面进行投资。保护儿童:保护儿童是他们工作的重点。公司在其产品中内置了强大的安全措施,以减少对儿童的潜在危害。选举完整性:公司与政府和其他利益相关者合作,以防止AI生成内容的滥用,确保内容透明度,并改善公众获取准确投票信息的途径。影响评估和政策分析投资:公司的影响评估工作对研究、行业规范和政策具有广泛的影响。他们也出版了关于如何管理与语言模型相关的风险的先驱性研究。安全与访问控制措施:公司重视保护客户、知识产权和数据安全。他们控制对AI模型的访问,并投资于网络安全,如内外部渗透测试和悬赏寻找漏洞的计划。与政府合作:公司与全球各地的政府合作,共同制定有效且可适应的AI安全政策。安全决策和董事会监督:公司有一个称为“准备框架”的系统,这个框架AI安全决策提供了指导。公司还有一个跨功能的安全顾问小组,这个小组由来自公司不同部门的成员组成。他们的任务是审查AI模型的性能报告,评估这些模型是否安全,以及在模型正式发布前提出改进建议。尽管有安全顾问小组提供建议和信息,但最终决定权在公司的高层领导手中。在这整个过程中,公司的董事会也会进行监督。最后,OpenAI还计划在未来继续改进这些做法。对此,网友在X上纷纷对OpenAI表示感谢:“很好,感谢更新!安全第一,人工智能第二。”“继续致力于安全。非常感谢!” ... PC版: 手机版:

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人