OpenAI 预测超智能 AI 十年内出现，正研究用 AI 来监督 AI

OpenAI预测超智能AI十年内出现，正研究用AI来监督AI当地时间周三，ChatGPT的开发者OpenAI表示计划投入更多资源并成立新的研究团队，研究如何确保AI对人类的安全性，最终实现用AI来监督AI。OpenAI联合创始人伊利亚・苏茨凯弗（IlyaSutskever）和AI对齐负责人简・莱克（JanLeike）在中表示：“超级智能的巨大能力可能导致人类失去力量甚至灭绝。目前，我们还没有解决方案来操纵或控制一个可能的超智能AI，并防止其变成无赖。”这篇博文预测，超智能AI，即相比于人类更智能的系统，可能会在未来10年中出现。人类需要比目前更强大的技术来控制超智能AI，因此需要在“AI对齐研究”方面取得突破，确保人AI对人类持续有益。AI对齐是AI控制中的主要问题，即要求AI的目标和人类的价值观与意图保持一致。来源，来自：雷锋频道：@kejiqu群组：@kejiquchat投稿：@kejiqubot

【OpenAI联合创始人Sam Altman：十年内可能就有非常强大的AI系统，我们要立刻做好准备】

【OpenAI联合创始人SamAltman：十年内可能就有非常强大的AI系统，我们要立刻做好准备】在2023北京智源大会上，智源研究院院长张宏江提问：我们距离通用人工智能（AGI）还有多远？OpenAI联合创始人SamAltman表示，这很难评估具体时间。很可能未来十年我们会有非常强大的AI系统，新技术从根本上改变世界的速度比我们想象的快。投稿：@ZaiHuaBot频道：@TestFlightCN

OpenAI：超智能AI或在这个十年出现 将加大资源应对

OpenAI：超智能AI或在这个十年出现将加大资源应对这篇博文预测，超智能AI，即相比于人类更智能的系统，可能会在未来10年中出现。人类需要比目前更强大的技术来控制超智能AI，因此需要在“AI对齐研究”方面取得突破，确保人AI对人类持续有益。AI对齐是AI控制中的主要问题，即要求AI的目标和人类的价值观与意图保持一致。作者写道，OpenAI将在未来4年内，将算力的20%专门用于解决这方面问题。此外，该公司将组建新的“超对齐”团队来组织这方面的工作。该团队的目标是开发达到“人类水平”，由AI驱动的对齐研究员，随后通过庞大的算力推动其发展。OpenAI表示，这意味着将使用人工反馈来训练AI系统，通过训练AI系统来协助人工评估，最终训练AI系统来进行实际的对齐研究。不过，人工智能安全的倡导者康纳·莱希（ConnorLeahy）表示，OpenAI的计划存在根本性缺陷，因为最初的人类水平AI可能会失控并造成严重破坏，而这将迫使研究者去解决AI安全问题。他在接受采访时表示：“在构建人类水平的智能之前，必须先解决对齐问题，否则默认情况下你无法控制它。我个人认为这不是个特别好的、安全的计划。”AI的潜在危险一直是AI研究员和公众最关心的问题。今年4月，一群AI行业领袖和专家签署公开信，呼吁暂停6个月开发比OpenAI的GPT-4更强大的系统，原因是对社会存在潜在风险。益普索今年5月的调查发现，超过2/3的美国人担心AI可能产生的负面影响，61%的人认为AI可能威胁人类文明。...PC版：https://www.cnbeta.com.tw/articles/soft/1369253.htm手机版：https://m.cnbeta.com.tw/view/1369253.htm

谷歌旗下DeepMind CEO表示通用人工智能或将在几年内实现

谷歌旗下DeepMindCEO表示通用人工智能或将在几年内实现谷歌旗下人工智能子公司DeepMind的CEO戴米斯・哈萨比斯表示，通用人工智能(AGI)可能在几年内实现。AGI指的是一种计算机具有人类水平认知能力的系统。他还补充说，研究人员尚未就AGI的合适定义达成一致。"我认为，未来几年我们将拥有非常强大、非常通用的系统。”对于AGI实现的时间，哈萨比斯周二在接受采访时称，AI研究的速度可能会在目前已经很快的基础上进一步提速。“过去几年的进展相当令人难以置信，”哈萨比斯说，“我没看到有任何理由会放慢这一进程。我认为它甚至可能会加速。所以我认为我们可能只需要几年，也许在十年内。”来源，来自：雷锋频道：@kejiqu群组：@kejiquchat投稿：@kejiqubot

GPT-4论文竟有隐藏线索：GPT-5或完成训练、OpenAI两年内接近AGI

GPT-4论文竟有隐藏线索：GPT-5或完成训练、OpenAI两年内接近AGI1.ARC(AlignmentResearchCenter)是一个非营利性研究机构，其使命是使未来的机器学习系统与人类利益保持一致。ARC的目标是训练AI模型，使其不会操纵、欺骗甚至伤害人类）。OpenAI曾经选择让ARC去测试评估GPT-4会不会主动避免自己被“挂掉”，说明此前必定出现过这种情况。OpenAICEOSamAltman认为人类需要对AI做更多的监管，以符合人类的利益。OpenAI担忧科技竞赛会导致安全标准的下降、不良规范的扩散、AI发展进程的加速，加剧与人工智能相关的社会风险。但是微软CEO和CTO希望OpenAI的模型能尽快让用户用起来。可以肯定的一点是OpenAI和微软在这件事的想法是相悖的。OpenAI雇佣了预测专家，来预测当他们部署了GPT-4之后会带来怎样的风险。“超级预测员”建议将GPT-4部署时间推迟6个月，也就是今年秋季左右；但很显然，OpenAI并没有采纳他们的建议。OpenAI这么做的原因，可能是来自微软的压力。2.OpenAI会协助超越它的公司：OpenAI做出了一个非常大胆的承诺："如果另一家公司在我们之前实现了接近AGI（通用人工智能），那我们承诺不会跟它做竞争，相反，会协助完成那个项目。但这种情况发生的条件，可能是另一家公司需得在未来两年内，成功接近AGI的机会在一半或以上"而这里提到的AGI，OpenAI和Altam在官方博客中已经给出了定义——普遍比人类更聪明，并且有益于全人类的人工智能系统。3.GPT-4确实已经达到了人类的常识水平。博主在论文中找到了相关数据，在“人类”那一栏中，分数分布在了94-96.5之间。而GPT-4的95.3，便正好在这个区间之间。4.OpenAI在去年年底推出ChatGPT的时候，已经有了GPT-4。GPT-5可能已经完成训练5.像ChatGPT、GitHubCopilot这些工具导致某些工作的自动化。GPT-4的能力可以在某些特定领域中以人类10倍甚至更高的效率来完成。5.OpenAI让GPT-4学会拒绝的方法，叫做基于规则的奖励模型（RBRMs）。这种方法的工作流程：给GPT-4一组要遵守的原则，如果模型遵守了这些原则，那么就会提供相应的奖励。他认为OpenAI正在用人工智能的力量，让AI模型朝着符合人类原则的方向发展。()参考链接：[1]https://www.youtube.com/watch?v=ufQmq6X22rM[2]https://cdn.openai.com/papers/gpt-4.pdf投稿：@ZaiHuabot频道：@TestFlightCN

OpenAI正引爆一场全球AI安全热战

OpenAI正引爆一场全球AI安全热战“SSI是我们的使命、我们的名字、我们的整个产品路线图，因为它是我们唯一的焦点。我们的团队、投资者和商业模式都是以实现SSI为目标。”伊利亚、科技企业家和投资者DanielGross、OpenAI前科学家DanielLevy在该公司官网发表的联合署名文章中称，“构建安全的超级智能，是我们这个时代最重要的技术问题。我们计划尽快提升能力，同时确保我们的安全始终处于领先地位。”伊利亚透露，该公司已经启动了世界上第一个直接的安全的超级智能实验室，只有一个目标和一个产品：一个安全的超级智能。但目前，SSI并未公布公司的股东、科研团队和盈利模式。实际上，伊利亚离开OpenAI，很大程度上就是因为与OpenAICEO奥尔特曼（SamAltman）为核心的管理层存在分歧，尤其是在如何驾驭超级AI、AGI（通用人工智能）安全发展等问题上存在相反的观点。其中，奥尔特曼和OpenAI总裁GregBrockman倾向于加速商业化，以获得更多资金来支持AI模型的算力需求，力求快速增强AI的力量；而伊利亚等人则希望AI更安全。去年11月，双方矛盾激化，OpenAI上演“宫斗”大戏，结果奥尔特曼和GregBrockman在短暂离职后重归OpenAI，原董事会中的多位董事离开，伊利亚则在今年5月宣布离任。对此，国内AI安全公司瑞莱智慧（RealAI）CEO田天对钛媒体AGI等表示，奥尔特曼和伊利亚之间的分歧在于对AI安全的“路线之争”，伊利亚的新公司就是为了AI安全目标而设立的。田天指出，包括伊利亚、图灵奖得主GeoffreyHinton等人认为，AI安全问题现在已经到了“非常迫切”去解决的程度。如果现在不去做，很有可能就会错过这个机会，未来再想亡羊补牢是“没有可能性”的。“大模型领域也是一样。虽然我们对于大模型预期非常高，认为它在很多领域都能去应用，但其实现在，真正在严肃场景下的大模型应用典型案例还是非常少的，主要问题在于AI安全上。如果不解决安全可控问题，对于一些严肃场景，是没有人敢去信任AI，没有人敢去用它（AI）。只有说解决安全、可信问题，AI才有可能去落地和应用。”田天表示，如果一些商业化公司对于安全问题不够重视、并毫无边界快速往前跑的话，可能会造成一系列安全危害，甚至可能对于整个全人类有一些安全风险和影响。早在聊天机器人ChatGPT发布之前，伊利亚便提到AGI对人类社会可能的威胁。他把AGI与人类的关系，类比人类与动物的关系，称“人类喜欢许多动物，但当人类要造一条高速路时，是不会向动物征求意见的，因为高速路对人类很重要。人类和通用人工智能的关系也将会这样，通用人工智能完全按照自己的意愿行事。”AGI，即人工智能已具备和人类同等甚至超越人类的智能，简单而言就是能说会写，具备计算、推理、分析、预测、完成任务等各类人类行为。这样的AI曾经遥远，但在OpenAI推出第四代模型GPT-4且正训练第五代模型GPT-5时，AGI看似近在咫尺。今年以来，AI安全问题持续引发关注。今年1月，美国一位流行歌手被人用AI恶意生成虚假照片，在社交媒体迅速传播，给歌手本人造成困扰；2月，香港一家公司遭遇“AI变脸”诈骗，损失高达2亿元港币，据悉，这家公司一名员工在视频会议中被首席财务官要求转账。然而，会议中的这位“领导”和其他员工，实际都是深度伪造的AI影像。诈骗者通过公开渠道获取的资料，合成了首席财务官的形象和声音，并制作出多人参与视频会议的虚假场景。整体来看，为了实现AGI目标，当前，AI系统在设计上主要面临五大安全挑战：软硬件的安全：在软件及硬件层面，包括应用、模型、平台和芯片，编码都可能存在漏洞或后门；攻击者能够利用这些漏洞或后门实施高级攻击。在AI模型层面上，攻击者同样可能在模型中植入后门并实施高级攻击；由于AI模型的不可解释性，在模型中植入的恶意后门难以被检测。数据完整性：在数据层面，攻击者能够在训练阶段掺入恶意数据，影响AI模型推理能力；攻击者同样可以在判断阶段对要判断的样本加入少量噪音，刻意改变判断结果。模型保密性：在模型参数层面，服务提供者往往只希望提供模型查询服务，而不希望暴露自己训练的模型；但通过多次查询，攻击者能够构建出一个相似的模型，进而获得模型的相关信息。模型鲁棒性：训练模型时的样本往往覆盖性不足，使得模型鲁棒性不强；模型面对恶意样本时，无法给出正确的判断结果。数据隐私：在用户提供训练数据的场景下，攻击者能够通过反复查询训练好的模型获得用户的隐私信息。北京智源人工智能研究院学术顾问委员会主任张宏江在2024北京智源大会上表示，过去一年大模型发展速度之快，行业纷纷探讨通用人工智能的实现路径与曙光，但AI安全问题的严重性与紧迫性不容忽视。“当我们从不同层面AI能安全问题进行审视，除了对社会偏见，错误信息，潜在的工作替代或者大模型、自主机器人带来的大规模自动化而导致的工作流失，以及潜在的加速财富集中或财富两极化等问题有所了解，更应该关注AI可能带来新的经济体系和包括潜在的灾难性风险或误用事故，甚至可能导致延伸性的人类风险。AI安全已有很多声明和请愿，但更重要的是明确目标、投入资源、采取行动、共同应对风险。”张宏江表示。北京智源人工智能研究院理事长黄铁军表示，水深流急，AI安全已进入风险很突出的阶段。应对AI安全风险，需要对AGI水平和能力进行分五级，而且，人类应该致力于解决AI安全问题，加强与国际社会在AI安全领域的合作，确保AI技术可控，迎接安全AGI的到来。AGI水平和能力的五个级别生成式AI技术是一把双刃剑，如何把生成式AI的强大能力用于建立信息安全规范，将制约行业发展的“绊脚石”变为“压舱石”？业界一直在探索“用技术治理技术”的方案。就在6月21日，瑞莱智慧推出全球首个可实时检测AI合成内容产品RealBelieve，中文名“尊嘟假嘟”。据悉，与此前国内外AIGC检测产品被动上传检测不同，RealBelieve主要面向终端用户，能够提供主动实时检测防护，可接入视频流鉴别人脸真伪，也可在用户浏览网页内容时提供AIGC合成可能性提示。不仅可以为终端用户提供文本、图片、视频和音频多种模态的文件上传检测服务，还可以通过浏览器插件的形式实时提示用户所浏览网页的疑似AI合成内容，变被动为主动。目前，尊嘟假嘟RealBelieve已开启内测招募。田天表示，作为国内为数不多专攻AI安全领域的公司，瑞莱智慧已服务百余家政务、金融等领域客户。随着AI技术的发展，安全在整个AI发展中的优先级一直在往前去走。未来AI技术要往超级智能方向发展的话，必须要建立整个安全体系，从而确保形成安全的超级智能技术。“如果现在不去做好AI安全的话，可能后面我们就没有机会了。”田天称。...PC版：https://www.cnbeta.com.tw/articles/soft/1435856.htm手机版：https://m.cnbeta.com.tw/view/1435856.htm