OpenAI成立新的安全顾问委员会 成员全是自己人

OpenAI成立新的安全顾问委员会 成员全是自己人 根据OpenAI公司博客上的一篇文章，安全顾问委员会将在接下来90天内负责评估OpenAI得安全流程和保障措施。然后，该委员会将向OpenAI董事会汇报其发现和建议，OpenAI表示，届时将以符合安全和安保的方式公布任何已采纳的建议的更新。OpenAI周二表示，已开始训练新一代旗舰人工智能模型，以期超越目前的GPT-4大模型。“OpenAI最近开始训练其下一个前沿模型，我们预计由此产生的系统将使我们在通往通用人工智能的道路上迈上一个新台阶，”OpenAI写道。“虽然我们很自豪地构建和发布在能力和安全方面都领先的模型，但我们欢迎在这个重要时刻进行深入讨论。”除了Altman，安全顾问委员会的其他成员包括OpenAI董事会成员Bret Taylor、Adam D’Angelo和Nicole Seligman，以及首席科学家Jakub Pachocki、OpenAI早期筹备团队的Aleksander Madry、安全系统负责人Lilian Weng、安保负责人Matt Knight和“人工智能对齐”（AI Alignment）负责人John Schulman。安全不再优先 多名高层离职过去几个月，OpenAI的技术团队中有多名安全方面的高层人员离职，这些前员工中有些人对OpenAI在AI安全方面的优先级下降表示担忧。曾在OpenAI担任团队治理工作的Daniel Kokotajlo在4月辞职，因为他对OpenAI在发布越来越强大的AI时“负责任的行为”失去了信心，他在个人博客上写道。此外，OpenAI的联合创始人兼前首席科学家Ilya Sutskever在与Altman及其盟友的长期斗争后，于5月离职，据报道部分原因是Altman急于推出AI驱动的产品而牺牲了安全性能。最近，前DeepMind研究员Jan Leike此前在OpenAI负责开发ChatGPT及其前身InstructGPT的过程中，也辞去了安全研究员职务，他在一系列X平台的帖子中表示，他认为OpenAI“未走在解决AI安全和安保问题的正确轨道上”。同时，AI政策研究员Gretchen Krueger上周离开OpenAI，她也同意Leike的观点，呼吁公司提高问责制和透明度，并“更加谨慎地使用自己的技术”。媒体报道，除了Sutskever、Kokotajlo、Leike和Krueger，自去年年底以来，至少有五名OpenAI最重视安全的员工要么辞职，要么被迫离开，包括前OpenAI董事会成员Helen Toner和Tasha McCauley。两人日前在媒体撰文称，在Altman的领导下，他们相信OpenAI无法实现对自身追究责任。“根据我们的经验，OpenAI的自我治理无法承受利润激励带来的诱惑。”倡导监管？塑造监管此前有媒体报道，负责开发“超级智能”AI系统治理方法的OpenAI超级对齐（Superalignment team）团队被承诺获得公司20%的计算资源，但实际上却很少这部分资源。超级对齐团队自那以后被解散，其工作大部分被转交给“人工智能对齐”（AI Alignment）负责人John Schulman和OpenAI在12月成立的安全咨询小组。虽然OpenAI一直在倡导AI监管，但也在努力影响塑造这些监管，该公司聘请了一名内部游说者和越来越多的外部律师事务所游说者，仅在美国游说方面该公司2023年第四季度就花费了数十万美元。最近，美国国土安全部宣布Altman将成为其新成立的人工智能安全和安保委员会（Artificial Intelligence Safety and Security Board）的成员，该委员会将为“安全和可靠的AI开发和部署”提供建议，以覆盖美国的关键基础设施。而为了避免由于安全和安保委员会全部为内部高管而被认为是橡皮图章，OpenAI承诺聘请第三方“安全、安保和技术”专家来支持委员会的工作，包括网络安全专家Rob Joyce和前美国司法部官员John Carlin。然而，除了Joyce和Carlin，OpenAI尚未详细说明该外部专家组的规模和组成，也没有透露该组对委员会的影响力和权力的限制。有专家指出，OpenAI成立此类的企业监督委员会，类似于Google的高级技术外部咨询委员会，其实在实际监督方面几乎没有什么作为。 ... PC版： 手机版：

OpenAI成立安全委员会 将开始训练新模型

OpenAI成立安全委员会 将开始训练新模型 OpenAI首席执行官山姆·奥特曼OpenAI在公司博客上表示，董事布雷特·泰勒（Bret Taylor）、亚当·德安吉洛（Adam D'Angelo）和妮可·塞利格曼（Nicole Seligman）也将加入该委员会。值得一提的是，OpenAI致力于防止人工智能失控的“超级对齐”团队刚经历了解散。5月14日，OpenAI联合创始人、首席科学家伊尔亚·苏茨克维（Ilya Sutskever）宣布离职，几小时后，超级对齐团队负责人杨·莱克（Jan Leike）也宣布离职。(作者/周文浩)更多一手新闻，欢迎下载凤凰新闻客户端订阅凤凰网科技。想看深度报道，请微信搜索“凤凰网科技”。 ... PC版： 手机版：

马斯克起诉 OpenAI 及其 CEO 山姆·奥尔特曼

马斯克起诉 OpenAI 及其 CEO 山姆·奥尔特曼 当地时间2月29日晚间，埃隆·马斯克向旧金山高等法院提起诉讼，以违反合同、违反信托义务和不公平商业行为等为由起诉 OpenAI 及其 CEO 山姆·奥尔特曼。埃隆·马斯克在诉讼中表示，奥尔特曼和 OpenAI 违背了这家人工智能研究公司成立时达成的一项协议，即开发技术的目的是造福人类而不是利润。埃隆·马斯克声称 OpenAI 最近与科技巨头微软公司的关系损害了该公司致力于公共开源通用人工智能的初衷。埃隆·马斯克说：“OpenAI, Inc. 已经转变为世界上最大的科技公司微软事实上的闭源子公司。在新董事会的领导下，它不仅是在开发而且实际上是在完善 AGI，以实现微软的利润最大化，而不是造福人类。”

OpenAI宣布奥尔特曼复职 董事会改组

OpenAI宣布奥尔特曼复职 董事会改组 美国人工智能研究公司OpenAI宣布，奥尔特曼将重回公司担任首席执行官。 这家备受瞩目的人工智能（AI）初创公司上周，引发混乱和争议。 法新社报道，OpenAI星期三（11月22日）在社媒平台X发表声明说，公司和奥尔特曼已就OpenAI的未来达成协议。 除奥尔特曼回归，OpenAI也同意部分重组解雇他的董事会。 OpenAI说，Salesforce前联合首席执行官泰勒（Bret Taylor）和美国前财政部长萨默斯（Larry Summers）将加入，与现任董事会成员、Quora首席执行官德安吉洛（Adam D’Angelo）组成新的董事会。 奥尔特曼在社媒平台X帖文说：“我期待回到openai。” 2023年11月22日 3:14 PM

美成立AI安全顾问委员会 黄仁勋入列

美成立AI安全顾问委员会 黄仁勋入列 美国国土安全部周五宣布就研发人工智能的“安全与保障”成立顾问委员会，成员包括OpenAI、微软、Alphabet等企业高层，以及辉达执行长黄仁勋和超微执行长苏姿丰。

核心安全团队解散后 OpenAI公布10大安全措施

核心安全团队解散后 OpenAI公布10大安全措施 如何安全地发展人工智能？5月21日周二，为期两天的“AI首尔峰会”以在线视频的方式开幕。本次会议主题主要围绕如何安全地发展AI。世界各地的领导人、科技公司的高管以及国际组织的代表，在会上共同讨论了AI的风险和潜在的好处。在韩国总统尹锡悦和英国首相苏纳克的共同主持下，16家世界领先的AI公司，包括Meta、OpenAI、谷歌、亚马逊、微软等均做出了自愿承诺，保证在开发最前沿的AI技术时注重安全，确保AI系统不会失控并危害人类。如果发现某些极端风险无法控制，他们甚至会选择停止相关AI模型的开发。同时，AI公司们还提出需要制定一些规则和政策框架，来评估和控制AI可能带来的风险。不仅是公司，一些国家的集团（比如G7、欧盟等）也表示支持这个想法，他们同意要把AI的安全和创新放在重要位置。与会者还强调，虽然公司可以自愿承诺要安全使用AI，但也需要有政府出台相关的法律来确保这些承诺能落到实处。被称为“人工智能教父”的计算机科学家Yoshua Bengio称，自愿承诺必须伴随法律监管。目前，全球各地的政府都在努力制定AI相关的法规，例如，联合国已经通过了关于AI系统安全使用的第一项决议，而欧盟的AI法案预计今年晚些时候将生效。对此，网友们纷纷点赞称：“这真是个好消息！很高兴看到欧盟为协调人工智能法规而采取的进步措施。这确实有助于为人工智能道德和安全制定高标准。期待看到该法案的积极影响显现！”虽然AI技术的迅速发展虽然可以造福人类，但同时来带了一些问题，如大批量失业、误导人们、传播错误信息等。牛津大学在X上发帖表示：“全球的AI界正在努力推动AI技术的能力越来越强大，但安全和伦理问题往往是事后才考虑的。科学家们在向世界领导人发出呼吁，要求对AI带来的风险采取行动。他们警告说，自从AI安全峰会以来，在处理这些风险方面的进展还不够。”在核心安全团队解散风波后，OpenAI披露公司安全措施最新情况，消除网友对公司安全问题的担忧例如，在此前OpenAI解散了AI风险团队事件中，该团队负责人Jan Leike离职后吐真言，指责OpenAI在过去几年里将华而不实的产品凌驾于安全之上，并呼吁OpenAl必须成为一家以安全为先的通用人工智能公司。Jan的发言引起了网友的广泛担忧，网友担心OpenAI是否能确保AI技术安全可靠地发展。5月21日，在核心安全团队解散风波后，OpenAI在“AI首尔峰会”上公开分享了公司正在实施的10大安全措施：模型测试与评估：在发布新的AI模型前，OpenAI会进行严格的安全测试，包括内部和外部的评估。如果发现风险超过了他们可接受的“中等”水平，他们会先进行改进，直到风险降低到可以接受的程度。他们还会请外部的专家来帮助评估风险。持续的安全与对齐研究：随着时间的推移，他们的模型在安全性上有了显著改进，这包括减少错误信息的产生和在不利条件下减少有害内容的输出。公司还在投资实用的安全系统和研究，来进一步提高模型的安全性。监控滥用行为：随着越来越强大的语言模型的部署，公司使用了各种工具来监控安全风险和滥用行为。他们与合作伙伴（如微软）共同揭露了技术被滥用的情况，以帮助其他人更好地防范类似风险。系统性的安全措施：公司在模型的每个生命周期阶段实施安全措施，从训练前到部署。他们在数据安全、模型行为控制和监控基础设施方面进行投资。保护儿童：保护儿童是他们工作的重点。公司在其产品中内置了强大的安全措施，以减少对儿童的潜在危害。选举完整性：公司与政府和其他利益相关者合作，以防止AI生成内容的滥用，确保内容透明度，并改善公众获取准确投票信息的途径。影响评估和政策分析投资：公司的影响评估工作对研究、行业规范和政策具有广泛的影响。他们也出版了关于如何管理与语言模型相关的风险的先驱性研究。安全与访问控制措施：公司重视保护客户、知识产权和数据安全。他们控制对AI模型的访问，并投资于网络安全，如内外部渗透测试和悬赏寻找漏洞的计划。与政府合作：公司与全球各地的政府合作，共同制定有效且可适应的AI安全政策。安全决策和董事会监督：公司有一个称为“准备框架”的系统，这个框架AI安全决策提供了指导。公司还有一个跨功能的安全顾问小组，这个小组由来自公司不同部门的成员组成。他们的任务是审查AI模型的性能报告，评估这些模型是否安全，以及在模型正式发布前提出改进建议。尽管有安全顾问小组提供建议和信息，但最终决定权在公司的高层领导手中。在这整个过程中，公司的董事会也会进行监督。最后，OpenAI还计划在未来继续改进这些做法。对此，网友在X上纷纷对OpenAI表示感谢：“很好，感谢更新！安全第一，人工智能第二。”“继续致力于安全。非常感谢！” ... PC版： 手机版：