此前，OpenAI 解散了致力于解决长期 AI 风险的专门团队（称为“超级对齐团队”）

此前，OpenAI 解散了致力于解决长期 AI 风险的专门团队（称为“超级对齐团队”） Jan Leike，OpenAI 的一位关键研究员，在联合创始人Ilya Sutskever 离职后于本周早些时候辞职。他在周五早上在 X 上发帖称，该公司“安全文化和流程已被华而不实的产品所取代”。 Leike的声明是在《》杂志报道 OpenAI 解散了致力于解决长期 AI 风险的专门团队（称为“超级对齐团队”）之后发表的。Leike曾负责这个超级对齐团队，该团队成立于去年七月，目的是“解决在 OpenAI 开发具有类人推理能力的 AI 时实施安全协议中的核心技术挑战”。 “我们早就应该非常认真地考虑人工通用智能的影响了。我们必须尽我们所能优先准备，”莱克在周五早上关于他辞职的后续帖子中说。“只有这样，我们才能确保人工通用智能惠及全人类。” Leike 的帖子突显了 OpenAI 内部日益增长的紧张氛围。在研究人员争相开发人工通用智能的同时，还要管理像 ChatGPT 和 DALL-E 这样的消费级 AI 产品，像Leike这样的员工则在提出对创造超级智能 AI 模型潜在危险的担忧。Leike表示，他的团队被降低了优先级，无法获得执行“关键”工作所需的计算和其他资源。 标签: #OpenAI 频道: @GodlyNews1 投稿: @GodlyNewsBot

。来自的消息，现任和前任员工表示，此举使微软没有一个专门的团队来确保产品符合其「人工智能原则」。 尽管如此，微软仍然有一个「AI

。 来自的消息，现任和前任员工表示，此举使微软没有一个专门的团队来确保产品符合其「人工智能原则」。 尽管如此，微软仍然有一个「AI 责任」办公室，该办公室负责制定规则和原则，以管理公司的 AI 倡议。 微软在一份声明中表示：「微软致力于安全、负责任地开发人工智能产品和体验，并通过投资于人员、程序和合作伙伴来实现这一点。 在过去的六年中，我们增加了产品团队和负责任的人工智能办公室的人数，他们与我们在微软的所有人一起负责确保我们把人工智能原则付诸实践。 我们感谢道德和社会在帮助我们负责任的人工智能旅程上所做的开创性工作。」 但员工表示，道德和社会团队在确保公司的负责任人工智能原则实际反映在产品设计中发挥了关键作用。 以往该团队会教员工如何有社会责任及道德责任地使用 AI，但现在只余下一些守则，没有人能教员工如何应用。 最近，该团队一直在努力确定微软在其整套产品中采用 OpenAI 技术带来的风险。 该团队在 2020 年达到最大规模，当时包括约 30 名员工，包括工程师、设计师和哲学家。 去年10月，该团队因重组而裁减至约7人。 而今年3月6日，整个团队正式被解散。 他们的工作往往是向公司说「不」或「放慢一些」，但公司往往不想听到这些话。 标签: #ChatGPT #微软 #AI 频道: @GodlyNews1 投稿: @GodlyNewsBot

OpenAI 的长期人工智能风险团队已经解散

OpenAI 的长期人工智能风险团队已经解散 5 月 17 日消息，据美国杂志 WIRED 报道，去年 7 月，OpenAI 宣布成立一个新的研究团队，为超级智能的到来做准备，这种超级智能能够智胜和压倒其创造者。OpenAI 的首席科学家、公司联合创始人之一 Ilya Sutskever 被任命为这个新团队的联合领导人。OpenAI 表示，该团队将获得其计算能力的 20%。 现在 OpenAI 的超级对齐团队已经解散，公司证实了这一消息。在此之前，已经有几名参与其中的研究人员离职，周二的消息称 Sutskever 将离开公司，而该团队的另一位联合领导人也辞职了。该团队的工作将被整合到 OpenAI 的其他研究工作中。 来源：财经慢报频道

核心安全团队解散后 OpenAI公布10大安全措施

核心安全团队解散后 OpenAI公布10大安全措施 如何安全地发展人工智能？5月21日周二，为期两天的“AI首尔峰会”以在线视频的方式开幕。本次会议主题主要围绕如何安全地发展AI。世界各地的领导人、科技公司的高管以及国际组织的代表，在会上共同讨论了AI的风险和潜在的好处。在韩国总统尹锡悦和英国首相苏纳克的共同主持下，16家世界领先的AI公司，包括Meta、OpenAI、谷歌、亚马逊、微软等均做出了自愿承诺，保证在开发最前沿的AI技术时注重安全，确保AI系统不会失控并危害人类。如果发现某些极端风险无法控制，他们甚至会选择停止相关AI模型的开发。同时，AI公司们还提出需要制定一些规则和政策框架，来评估和控制AI可能带来的风险。不仅是公司，一些国家的集团（比如G7、欧盟等）也表示支持这个想法，他们同意要把AI的安全和创新放在重要位置。与会者还强调，虽然公司可以自愿承诺要安全使用AI，但也需要有政府出台相关的法律来确保这些承诺能落到实处。被称为“人工智能教父”的计算机科学家Yoshua Bengio称，自愿承诺必须伴随法律监管。目前，全球各地的政府都在努力制定AI相关的法规，例如，联合国已经通过了关于AI系统安全使用的第一项决议，而欧盟的AI法案预计今年晚些时候将生效。对此，网友们纷纷点赞称：“这真是个好消息！很高兴看到欧盟为协调人工智能法规而采取的进步措施。这确实有助于为人工智能道德和安全制定高标准。期待看到该法案的积极影响显现！”虽然AI技术的迅速发展虽然可以造福人类，但同时来带了一些问题，如大批量失业、误导人们、传播错误信息等。牛津大学在X上发帖表示：“全球的AI界正在努力推动AI技术的能力越来越强大，但安全和伦理问题往往是事后才考虑的。科学家们在向世界领导人发出呼吁，要求对AI带来的风险采取行动。他们警告说，自从AI安全峰会以来，在处理这些风险方面的进展还不够。”在核心安全团队解散风波后，OpenAI披露公司安全措施最新情况，消除网友对公司安全问题的担忧例如，在此前OpenAI解散了AI风险团队事件中，该团队负责人Jan Leike离职后吐真言，指责OpenAI在过去几年里将华而不实的产品凌驾于安全之上，并呼吁OpenAl必须成为一家以安全为先的通用人工智能公司。Jan的发言引起了网友的广泛担忧，网友担心OpenAI是否能确保AI技术安全可靠地发展。5月21日，在核心安全团队解散风波后，OpenAI在“AI首尔峰会”上公开分享了公司正在实施的10大安全措施：模型测试与评估：在发布新的AI模型前，OpenAI会进行严格的安全测试，包括内部和外部的评估。如果发现风险超过了他们可接受的“中等”水平，他们会先进行改进，直到风险降低到可以接受的程度。他们还会请外部的专家来帮助评估风险。持续的安全与对齐研究：随着时间的推移，他们的模型在安全性上有了显著改进，这包括减少错误信息的产生和在不利条件下减少有害内容的输出。公司还在投资实用的安全系统和研究，来进一步提高模型的安全性。监控滥用行为：随着越来越强大的语言模型的部署，公司使用了各种工具来监控安全风险和滥用行为。他们与合作伙伴（如微软）共同揭露了技术被滥用的情况，以帮助其他人更好地防范类似风险。系统性的安全措施：公司在模型的每个生命周期阶段实施安全措施，从训练前到部署。他们在数据安全、模型行为控制和监控基础设施方面进行投资。保护儿童：保护儿童是他们工作的重点。公司在其产品中内置了强大的安全措施，以减少对儿童的潜在危害。选举完整性：公司与政府和其他利益相关者合作，以防止AI生成内容的滥用，确保内容透明度，并改善公众获取准确投票信息的途径。影响评估和政策分析投资：公司的影响评估工作对研究、行业规范和政策具有广泛的影响。他们也出版了关于如何管理与语言模型相关的风险的先驱性研究。安全与访问控制措施：公司重视保护客户、知识产权和数据安全。他们控制对AI模型的访问，并投资于网络安全，如内外部渗透测试和悬赏寻找漏洞的计划。与政府合作：公司与全球各地的政府合作，共同制定有效且可适应的AI安全政策。安全决策和董事会监督：公司有一个称为“准备框架”的系统，这个框架AI安全决策提供了指导。公司还有一个跨功能的安全顾问小组，这个小组由来自公司不同部门的成员组成。他们的任务是审查AI模型的性能报告，评估这些模型是否安全，以及在模型正式发布前提出改进建议。尽管有安全顾问小组提供建议和信息，但最终决定权在公司的高层领导手中。在这整个过程中，公司的董事会也会进行监督。最后，OpenAI还计划在未来继续改进这些做法。对此，网友在X上纷纷对OpenAI表示感谢：“很好，感谢更新！安全第一，人工智能第二。”“继续致力于安全。非常感谢！” ... PC版： 手机版：

英国拟试用AI工具评估糖尿病风险

英国拟试用AI工具评估糖尿病风险 英国《卫报》23日报道，英国将于明年启动一项人工智能（AI）工具试验，该工具可在患者罹患2型糖尿病13年前就预测出患病风险。这款工具名为“人工智能-心电图糖尿病风险评估”，可通过分析常规心电图检测结果，识别人眼难以察觉的细微变化，预警2型糖尿病患病风险。这将有助实现早期干预，甚至可能帮助人们避免患上这种疾病。报道说，测试结果显示，该工具能在大约70%的情况下准确…… - 电报频道 - #娟姐新闻: @juanjienews

OpenAI 已解散长期人工智能风险团队

OpenAI 已解散长期人工智能风险团队 去年 7 月，OpenAI 宣布成立一个新的研究团队，为通用人工智能的到来做准备。OpenAI 首席科学家、公司联合创始人之一 Ilya Sutskever 被任命为这个新团队的联合负责人。OpenAI 表示，该团队将获得 20% 的计算能力。 现在 OpenAI 证实，“超级对齐团队”已不复存在。此前多位相关研究人员离职，该团队的两名研究人员 Leopold Aschenbrenner 和 Pavel Izmailov 因泄露公司机密而被解雇，周二 Sutskever 宣布将离开公司，该团队的另一位联合负责人也辞职了。该小组的工作将被纳入 OpenAI 的其他研究工作中。