清华大学薛澜：人工智能可能带来一些风险，包括长期对社会就业的影响

清华大学薛澜：人工智能可能带来一些风险，包括长期对社会就业的影响 2024 世界人工智能大会暨人工智能全球治理高级别会议于 7 月 4 日在上海举行。清华大学苏世民书院院长薛澜表示目前人工智能可能带来一些风险。第一，技术内在问题，包括所谓幻觉，另外自主人工智能系统长远来讲，受到自主发展的可能对人类社会的威胁；第二，基于技术开发带来风险，包括数据安全问题、算法歧视、能源环境等问题；第三，技术应用，包括误用或者滥用，长远对社会就业带来影响，这些问题都是不可忽视的。（睿见）

清华大学薛澜：AI 技术发展带来的智能鸿沟，当前可能关注度不够

清华大学薛澜：AI 技术发展带来的智能鸿沟，当前可能关注度不够 2024 世界人工智能大会暨人工智能全球治理高级别会议于 7 月 4 日在上海举行。清华大学苏世民书院院长薛澜指出，对于 AI 技术发展带来的智能鸿沟，当前大家可能关注度不够，需要通过多种途径建立国际交流及防控体系，加强政府之间多双边对话机制，同时希望能够以科学共同体力量助力国际治理机制全面完善。（睿见）

外电称中美将在日内瓦举行会议讨论人工智能带来的风险

外电称中美将在日内瓦举行会议讨论人工智能带来的风险 路透社引述美国官员表示，美国和中国星期二将于日内瓦举行会议，讨论人工智能(AI)问题，强调会谈将讨论人工智能带来的风险，但不会就华府政策进行磋商。官员明确指出，会谈不是促进任何形式的技术合作，也不是在任何问题上进行前沿研究合作。美国的技术保护政策没有商量余地。官员说，中国在民用、军事和国家安全领域快速部署人工智能，损害美国及其盟友的安全，会谈将使华盛顿能够直接表达担忧。报道指出，美国国务院已敦促中国和俄罗斯做出和美国类似的声明，即只有人类而绝非人工智能作出部署核武的决定。报道说，美国总统拜登政府一直寻求与中国就一系列问题进行接触，以减少彼此误解。国务卿布林肯和中国外长王毅4月在北京讨论人工智能议题，并同意就该问题进行首次正式双边会谈。 2024-05-13 17:42:34

专家建议在降低AI风险方面进行大量投资 并制定更严格的全球法规以防止滥用

专家建议在降低AI风险方面进行大量投资 并制定更严格的全球法规以防止滥用 这些风险包括社会和经济影响、恶意使用以及人类可能失去对自主人工智能系统的控制。他们提出了积极主动的适应性治理措施，以降低这些风险。作者敦促大型技术公司和公共资助者加大投入，至少将三分之一的预算用于评估和降低这些风险。他们还呼吁全球法律机构和政府执行防止滥用人工智能的标准。这些挑战包括以下方面：监督与诚信能力更强的人工智能系统可以更好地利用技术监督和测试方面的弱点，例如，产生虚假但令人信服的输出。鲁棒性人工智能系统在新情况下的表现难以预测。随着模型规模的扩大，鲁棒性的某些方面会得到改善，而其他方面则不会，甚至会变得更糟。可解释性和透明度人工智能决策是不透明的，规模更大、能力更强的模型解释起来更加复杂。到目前为止，我们只能通过试错来测试大型模型。我们需要学习了解它们的内部运作。包容性的人工智能发展人工智能的发展需要有方法来减少偏见，并整合其将影响的众多人群的价值观（见 SM）。应对新出现的挑战 未来的人工智能系统可能会出现我们迄今为止仅在理论或实验室实验中见过的失效模式，例如人工智能系统控制了训练奖励-提供渠道，或利用我们安全目标和关闭机制中的弱点来推进特定目标。第二类研发挑战需要取得进展，以实现有效的风险调整治理，或在安全和治理失效时减少危害。评估危险能力 随着人工智能开发人员对系统进行扩展，不可预见的能力会在没有明确编程的情况下自发出现（见 SM）。它们往往在部署后才被发现（见 SM）。我们需要严格的方法来激发和评估人工智能能力，并在训练前对其进行预测。这既包括在世界上实现宏伟目标的通用能力（如长期规划和执行），也包括基于威胁模型的特定危险能力（如社会操纵或黑客攻击）。目前对危险能力的人工智能前沿模型的评估是各种人工智能政策框架的关键，但这些评估仅限于抽查和在特定环境下的尝试性演示（见 SM）。这些评估有时可以展示危险能力，但无法可靠地排除危险能力：在测试中缺乏某些能力的人工智能系统，很可能在稍有不同的环境中或经过后期训练增强后显示出这些能力。因此，依赖于人工智能系统不跨越任何红线的决策需要很大的安全系数。改进评估工具可以降低遗漏危险能力的几率，从而允许更小的安全系数。评估人工智能调整 如果人工智能继续发展，人工智能系统最终将拥有高度危险的能力。在训练和部署这些系统之前，我们需要一些方法来评估它们使用这些能力的倾向。对于先进的人工智能系统来说，纯粹的行为评估可能会失败：与人类类似，它们可能会在评估中表现出不同的行为，伪造一致性。风险评估 我们不仅要学会评估危险的能力，还要学会评估社会背景下的风险，以及复杂的相互作用和脆弱性。对前沿人工智能系统进行严格的风险评估仍然是一个公开的挑战，因为这些系统具有广泛的能力，而且在不同的应用领域中普遍部署。复原力 不可避免的是，有些人会滥用或肆意使用人工智能。我们需要一些工具来检测和防御人工智能带来的威胁，如大规模影响行动、生物风险和网络攻击。然而，随着人工智能系统的能力越来越强，它们最终将能够规避人类制造的防御系统。为了实现更强大的基于人工智能的防御，我们首先需要学习如何使人工智能系统安全并保持一致。"为了引导人工智能取得积极成果，远离灾难，我们需要调整方向。有一条负责任的道路只要我们有智慧去走它，"作者写道。它们突显了全球科技公司竞相开发通用人工智能系统的情况，这些系统在许多关键领域的能力可能与人类不相上下，甚至超过人类。然而，这种快速进步也带来了社会规模的风险，可能会加剧社会不公、破坏社会稳定，并导致大规模网络犯罪、自动化战争、定制化大规模操纵和无孔不入的监控。重点关注的问题之一是，自主人工智能系统有可能失去控制，这将使人类的干预变得无效。专家认为，人类尚未做好充分准备来应对这些潜在的人工智能风险。他们指出，与提高人工智能能力的努力相比，在确保安全和合乎道德地开发和部署这些技术方面投入的资源少之又少。为了弥补这一差距，作者概述了人工智能研究、开发和治理的当务之急。DOI: 10.1126/science.adn0117 ... PC版： 手机版：

耶伦称AI带来风险及机遇　监察部门对应用将深入了解

耶伦称AI带来风险及机遇　监察部门对应用将深入了解 美国财政部长耶伦表示，人工智能为金融系统带来的巨大机遇和重大风险，成为财政部和金融稳定监督委员会最关注的议题之一。 耶伦出席由金融稳定监督委员会和布鲁金斯学会联合举办的人工智能与金融稳定会议。耶伦说，如果合理使用，人工智能可以提高效率和准确性，例如通过人工智能的预测，能进行投资组合管理。 不过，人工智能大模型的复杂性、不透明性和缺乏风险管理框架等，亦可能产生风险。耶伦表示，在当前形势下，美国政府和金融监管机构将继续扩大利用最新技术、深入了解人工智能在金融服务领域的应用，并将公开征求市场参与者、消费者、学者和社会公众对金融领域人工智能应用的意见。 2024-06-07 08:28:15 (1)

清华大学人工智能国际治理研究院院长薛澜：多途径建立国际交流和防控体系 推动人工智能产业健康发展

清华大学人工智能国际治理研究院院长薛澜：多途径建立国际交流和防控体系 推动人工智能产业健康发展 清华大学苏世民书院院长、清华大学人工智能国际治理研究院院长薛澜在 7 月 4 日举行的 2024 世界人工智能大会暨人工智能全球治理高级别会议全体会议上表示，从全球视角看，人工智能的发展面临基础设施不均衡、数字素养存在鸿沟等挑战，这些问题不仅阻碍人工智能产业发展，也影响人工智能全球治理，必须全球共同解决。薛澜表示，解决上述问题，首先要把发展和安全作为 “一体两翼”，通过多种途径建立国际交流和防控体系，加强各国政府间的多边对话机制。同时，发挥科学界共同体力量，持续完善国际机制。全球科技力量可与政府、企业携手，共同推动人工智能的健康发展。