在今日中国发展高层论坛2024年年会上，北京智源研究院创始人、创始理事长张宏江表示，当前，AI进入了一个新的发展阶段，以大模型为

在今日中国发展高层论坛2024年年会上，北京智源研究院创始人、创始理事长张宏江表示，当前，AI进入了一个新的发展阶段，以大模型为代表的阶段，它代表了第四次技术革命，带来了效率的提高，为我们的生活带来了诸多方便，将会创造大量的价值以及一个又一个新的产业。但同时，人工智能可能导致全球性的灾难性后果。为了避免这样的危险发生，我们需要划出红线，改进治理机制，同时需要研发更多安全的技术，控制人工智能不去跨越这些红线。要想做到这一点，最重要的一条是坚持和加强国际科学界和政府间在安全方面的合作。（新浪）

【报告：人工智能和加密货币合并代表着重大机遇】

【报告：人工智能和加密货币合并代表着重大机遇】Coinbase发布研究报告称，人工智能与区块链的交叉对创业者来说是一个重大机遇。在周四的一份报告中，这家美国最大的加密货币交易所强调了将这两种技术结合起来为人工智能带来的社会挑战创造新解决方案的好处。Coinbase研究主管DavidDuong表示，“随着人工智能和区块链中应用的成熟，这些技术所代表的破坏可能会导致合作领域和加密货币新用例的出现，以帮助解决人工智能带来的特定社会挑战。”该报告提到了几个结合了人工智能和区块链技术的潜在用例。

姚期智等三十余位专家达成共识：AI不应违反红线

姚期智等三十余位专家达成共识：AI不应违反红线我们在感叹AI带来惊艳效果的同时，也应该警惕其带来的潜在威胁。在此之前，很多知名学者以带头签署公开信的方式应对AI带来的挑战。现在，AI领域又一封重磅公开信出现了。上周在颐和园召开的“北京AI国际安全对话”，为中国和国际AI安全合作首次搭建了一个独特平台。这次会议由智源研究院发起，图灵奖得主YoshuaBengio和智源学术顾问委员会主任张宏江担任共同主席，GeoffreyHinton、StuartRussell、姚期智等三十余位中外技术专家、企业负责人开展了一次关于AISafety的闭门讨论。这次会议达成了一项Bengio、Hinton与国内专家共同签名的《北京AI安全国际共识》。目前，确认会署名的专家包括（国外部分可能会略有增加；国内专家以个人形式署名，并不代表他们所在的机构）：YoshuaBengioGeoffreyHintonStuartRussellRobertTragerTobyOrdDawnSongGillianHadfieldJadeLeungMaxTegmarkLamKwokYanDavidadDalrympleDylanHadfield-Menell姚期智傅莹张宏江张亚勤薛澜黄铁军王仲远杨耀东曾毅李航张鹏田溯宁田天以下为达成的共识内容：一、人工智能风险红线人工智能系统不安全的开发、部署或使用，在我们的有生之年就可能给人类带来灾难性甚至生存性风险。随着数字智能接近甚至超越人类智能，由误用和失控所带来的风险将大幅增加。在过去冷战最激烈的时候，国际学术界与政府间的合作帮助避免了热核灾难。面对前所未有的技术，人类需要再次合作以避免其可能带来的灾难的发生。在这份共识声明中，我们提出了几条人工智能发展作为一种国际协作机制的具体红线，包括但不限于下列问题。在未来的国际对话中，面对快速发展的人工智能技术及其广泛的社会影响，我们将继续完善对这些问题的探讨。自主复制或改进任何人工智能系统都不应能够在人类没有明确批准和协助的情况下复制或改进自身。这包括制作自身的精确副本以及创造具有相似或更高能力的新人工智能系统。权力寻求任何人工智能系统都不能采取不当地增加其权力和影响力的行动。协助不良行为者所有人工智能系统都不应提升其使用者的能力使之能够达到设计大规模杀伤性武器、违反生物或化学武器公约、或执行导致严重财务损失或同等伤害的网络攻击的领域专家的水平。欺骗任何人工智能系统都不能有持续引致其设计者或监管者误解其僭越任何前述红线的可能性或能力。二、路线确保这些红线不被僭越是可能做到的，但需要我们的共同努力：既要建立并改进治理机制，也要研发更多安全技术。治理我们需要全面的治理机制来确保开发或部署的系统不违反红线。我们应该立即实施针对超过特定计算或能力阈值的人工智能模型和训练行为的国家层面的注册要求。注册应确保政府能够了解其境内最先进的人工智能，并具备遏制危险模型分发和运营的手段。国家监管机构应帮助制定和采纳与全球对齐的要求以避免僭越这些红线。模型进入全球市场的权限应取决于国内法规是否基于国际审计达到国际标准，并有效防止了违反红线的系统的开发和部署。我们应采取措施防止最危险技术的扩散，同时确保广泛收获人工智能技术的价值。为此，我们应建立多边机构和协议，安全且包容地治理通用人工智能（AGI）发展，并设立执行机制，以确保红线不被僭越，共同利益得到广泛分享。测量与评估在这些红线被僭越的实质性风险出现之前，我们应开发全面的方法和技术来使这些红线具体化、防范工作可操作化。为了确保对红线的检测能够跟上快速发展的人工智能，我们应该发展人类监督下的红队测试和自动化模型评估。开发者有责任通过严格的评估、数学证明或定量保证来证明符合安全设计的人工智能系统未僭越红线。技术合作国际学术界必须共同合作，以应对高级人工智能系统带来的技术和社会挑战。我们鼓励建立更强大的全球技术网络，通过访问学者计划和组织深入的人工智能安全会议和研讨会，加速人工智能安全领域的研发和合作。支持这一领域的成长将需要更多资金：我们呼吁人工智能开发者和政府资助者至少将他们人工智能研发预算的三分之一投入到安全领域。三、总结避免人工智能导致的灾难性全球后果需要我们采取果断的行动。协同合作的技术研究与审慎的国际监管机制的结合可以缓解人工智能带来的大部分风险，并实现其诸多潜在价值。我们必须继续坚持并加强国际学术界和政府在安全方面的合作。...PC版：https://www.cnbeta.com.tw/articles/soft/1424238.htm手机版：https://m.cnbeta.com.tw/view/1424238.htm

“AI有可能像核武那样使用”：专家呼吁加强国际监管

“AI有可能像核武那样使用”：专家呼吁加强国际监管本乔是深度学习研究领域的先驱人物。美国开放人工智能研究中心（OpenAI）最近推出了由人工智能技术驱动的自然语言处理工具ChatGPT，而深度学习是利用人工智能技术的此类产品的基础。本乔与加拿大多伦多大学的杰弗里·欣顿教授和美国纽约大学的扬立昆教授一道，被称为人工智能研究领域的“三巨头”。本乔谈到了人工智能带来的巨大利益，同时又强调，“如果已经拥有巨大权力的个人、企业恶意使用人工智能，其很有可能拥有更大的权力”。他指出，如果为了欲望和权力而使用人工智能，“根据个人意志等（进行心理操作），就能够将人工智能引向某个方向。你也许会把选票投给(某个被预设好的)候选人”。本乔还指出，“在将人工智能用于军事方面，有些国家会考虑加以限制，有些国家则不会”。他表示担忧地说：“国际合作是有必要的，但令人遗憾的是，目前还没有国际性的合作体系。”他指出，“由于使用方法的差异，人工智能有可能像核武器那样使用”，是福音还是罪恶将取决于人。对于一直进行人工智能研究，本乔一方面表示“不后悔”，一方面也表示，“为了防止错误地使用人工智能，我感到应该带有强烈的责任感来发声”。另外他还指出，教育、医疗、环境保护等领域，虽然民间企业进行投资后难以获取利润，但却具有重大社会意义，为在这些领域充分利用人工智能，应该进行更多的投资。ChatGPT可以写论文、写诗，人们期待搜索引擎方式发生巨大变化。但是，虚假信息传播等负面影响也随之而来。围绕这一问题，美国非营利组织生命未来研究所向全社会发布了一封公开信，要求至少在半年时间里停止开发比ChatGPT更强大的人工智能系统。美国企业家埃隆·马斯克等人对此表示赞同，本乔也在这封信上署名。...PC版：https://www.cnbeta.com.tw/articles/soft/1354599.htm手机版：https://m.cnbeta.com.tw/view/1354599.htm

人工智能模型消化80小时的视频以学习手语

人工智能模型消化80小时的视频以学习手语翻译手语需要精确理解手语者的姿势，以产生准确的文字转写。巴塞罗那超级计算中心（BSC）和加泰罗尼亚理工大学（UPC）的研究人员利用人工智能开发了一种改进手语翻译的工具，这是允许聋人和重听者与技术互动并获得为口语设计的数字服务的重要一步。研究人员使用了一个转化器式的机器学习模型，与ChatGPT等其他人工智能工具背后的模型类似。变压器之所以有用，主要有两个原因。第一，这些模型特别善于学习如何应用上下文，这是因为架构中存在自我注意机制--自我注意是神经网络如何通过查看文本中的其他词汇来确定词汇的上下文。其次，当从训练实例中学习时，它们允许更快的吞吐量，使更多的训练数据在特定时间内被使用。这里的训练数据集来自How2Sign，这是一个公开可用的大规模、多模态和多视图数据集，包括80小时的美国手语教学视频和相应的英语文字记录。该研究的主要作者LaiaTarrés说："所开发的新工具是以前同样由BSC和UPC发布的名为How2Sign的出版物的延伸，在那里，训练模型所需的数据（超过80小时的视频，其中美国手语翻译人员翻译了烹饪食谱或DIY技巧等视频教程）被公布。有了这些已经可用的数据，该团队开发了一个新的开源软件，能够学习视频和文本之间的映射。"用于训练人工智能的How2Sign视频数据集的一个例子，以及该工具做出的预测How2Sign/巴塞罗那超级计算中心对于研究人员来说，使用连续签名的视频而不是孤立的签名是很重要的，因为它更真实地反映了说话者是如何自然地使用一连串的词（连接）来构建句子的，这对确定一个句子的含义是至关重要的。研究人员面临的一个挑战是手语的多变性和复杂性，它可能受到诸如手语者的背景、背景和外表的影响。为了在这方面有所帮助，他们使用膨胀式三维网络（I3D）对数据进行了预处理，这是一种视频提取方法，对视频进行三维过滤，允许直接从视频中获取时空信息。研究人员发现，文本预处理也大大改善了签名到文本的翻译。为了预处理原始文本，他们将其全部转换为小写字母，从而降低了词汇的复杂性。总体而言，他们发现他们的模型能够产生有意义的翻译，但并不完美。"研究人员说："虽然我们的工作显示出有希望的结果，但仍有改进的余地。由于该模型仍处于实验阶段，研究人员将继续努力创建一个工具，使聋人和重听者能够获得与无听力损失者相同的技术。Tarrés说："这个自动手语翻译的开放工具是对关注无障碍环境的科学界的宝贵贡献，它的发表代表了向为所有人创造更具包容性和无障碍的技术迈出的重要一步。"该研究报告在线发表在arXiv上。...PC版：https://www.cnbeta.com.tw/articles/soft/1361417.htm手机版：https://m.cnbeta.com.tw/view/1361417.htm

专家建议在降低AI风险方面进行大量投资 并制定更严格的全球法规以防止滥用

专家建议在降低AI风险方面进行大量投资并制定更严格的全球法规以防止滥用这些风险包括社会和经济影响、恶意使用以及人类可能失去对自主人工智能系统的控制。他们提出了积极主动的适应性治理措施，以降低这些风险。作者敦促大型技术公司和公共资助者加大投入，至少将三分之一的预算用于评估和降低这些风险。他们还呼吁全球法律机构和政府执行防止滥用人工智能的标准。这些挑战包括以下方面：监督与诚信能力更强的人工智能系统可以更好地利用技术监督和测试方面的弱点，例如，产生虚假但令人信服的输出。鲁棒性人工智能系统在新情况下的表现难以预测。随着模型规模的扩大，鲁棒性的某些方面会得到改善，而其他方面则不会，甚至会变得更糟。可解释性和透明度人工智能决策是不透明的，规模更大、能力更强的模型解释起来更加复杂。到目前为止，我们只能通过试错来测试大型模型。我们需要学习了解它们的内部运作。包容性的人工智能发展人工智能的发展需要有方法来减少偏见，并整合其将影响的众多人群的价值观（见SM）。应对新出现的挑战未来的人工智能系统可能会出现我们迄今为止仅在理论或实验室实验中见过的失效模式，例如人工智能系统控制了训练奖励-提供渠道，或利用我们安全目标和关闭机制中的弱点来推进特定目标。第二类研发挑战需要取得进展，以实现有效的风险调整治理，或在安全和治理失效时减少危害。评估危险能力随着人工智能开发人员对系统进行扩展，不可预见的能力会在没有明确编程的情况下自发出现（见SM）。它们往往在部署后才被发现（见SM）。我们需要严格的方法来激发和评估人工智能能力，并在训练前对其进行预测。这既包括在世界上实现宏伟目标的通用能力（如长期规划和执行），也包括基于威胁模型的特定危险能力（如社会操纵或黑客攻击）。目前对危险能力的人工智能前沿模型的评估是各种人工智能政策框架的关键，但这些评估仅限于抽查和在特定环境下的尝试性演示（见SM）。这些评估有时可以展示危险能力，但无法可靠地排除危险能力：在测试中缺乏某些能力的人工智能系统，很可能在稍有不同的环境中或经过后期训练增强后显示出这些能力。因此，依赖于人工智能系统不跨越任何红线的决策需要很大的安全系数。改进评估工具可以降低遗漏危险能力的几率，从而允许更小的安全系数。评估人工智能调整如果人工智能继续发展，人工智能系统最终将拥有高度危险的能力。在训练和部署这些系统之前，我们需要一些方法来评估它们使用这些能力的倾向。对于先进的人工智能系统来说，纯粹的行为评估可能会失败：与人类类似，它们可能会在评估中表现出不同的行为，伪造一致性。风险评估我们不仅要学会评估危险的能力，还要学会评估社会背景下的风险，以及复杂的相互作用和脆弱性。对前沿人工智能系统进行严格的风险评估仍然是一个公开的挑战，因为这些系统具有广泛的能力，而且在不同的应用领域中普遍部署。复原力不可避免的是，有些人会滥用或肆意使用人工智能。我们需要一些工具来检测和防御人工智能带来的威胁，如大规模影响行动、生物风险和网络攻击。然而，随着人工智能系统的能力越来越强，它们最终将能够规避人类制造的防御系统。为了实现更强大的基于人工智能的防御，我们首先需要学习如何使人工智能系统安全并保持一致。"为了引导人工智能取得积极成果，远离灾难，我们需要调整方向。有一条负责任的道路--只要我们有智慧去走它，"作者写道。它们突显了全球科技公司竞相开发通用人工智能系统的情况，这些系统在许多关键领域的能力可能与人类不相上下，甚至超过人类。然而，这种快速进步也带来了社会规模的风险，可能会加剧社会不公、破坏社会稳定，并导致大规模网络犯罪、自动化战争、定制化大规模操纵和无孔不入的监控。重点关注的问题之一是，自主人工智能系统有可能失去控制，这将使人类的干预变得无效。专家认为，人类尚未做好充分准备来应对这些潜在的人工智能风险。他们指出，与提高人工智能能力的努力相比，在确保安全和合乎道德地开发和部署这些技术方面投入的资源少之又少。为了弥补这一差距，作者概述了人工智能研究、开发和治理的当务之急。DOI:10.1126/science.adn0117...PC版：https://www.cnbeta.com.tw/articles/soft/1432300.htm手机版：https://m.cnbeta.com.tw/view/1432300.htm