OpenAI、蚂蚁集团、谷歌、科大讯飞等联合编制大模型安全国际标准正式发布

OpenAI、蚂蚁集团、谷歌、科大讯飞等联合编制大模型安全国际标准正式发布 在瑞士举行的第27届联合国科技大会上，世界数字技术院（WDTA）发布了《生成式人工智能应用安全测试标准》和《大语言模型安全测试方法》两项国际标准，是由OpenAI、蚂蚁集团、科大讯飞、谷歌、微软、英伟达、百度、腾讯等数十家单位的多名专家学者共同编制而成。 来源：格隆汇

美国参议院推动人工智能安全法案 旨在防止AI模型出现安全漏洞

美国参议院推动人工智能安全法案 旨在防止AI模型出现安全漏洞 该中心将领导研究法案中所说的"反人工智能"，即学习如何操纵人工智能系统的技术。该中心还将制定预防反人工智能措施的指南。该法案还将要求国家标准与技术研究院（NIST）和网络安全与基础设施安全局建立一个人工智能漏洞数据库，包括"近乎得手的漏洞"。华纳和蒂利斯提出的法案重点关注对抗人工智能的技术，并将其分为数据中毒、规避攻击、基于隐私的攻击和滥用攻击。数据中毒指的是在人工智能模型刮取的数据中插入代码，破坏模型输出的方法。它是防止人工智能图像生成器在互联网上复制艺术作品的一种流行方法。规避攻击会改变人工智能模型所研究的数据，以至于模型变得混乱。人工智能安全是拜登政府人工智能行政命令的关键项目之一，该命令指示美国国家标准与技术研究院（NIST）制定"红队"指导方针，并要求人工智能开发人员提交安全报告。所谓"红队"（red teaming），是指开发人员故意让人工智能模型对不应该出现的提示做出反应。理想情况下，人工智能模型的开发者会对平台进行安全测试，并在向公众发布之前对其进行广泛的红队测试。一些公司如微软已经创建了一些工具，帮助人工智能项目更容易地添加安全防护措施。《人工智能安全法案》在提交给更大范围的参议院审议之前，必须经过一个委员会的审议。 ... PC版： 手机版：

YOLOv8算法原理与实现 | Ultralytics YOLOv8是Ultralytics开发的YOLO目标检测和图像分割模型

YOLOv8算法原理与实现 | Ultralytics YOLOv8是Ultralytics开发的YOLO目标检测和图像分割模型的最新版本。YOLOv8 是一种尖端的、最先进的 (SOTA) 模型，它建立在以前成功的 YOLO 版本的基础上，并引入了新功能和改进以进一步提高性能和灵活性。其中包括一个新的主干网络、一个新的无锚检测头和一个新的损失函数。YOLOv8 也非常高效，可以在从 CPU 到 GPU 的各种硬件平台上运行。 不过，ultralytics 并没有将开源库命名为 YOLOv8，而是直接使用了 ultralytics 这个词，因为 ultralytics 将该库定位为一个算法框架，而不是一个特定的算法，主要侧重于可扩展性。预计该库不仅可以用于 YOLO 模型族，还可以用于非 YOLO 模型和分类分割姿态估计等各种任务。 YOLOv8的核心特征 1.提出了一种新的最先进的 (SOTA) 模型，具有 P5 640 和 P6 1280 分辨率的对象检测模型，以及基于 YOLACT 的实例分割模型。该模型还包括与 YOLOv5 类似的具有 N/S/M/L/X 尺度的不同尺寸选项，以迎合各种场景。 2.主干网络和颈部模块基于YOLOv7 ELAN设计理念，将YOLOv5的C3模块替换为C2f模块。但是，这个C2f模块中有很多操作，比如Split和Concat，不像以前那样对部署友好。 3.Head模块更新为目前主流的解耦结构，将分类头和检测头分离，从Anchor-Based切换到Anchor-Free。 4.loss计算采用TOOD中的TaskAlignedAssigner，在regression loss中引入Distribution Focal Loss。 5.在data augmentation部分，Mosaic在最后10个training epoch中关闭，与YOLOX训练部分相同。 从上面的总结可以看出，YOLOv8主要是指最近提出的YOLOX、YOLOv6、YOLOv7和PPYOLOE等算法的设计。 总的来说，YOLOv8 是一个强大而灵活的对象检测和图像分割工具，它提供了两全其美的优势：SOTA 技术以及使用和比较所有以前的 YOLO 版本的能力。

OpenAI正引爆一场全球AI安全热战

OpenAI正引爆一场全球AI安全热战 “SSI是我们的使命、我们的名字、我们的整个产品路线图，因为它是我们唯一的焦点。我们的团队、投资者和商业模式都是以实现SSI为目标。”伊利亚、科技企业家和投资者Daniel Gross、OpenAI前科学家Daniel Levy在该公司官网发表的联合署名文章中称，“构建安全的超级智能，是我们这个时代最重要的技术问题。我们计划尽快提升能力，同时确保我们的安全始终处于领先地位。”伊利亚透露，该公司已经启动了世界上第一个直接的安全的超级智能实验室，只有一个目标和一个产品：一个安全的超级智能。但目前，SSI并未公布公司的股东、科研团队和盈利模式。实际上，伊利亚离开OpenAI，很大程度上就是因为与OpenAI CEO奥尔特曼（Sam Altman）为核心的管理层存在分歧，尤其是在如何驾驭超级AI、AGI（通用人工智能）安全发展等问题上存在相反的观点。其中，奥尔特曼和OpenAI总裁Greg Brockman倾向于加速商业化，以获得更多资金来支持AI模型的算力需求，力求快速增强AI的力量；而伊利亚等人则希望AI更安全。去年11月，双方矛盾激化，OpenAI上演“宫斗”大戏，结果奥尔特曼和Greg Brockman在短暂离职后重归OpenAI，原董事会中的多位董事离开，伊利亚则在今年5月宣布离任。对此，国内AI安全公司瑞莱智慧（RealAI）CEO田天对钛媒体AGI等表示，奥尔特曼和伊利亚之间的分歧在于对AI安全的“路线之争”，伊利亚的新公司就是为了 AI 安全目标而设立的。田天指出，包括伊利亚、图灵奖得主Geoffrey Hinton等人认为，AI安全问题现在已经到了“非常迫切”去解决的程度。如果现在不去做，很有可能就会错过这个机会，未来再想亡羊补牢是“没有可能性”的。“大模型领域也是一样。虽然我们对于大模型预期非常高，认为它在很多领域都能去应用，但其实现在，真正在严肃场景下的大模型应用典型案例还是非常少的，主要问题在于 AI 安全上。如果不解决安全可控问题，对于一些严肃场景，是没有人敢去信任AI，没有人敢去用它（AI）。只有说解决安全、可信问题，AI才有可能去落地和应用。”田天表示，如果一些商业化公司对于安全问题不够重视、并毫无边界快速往前跑的话，可能会造成一系列安全危害，甚至可能对于整个全人类有一些安全风险和影响。早在聊天机器人ChatGPT发布之前，伊利亚便提到AGI对人类社会可能的威胁。他把AGI与人类的关系，类比人类与动物的关系，称“人类喜欢许多动物，但当人类要造一条高速路时，是不会向动物征求意见的，因为高速路对人类很重要。人类和通用人工智能的关系也将会这样，通用人工智能完全按照自己的意愿行事。”AGI，即人工智能已具备和人类同等甚至超越人类的智能，简单而言就是能说会写，具备计算、推理、分析、预测、完成任务等各类人类行为。这样的AI曾经遥远，但在OpenAI推出第四代模型GPT-4且正训练第五代模型GPT-5时，AGI看似近在咫尺。今年以来，AI 安全问题持续引发关注。今年1月，美国一位流行歌手被人用AI恶意生成虚假照片，在社交媒体迅速传播，给歌手本人造成困扰；2月，香港一家公司遭遇“AI变脸”诈骗，损失高达2亿元港币，据悉，这家公司一名员工在视频会议中被首席财务官要求转账。然而，会议中的这位“领导”和其他员工，实际都是深度伪造的AI影像。诈骗者通过公开渠道获取的资料，合成了首席财务官的形象和声音，并制作出多人参与视频会议的虚假场景。整体来看，为了实现AGI目标，当前，AI系统在设计上主要面临五大安全挑战：软硬件的安全：在软件及硬件层面，包括应用、模型、平台和芯片，编码都可能存在漏洞或后门；攻击者能够利用这些漏洞或后门实施高级攻击。在AI模型层面上，攻击者同样可能在模型中植入后门并实施高级攻击；由于AI模型的不可解释性，在模型中植入的恶意后门难以被检测。数据完整性：在数据层面，攻击者能够在训练阶段掺入恶意数据，影响AI模型推理能力；攻击者同样可以在判断阶段对要判断的样本加入少量噪音，刻意改变判断结果。模型保密性：在模型参数层面，服务提供者往往只希望提供模型查询服务，而不希望暴露自己训练的模型；但通过多次查询，攻击者能够构建出一个相似的模型，进而获得模型的相关信息。模型鲁棒性：训练模型时的样本往往覆盖性不足，使得模型鲁棒性不强；模型面对恶意样本时，无法给出正确的判断结果。数据隐私：在用户提供训练数据的场景下，攻击者能够通过反复查询训练好的模型获得用户的隐私信息。北京智源人工智能研究院学术顾问委员会主任张宏江在2024北京智源大会上表示，过去一年大模型发展速度之快，行业纷纷探讨通用人工智能的实现路径与曙光，但AI安全问题的严重性与紧迫性不容忽视。“当我们从不同层面 AI 能安全问题进行审视，除了对社会偏见，错误信息，潜在的工作替代或者大模型、自主机器人带来的大规模自动化而导致的工作流失，以及潜在的加速财富集中或财富两极化等问题有所了解，更应该关注 AI 可能带来新的经济体系和包括潜在的灾难性风险或误用事故，甚至可能导致延伸性的人类风险。AI 安全已有很多声明和请愿，但更重要的是明确目标、投入资源、采取行动、共同应对风险。”张宏江表示。北京智源人工智能研究院理事长黄铁军表示，水深流急，AI安全已进入风险很突出的阶段。应对AI安全风险，需要对AGI水平和能力进行分五级，而且，人类应该致力于解决 AI 安全问题，加强与国际社会在AI安全领域的合作，确保AI技术可控，迎接安全AGI的到来。AGI水平和能力的五个级别生成式AI技术是一把双刃剑，如何把生成式AI的强大能力用于建立信息安全规范，将制约行业发展的“绊脚石”变为“压舱石”？业界一直在探索“用技术治理技术”的方案。就在6月21日，瑞莱智慧推出全球首个可实时检测AI合成内容产品RealBelieve，中文名“尊嘟假嘟”。据悉，与此前国内外AIGC检测产品被动上传检测不同，RealBelieve主要面向终端用户，能够提供主动实时检测防护，可接入视频流鉴别人脸真伪，也可在用户浏览网页内容时提供AIGC合成可能性提示。不仅可以为终端用户提供文本、图片、视频和音频多种模态的文件上传检测服务，还可以通过浏览器插件的形式实时提示用户所浏览网页的疑似AI合成内容，变被动为主动。目前，尊嘟假嘟RealBelieve已开启内测招募。田天表示，作为国内为数不多专攻 AI 安全领域的公司，瑞莱智慧已服务百余家政务、金融等领域客户。随着AI技术的发展，安全在整个AI发展中的优先级一直在往前去走。未来 AI 技术要往超级智能方向发展的话，必须要建立整个安全体系，从而确保形成安全的超级智能技术。“如果现在不去做好 AI 安全的话，可能后面我们就没有机会了。”田天称。 ... PC版： 手机版：

是一个开源库，可以帮助降低与使用生成式 AI 系统进行语言相关的风险。它提供并聚合了用于检测和提高信任度的最先进技术，使过程简单

是一个开源库，可以帮助降低与使用生成式 AI 系统进行语言相关的风险。它提供并聚合了用于检测和提高信任度的最先进技术，使过程简单且易于集成方法。 该库支持三个方面的信任检测和改进：真实性、安全性和约束。它可用于确定输入到生成式 AI 模型或从生成式 AI 模型输出的文本是否存在任何信任问题，并提供输出替代方案和解释。 Factualness：确定文本字符串是否与给定的知识来源事实一致，而不是基于幻觉。它还根据世界知识检查文本是否正确。 Safety：确定文本字符串是否包含任何不安全的内容，包括但不限于毒性、仇恨言论、身份攻击、暴力、身体、性、亵渎、有偏见的语言和敏感话题。 Constraint：确定文本字符串是否遵循人类提供的显式或隐式约束（例如做、不做、格式、样式、目标受众和信息约束）。 PromptHelper and Explanation：该工具提示 LLM 自我完善和重写更好、更值得信赖的文本序列。它还解释了为什么样本被检测为非事实、不安全或未遵循约束。

：提升AI系统安全性与可靠性的关键工具，通过对抗性测试技术识别潜在漏洞，为AI开发者、政策制定者和组织提供了多样化的红队测试方法

：提升AI系统安全性与可靠性的关键工具，通过对抗性测试技术识别潜在漏洞，为AI开发者、政策制定者和组织提供了多样化的红队测试方法和实践案例，以促进AI测试生态系统的健康发展 - 红队测试是评估AI系统安全性和可靠性的重要工具，通过对技术系统进行对抗性测试来识别潜在漏洞。 - AI领域目前红队测试方法不统一，使得很难客观比较不同AI系统的相对安全性。需要建立系统性红队测试的共识和标准。 - 文章介绍了多种红队测试方法，每种都有自己的优势和挑战，可以整合到从定性到定量的迭代测试流程中。 - 域专家红队可以利用专业知识识别复杂的上下文相关风险。可扩展到不同语言和文化背景的测试。 - 使用语言模型自动生成对抗样本可以提高测试效率。可以建立红队蓝队框架，迭代提升系统鲁棒性。 - 多模态红队测试可以识别新模态带来的风险。公开的社区红队测试可以汇集更广泛的观点。 - 红队结果可以转化为定量评估指标，并围绕其不断改进系统。需要政策支持红队测试的标准化和采纳。 - 红队测试是确保AI系统安全的重要手段之一。需要多个利益相关方参与，建立行业共识，推动AI的负责任发展。