多个AIGC应用在苹果应用商店下架 接近监管人士：包含数据采集和使用不够规范等问题

多个AIGC应用在苹果应用商店下架 接近监管人士：包含数据采集和使用不够规范等问题 8 月 1 日消息，包括讯飞星火在内的多个 AIGC 相关 App，于今日（1 日）凌晨在苹果应用商店下架。 据《科创板日报》从接近监管部门的权威人士处了解到，相关 App 下架主因是 8 月 15 日即将施行的《生成式人工智能服务管理暂行办法》，下架的 App 在数据采集和使用环节等还不够规范，重新上架需要一段时日。 据相关 App 开发者收到的苹果审核信息显示，深度合成技术（DST）和生成式人工智能服务（包括 ChatGPT）有相应的监管措施，DST 必须满足在中国运营的许可要求，包括获得许可证。根据审核，下架应用与 ChatGPT 相关，但没有获得在中国运营所需的许可证。 、

OpenAI正引爆一场全球AI安全热战

OpenAI正引爆一场全球AI安全热战 “SSI是我们的使命、我们的名字、我们的整个产品路线图，因为它是我们唯一的焦点。我们的团队、投资者和商业模式都是以实现SSI为目标。”伊利亚、科技企业家和投资者Daniel Gross、OpenAI前科学家Daniel Levy在该公司官网发表的联合署名文章中称，“构建安全的超级智能，是我们这个时代最重要的技术问题。我们计划尽快提升能力，同时确保我们的安全始终处于领先地位。”伊利亚透露，该公司已经启动了世界上第一个直接的安全的超级智能实验室，只有一个目标和一个产品：一个安全的超级智能。但目前，SSI并未公布公司的股东、科研团队和盈利模式。实际上，伊利亚离开OpenAI，很大程度上就是因为与OpenAI CEO奥尔特曼（Sam Altman）为核心的管理层存在分歧，尤其是在如何驾驭超级AI、AGI（通用人工智能）安全发展等问题上存在相反的观点。其中，奥尔特曼和OpenAI总裁Greg Brockman倾向于加速商业化，以获得更多资金来支持AI模型的算力需求，力求快速增强AI的力量；而伊利亚等人则希望AI更安全。去年11月，双方矛盾激化，OpenAI上演“宫斗”大戏，结果奥尔特曼和Greg Brockman在短暂离职后重归OpenAI，原董事会中的多位董事离开，伊利亚则在今年5月宣布离任。对此，国内AI安全公司瑞莱智慧（RealAI）CEO田天对钛媒体AGI等表示，奥尔特曼和伊利亚之间的分歧在于对AI安全的“路线之争”，伊利亚的新公司就是为了 AI 安全目标而设立的。田天指出，包括伊利亚、图灵奖得主Geoffrey Hinton等人认为，AI安全问题现在已经到了“非常迫切”去解决的程度。如果现在不去做，很有可能就会错过这个机会，未来再想亡羊补牢是“没有可能性”的。“大模型领域也是一样。虽然我们对于大模型预期非常高，认为它在很多领域都能去应用，但其实现在，真正在严肃场景下的大模型应用典型案例还是非常少的，主要问题在于 AI 安全上。如果不解决安全可控问题，对于一些严肃场景，是没有人敢去信任AI，没有人敢去用它（AI）。只有说解决安全、可信问题，AI才有可能去落地和应用。”田天表示，如果一些商业化公司对于安全问题不够重视、并毫无边界快速往前跑的话，可能会造成一系列安全危害，甚至可能对于整个全人类有一些安全风险和影响。早在聊天机器人ChatGPT发布之前，伊利亚便提到AGI对人类社会可能的威胁。他把AGI与人类的关系，类比人类与动物的关系，称“人类喜欢许多动物，但当人类要造一条高速路时，是不会向动物征求意见的，因为高速路对人类很重要。人类和通用人工智能的关系也将会这样，通用人工智能完全按照自己的意愿行事。”AGI，即人工智能已具备和人类同等甚至超越人类的智能，简单而言就是能说会写，具备计算、推理、分析、预测、完成任务等各类人类行为。这样的AI曾经遥远，但在OpenAI推出第四代模型GPT-4且正训练第五代模型GPT-5时，AGI看似近在咫尺。今年以来，AI 安全问题持续引发关注。今年1月，美国一位流行歌手被人用AI恶意生成虚假照片，在社交媒体迅速传播，给歌手本人造成困扰；2月，香港一家公司遭遇“AI变脸”诈骗，损失高达2亿元港币，据悉，这家公司一名员工在视频会议中被首席财务官要求转账。然而，会议中的这位“领导”和其他员工，实际都是深度伪造的AI影像。诈骗者通过公开渠道获取的资料，合成了首席财务官的形象和声音，并制作出多人参与视频会议的虚假场景。整体来看，为了实现AGI目标，当前，AI系统在设计上主要面临五大安全挑战：软硬件的安全：在软件及硬件层面，包括应用、模型、平台和芯片，编码都可能存在漏洞或后门；攻击者能够利用这些漏洞或后门实施高级攻击。在AI模型层面上，攻击者同样可能在模型中植入后门并实施高级攻击；由于AI模型的不可解释性，在模型中植入的恶意后门难以被检测。数据完整性：在数据层面，攻击者能够在训练阶段掺入恶意数据，影响AI模型推理能力；攻击者同样可以在判断阶段对要判断的样本加入少量噪音，刻意改变判断结果。模型保密性：在模型参数层面，服务提供者往往只希望提供模型查询服务，而不希望暴露自己训练的模型；但通过多次查询，攻击者能够构建出一个相似的模型，进而获得模型的相关信息。模型鲁棒性：训练模型时的样本往往覆盖性不足，使得模型鲁棒性不强；模型面对恶意样本时，无法给出正确的判断结果。数据隐私：在用户提供训练数据的场景下，攻击者能够通过反复查询训练好的模型获得用户的隐私信息。北京智源人工智能研究院学术顾问委员会主任张宏江在2024北京智源大会上表示，过去一年大模型发展速度之快，行业纷纷探讨通用人工智能的实现路径与曙光，但AI安全问题的严重性与紧迫性不容忽视。“当我们从不同层面 AI 能安全问题进行审视，除了对社会偏见，错误信息，潜在的工作替代或者大模型、自主机器人带来的大规模自动化而导致的工作流失，以及潜在的加速财富集中或财富两极化等问题有所了解，更应该关注 AI 可能带来新的经济体系和包括潜在的灾难性风险或误用事故，甚至可能导致延伸性的人类风险。AI 安全已有很多声明和请愿，但更重要的是明确目标、投入资源、采取行动、共同应对风险。”张宏江表示。北京智源人工智能研究院理事长黄铁军表示，水深流急，AI安全已进入风险很突出的阶段。应对AI安全风险，需要对AGI水平和能力进行分五级，而且，人类应该致力于解决 AI 安全问题，加强与国际社会在AI安全领域的合作，确保AI技术可控，迎接安全AGI的到来。AGI水平和能力的五个级别生成式AI技术是一把双刃剑，如何把生成式AI的强大能力用于建立信息安全规范，将制约行业发展的“绊脚石”变为“压舱石”？业界一直在探索“用技术治理技术”的方案。就在6月21日，瑞莱智慧推出全球首个可实时检测AI合成内容产品RealBelieve，中文名“尊嘟假嘟”。据悉，与此前国内外AIGC检测产品被动上传检测不同，RealBelieve主要面向终端用户，能够提供主动实时检测防护，可接入视频流鉴别人脸真伪，也可在用户浏览网页内容时提供AIGC合成可能性提示。不仅可以为终端用户提供文本、图片、视频和音频多种模态的文件上传检测服务，还可以通过浏览器插件的形式实时提示用户所浏览网页的疑似AI合成内容，变被动为主动。目前，尊嘟假嘟RealBelieve已开启内测招募。田天表示，作为国内为数不多专攻 AI 安全领域的公司，瑞莱智慧已服务百余家政务、金融等领域客户。随着AI技术的发展，安全在整个AI发展中的优先级一直在往前去走。未来 AI 技术要往超级智能方向发展的话，必须要建立整个安全体系，从而确保形成安全的超级智能技术。“如果现在不去做好 AI 安全的话，可能后面我们就没有机会了。”田天称。 ... PC版： 手机版：

换脸乌克兰美女在中国赚钱 AI已经开始跨国犯罪了

换脸乌克兰美女在中国赚钱 AI已经开始跨国犯罪了 下面的数据可能更加直观：小红书一个名为“娜塔莎进口食品”的博主，在视频中的人设是一位定居在中国的俄罗斯人，并通过这一身份发布各种关于俄罗斯与中国生活的短视频，和大家科普各种俄罗斯知识，仅小红书平台粉丝量就在短短数月内突破了 20 万。但现实是，这个账号的各种视频内容完全是由 AI 生成，甚至这个肖像的真人还是一位乌克兰人，她的真名叫 Olga Loiek。从这个账号发布的各种视频中，不难看出背后的运营团队深谙短视频平台的流量密码：时不时抛出“喜欢中国，想买房子定居”“女性搬到中国是否要务农”这种极富争议的社会话题，显然很清楚如何利用好 Olga 的“流量密码”，但这些也只会加重受害者的痛苦。在抖音等平台，利用 Olga 肖像权制作虚假视频的内容，往往是关于战争中俄罗斯一方的言论：例如“俄罗斯会感激中国朋友的支持”等在短视频平台反响热烈的话题。讽刺的是，抖音的老用户可能会觉得这一刻似曾相识：去年六月，一位自称“保尔柯察铁”的“俄罗斯车臣人”在抖音走红，依靠分享在战争前线的最新动态，迅速积攒了超过三十万粉丝，并顺势开启了带货：当然也是包括伏特加糖果在内的各种俄罗斯特色食物。但在后续他发布的各种“作战”视频中，被不少网友认出了拍摄视频的实际地点经常是河南洛阳某处的发电厂，最终被进一步扒出这位中文过于流利的车臣人，其实只是特效滤镜的效果。被揭开谜底之后的账号不再被网友关注，最终无人问津。虽然彼时诸如“柯察铁”这样的案例并不少，这些视频尚且需要真人出镜，即使漏洞百出，也吸引了众多没有足够辨认能力的观众，而到了 Olga 的例子中，这些视频产业链已经完全不需要一个漏洞百出的真人出镜，取而代之的是一个完全由视频素材训练出的“克隆人”。事实上，使用真人肖像打造出克隆人短视频的工具已经相当成熟：克隆 Olga 的运营团队使用的是一款名为 HeyGen 的 AI 肖像克隆软件：这是一款已经非常成熟 AI 应用，网络上能找到众多面向初学者的 HeyGen 上手教程。使用价格上，即使是最贵的商用版本也只需 72 美元/月。在这些工具之前， AI 视频基本还遵循着输入足够多相关肖像视频素材，根据口型/表情对应生成相应的素材，生产对应的短视频内容，即创作者口中嘲讽 AI 生成视频的“拼尸块”模式，但现在随着 HeyGen 这样的 AI 工具越来越多，生成一条高度逼真的短视频所需要的素材，可能仅仅是原作者的几张照片。每月仅 500 人民币的投入，创作克隆视频换来的收益却相当可观：这些克隆账号不仅能通过挑动流量话题赚钱，通过带货收入也是另一种主要方式：小红书账号下的清单中充斥着各种“俄罗斯特产食品”的链接，并且随着克隆短视频的带动，给观众灌输“俄罗斯经济需要你们的支持”的思想，促使观众购买这些商品：截至2 月 19 日，其中一些单品销量已经超过一万。Olga 也在自己上传的视频中提到，她和她的家人曾多次就这个问题尝试向小红书、抖音等申诉，即使她们都很难理解复杂的中文条款所包含的意思，但这些申诉都没有获得正面的结果，无奈之下，才选择自己真人发布视频，将整件事和盘托出。在 Olga 发布视频揭开这个问题，并引起全球网友热议的两周内，这个账号仍然在小红书等平台正常存活：账号简介中，最新的一条视频的主题甚至是庆祝中国新年，同时仍然有很多不明真相的网友，在评论区中回复账号运营者刻意煽动起的各种问题。给 Olga 关于“买房”“找中国人当老公”等建议。与此同时，Olga 的家人所能做的，也只有在社交媒体上呼吁 HeyGen 的开发者采取行动，避免这种被 AI 换脸的事件发生在更多人身上。2 月 20 日，这个账号才被“封禁”：没有任何常规账号封禁的相关提示，消失在平台中。看起来这起事件告一段落，但在过去的数月中，黑产团队赚到了带货收入与流量分成所得，平台坐享其成收获流量，观众收获了心理满足感与“俄罗斯特产”，只有 Olga 本人和家人承受了痛苦。按照 Olga 本人在 YouTube 发布的视频中所言：“我们的家人在战争中不得不在不断的空袭和轰炸中东躲西藏。在这段时间里，看到自己的脸被用来向数十万人宣传俄罗斯，这并不有趣”。苹果公司联合创始人史蒂夫·沃兹尼亚克近期也警告称，AI 视频内容行业需要强监管。同时监管机构应该也应该追究大型科技公司在其中疏于监管乃至纵容的责任。中国在 2020 年五月发布的《民法典》中第 1019 条，其实已经有相关的条文：任何组合或者个人不得以丑化、污损，或者利用信息技术手段伪造等方式侵害他人的肖像权。未经肖像权人同意，不得制作、使用、公开肖像权人的肖像，但是法律另有规定的除外。未经肖像权人同意，肖像作品权利人不得以发表、复制、发行、出租、展览等方式使用或公开肖像权人的肖像。此前颁布的《互联网信息服务深度合成管理规定》中，也明确规定内容提供者需要按照对生成的图片、视频等内容进行标识，但目前主流短视频平台也没有足够有效的方式来应对：在类似没有明确标注的 AI 生成视频下，小红书会对疑似 AI 内容自动生成的内容自动打上标识，但除此之外并没有更多有效的应对方式。在小红书社区公约中，也明确表示冒充他人等行为属于侵权， 抖音也专门设置了关于人工智能生成内容的平台规范暨行业倡议、人工智能生成内容标识的水印与元数据规范，并推出了虚拟形象账号备案指引。抖音安全中心相关负责人对电厂表示，抖音安全中心针对技术手段仿冒虚假人设、不当获取粉丝的账号，持续进行专项治理。对于违规账号，平台采取了包括全面禁言和粉丝清零在内的处罚措施，近期已处罚账号67个。下一步平台将加大治理力度，也欢迎用户在发现违规账号时点击举报，平台将在第一时间核实处理。此前，抖音官方信息发布账号“抖音黑板报”曾发布打击黑灰产违规“涨粉养号”行为的公告，其中涉及多项违规行为，就包括利用人工智能技术（AIGC）创建虚拟人物仿冒真人或批量发布低俗低质内容。不过，对于Olga这种已经涉及到明确侵犯肖像权的事件，如果内容平台的“正义执行”在两周乃至更长时间之后才姗姗来迟，这不仅是给黑产团队可乘之机，甚至在很大程度上已经纵容了更多类似事件的发生。远在 Sora 之前，从 deepfake 震惊世界的那一天起，AI 换脸就已经开始快速发展，并随着各种越来越易用的工具被开发出来，黑产产业链也如同影子般迅速成长：从一开始的换脸到变声，直到如今以假乱真的 AI 短视频泛滥，内容监督的技术与管理已经远无法跟上现实的需求。如果没有行之有效的监管与审核，下一个伴随着流量密码诞生的 Olga，只会更具煽动性且更难以辨别，且近在眼前。远在 Sora 之前，从 deepfake 震惊世界的那一天起，AI 换脸就已经开始快速发展，并随着各种越来越易用的工具被开发出来，黑产产业链也如同影子般迅速成长：从一开始的换脸到变声，直到如今以假乱真的 AI 短视频泛滥，内容监督的技术与管理已经远无法跟上现实的需求。如果没有行之有效的监管与审核，下一个伴随着流量密码诞生的 Olga，只会更具煽动性且更难以辨别，且近在眼前。（记者何畅对本文亦有贡献） ... PC版： 手机版：