Stability AI 发布了他们最强的图片生成模型 Stable Diffusion 3 的技术报告，披露了 SD3 的更多

Stability AI 发布了他们最强的图片生成模型 Stable Diffusion 3 的技术报告，披露了 SD3 的更多细节。 据他们所说，SD3 在排版质量、美学质量和提示词理解上超过了目前所有的开源模型和商业模型，是目前最强的图片生成模型。 技术报告要点如下： ◆根据人类偏好评估,SD3 在排版质量和对提示的理解程度上,均优于目前最先进的文本生成图像系统,例如 DALL·E 3、Midjourney v6 和 Ideogram v1。 ◆提出了新的多模态扩散 Transformer (Multimodal Diffusion Transformer,简称 MMDiT) 架构,其使用独立的权重集分别表示图像和语言。与 SD3 的先前版本相比,该架构改善了系统对文本的理解能力和拼写能力。 ◆SD3 8B 大小的模型可以在 GTX 4090 24G 显存上运行。 ◆SD3 将发布多个参数规模不等的模型方便在消费级硬件上运行，参数规模从 800M 到 8B 。 ◆SD3 架构以 Diffusion Transformer (简称"DiT",参见 Peebles & Xie,2023)为基础。鉴于文本嵌入和图像嵌入在概念上存在较大差异,我们为这两种模态使用了独立的权重集。 ◆通过这种方法,信息得以在图像 Token 和文本 Token 之间流动,从而提高了模型生成结果的整体理解力和排版质量。我们在论文中还讨论了如何轻松地将这一架构扩展至视频等多模态场景。 ◆SD3 采用了矫正流 (Rectified Flow,简称 RF) 的公式 (Liu et al.,2022;Albergo & Vanden-Eijnden,2022;Lipman et al.,2023),在训练过程中,数据和噪声被连接在一条线性轨迹上。这导致了更直的推理路径,从而可以使用更少的步骤进行采样。 ◆扩展矫正流 Transformer 模型：使用重新加权的 RF 公式和 MMDiT 主干网络,对文本到图像的合成任务开展了模型扩展研究。我们训练了一系列模型,其规模从 15 个 。Transformer 块 (4.5 亿参数) 到 38 个块 (80 亿参数) 不等。

我用GPT-4帮忙写了一个浏览器扩展，帮你把Midjourney提示词和对应图片快速保存到Notion中，下面是插件的使用方式介

我用GPT-4帮忙写了一个浏览器扩展，帮你把Midjourney提示词和对应图片快速保存到Notion中，下面是插件的使用方式介绍、我总结的GPT-4使用技巧以及产品实现的具体过程。 详细的过程可以去这里查看： 插件已经开源在这里下载： 插件介绍： Prompt hunter扩展支持一键将Midjourney图片详情页的图片提示词和其他信息收集到你自己的Notion数据库中，未来也会支持保存到其他工具例如飞书语雀等。也会支持civitai等SD网站的提示词和信息收集。 本周总结的GPT-4编码技巧 在代码编写方面多做要求GPT-4的输出结果可读性会好很多 尽量让他多打log，以便能够准确定位问题 由于他的数据库就到21年很多事情不知道，所以你需要给他一些输入，例如对应产品的开发文档。比如他就认为Notion API 支持更改数据库的内容不支持为页面添加内容，于是我直接把Notion那部分的开发文档扔给它，它就会了，学习能力真的强。 还是那句话GPT-4不是全知的所以产出效果很依赖你的输入内容质量，在跟他对话的时候尽量提供详细的完整的信息 实现过程 首先这次我在描述需求的时候比之前细致了非常多我详细描述了需求的背景具体的功能，以及需求涉及到的所有交互链路，还加上了对代码的一些要求。 这次由于交互链路非常复杂学到的一个技巧就是，让他在每一个个关键节点都在控制台输出log方便调试和寻找问题，不然点开没有反应浏览器的报错又很迟钝根本找不到哪里错了。 我发现，保存的图片地址都是一个SVG根本打不开，搜了一下居然是用图片懒加载做的反爬机制。这下GPT-4帮不了我了，我必须得自己找到真正的img标签的位置，后来找了好久一层一层看。终于让我找到了。 第二个比较大的坑是MJ详情页单独作为页面打开和作为浮层打开图片部分的class名称是不一样的，导致我找了很久打了好几个log才定位了问题。 最后为了保证表单的填写体验我对扩展浮层和设置页面的样式都做了视觉和交互上的优化。 感谢各位能够看到这里，如果觉得我的内容对你有帮助也欢迎转发给你的朋友或者同事。

Sora封的第一个“神”，塌了

Sora封的第一个“神”，塌了 也正是黑框眼镜、流利的口条、199元的AI课以及高频出现的“还剩不到10个名额”“我是清华大学博士”等诸多要素，构成了李一舟“AI巨头”的人设。据媒体援引飞瓜数据，上述的199元AI课程，李一舟一年合计卖出了约25万份，营收5000万元。2月16日，OpenAI发布最新文生视频Sora惊艳全球，李一舟当然没有放过这一时机，在各大平台密集开播卖课，精准收割流量。但不少人很快发现，这位“巨头”实属经不起推敲。其所经营的一舟智能官网上的许多模型其实是由独立开发者所制作加工的开源模型，是一舟智能未经授权就私自上架并商用了。而几乎同时，有付费学员质疑199元AI课质量低劣、割“韭菜”而遭到李一舟工作人员反驳，辩驳不过后，更是直接解散了课程群。有人讲道，李一舟并没有强AI学术或从业背景，只是在蹭热点，翻车是早晚的事，“但没想到会是这么快。”对于风波，李一舟对媒体《鞭牛士》表示目前不便回复，“过一阵再说吧”。一场闹剧，以荒诞的方式划下了休止符。而关于他的诘问，还在继续。“AI巨头”陷入97个模型侵权争端2024开年不久，来自北京航空航天大学的AI绘图模型开发者“LEOSAM是只兔狲（以下简称“兔狲”）”突然发现，自己亲手训练微调的3个模型作品出现在了“一舟智能”的网站上，而自己对此一无所知。兔狲对“市界”介绍，这3个模型都是Stable Diffusion AI绘图模型，即坊间俗称的AI绘画工具，原本都发布在国内最大的AI模型分享社区“LiblibAI”上。“其中有两个还是我和Liblib签署了独家的协议合同的，所谓的独家就是LiblibAI和我们模型作者进行一个约定，该模型在国内市场中，只在liblibAI上独家发布，同时liblibAI会对本模型提供更多激励以及更好的推广机会。”他讲道。大模型应用开发者、清华大学讲师“ROST印”对“市界”解释道：“国内AI圈的生态现在是，所有号称自研AI绘画的产品跟平台，其实底层都是采用了基础模型Stable Diffusion（简称SD），由知名创企StabilityAI开发。”“而SD更多是提供一个基础的算法框架，它上面能直接用来生成图片的模型是很少的。所以会有一些圈内爱好者，基于SD来不断调节参数，最后生成一个带有自己强个人色彩和用途的模型作品。”更通俗的来说，SD与兔狲发布的模型之间的关系，就相当于GPT-4与微软Copilot之间的关系、百度文心系列大模型与“文心一言”的关系、字节跳动云雀大模型与对话机器人“豆包”的关系……或者用兔狲本人的话来说：“这就像是原味饺子和酸汤饺子、可乐和姜汁可乐的关系，存在原版产品是否经过二次加工的区别。”不同的是，完成应用开发设计的不再是公司，而是个人开发者，就像有人基于开源大语言大模型构建了一个自己的特殊用途AI工具（可能是法律AI、金融知识AI……）。这类工具常被称为“第三方模型”。兔狲的遭遇并非孤例，炼丹科技创始人忠忠，独立开发者娜乌斯嘉等人也发现，自己在其他平台发布的模型出现在了一舟智能的官网首页。Liblib官网上对于商家的第三方模型是否为“独家”、是否可商用做了明确标注。在兔狲等人看来，一舟智能刻意忽略了这一点。以开发者麦橘的作品为例，一舟智能不仅隐去了模型来源，还在网站首页将模型标注为“一舟模型”，并在模型页面将算法来源也标注为“一舟”。（ 图源/开发者麦橘供图）对于开发者而言，这带来的最直接影响是他们将无法从自己制作的模型产品中获得任何收益。客观而言，训练模型是一个非常耗时且耗费资金的工作，兔狲讲道：“以我为例，我差不多从去年的这个时间开始制作SD模型，365天里投入工作的时间达到了起码半数，而且为了训练模型，我会在云计算平台Autodl上租赁算力，至今花费了大约两万元人民币，此外我购买了英伟达4090和6000ada这两块显卡，也花了大概8万元。”他进一步分享道：“LiblibAI会根据模型的运行量、下载量等数据，对作者进行一个普适性的分成；签署独家协议的话，平台也会对模型有进一步的流量扶持或激励补助；此外我在LiblibAI上留下了我的联系方式，很多商业客户会联系到我，进行商用模型定制之类的，间接带来部分收入，这样才能平衡支出。”收益之外更重要的影响是，“在精神上，我们受到了极大的不尊重。”兔狲讲道，许多开发者开发模型并非为了盈利，而是“享受创作和分享的过程，让更多人可以用到我们制作的模型来生成美好的图片。所以很多人包括我在网站发布模型时，都是（仅与上线平台方签订协议，但允许）普通用户免费下载的。”为此，开发者们已经在统计被搬运至一舟智能上的模型数量，并逐一联络了这些模型的开发者：“目前搬运的合计有97个模型，除1个模型为stable diffusion XL官方模型外，其余均为国内或国外开发者所制作第三方模型。”兔狲告诉“市界”，成功联络到并且愿意共同发声的开发者人数，已经达到了17人，对应着25个模型。AI知识付费走上流水线开发者与一舟智能进行的沟通并不顺利，对方只承认平台上的模型来自“SD官方接口”。“市界”联络到了一舟智能的业务相关方、一舟智能软件的服务提供商“提示语科技（北京）有限公司”，后者对“市界”反复强调，开发者们所主张的侵权模型，一舟智能方面“都没用于盈利”“绝对和割韭菜不沾边”“我们切切实实地帮助了几十万人”。这位相关方人士讲道，一舟智能官网上的模型“是用户都可以上传的”，也就是说，被指存在侵权的97个模型均是由用户从其他网站下载后、二次上传到一舟智能官网。未能署名开发者，或是从开发者处获得授权，亦是由于用户跳过了这部分环节。但本次陷入争议的许多模型，在一舟智能官网页面上并未标注“上传用户”的信息。另外，据李一舟本人在其线上课中的表述，使用其公司官网上的“一舟生图”功能需要“消耗算力”，AI课程包中附带了100万个“算力单位”，消耗完后得继续购买。（ 图源/左-李一舟视频号；右-一舟智能官网付费套餐详情）在开发者们看来，这无疑是通过打包售卖，来对商用他人作品进行包装的恶劣行为。兔狲透露，这种行为并非孤例，在开发者群友的提示下，他发现了：“抖音上还有一个作者叫张诗童，大概有200多万粉丝，他自己也有一个网站，同样搬运了我们的模型，甚至网站界面都和一舟智能高度相似。所以我们怀疑，实际上抖音等平台上的不少所谓AI知识付费博主，可能都有这么样的一个操作的流程，包括服务商怎么给他们设计网站、他们怎么获取收益，其实都是同样的套路。”但在知识付费博主司强眼中，李一舟的行为则展现出了对风口的超强把控力。司强讲道，他与李一舟同为全国最大的付费创业副业社群“生财有术航海家社群”的付费会员，曾有简短交谈，“我们抛开外界的成见，他抓住的风口是很多人遥不可及的，我原本还打算抽时间去拜访他。”这个风口指的是AI浪潮之下，不少人深陷在“掉队”的时代焦虑和对渴望造富的夹缝中，渴望拥抱机遇、改变命运。受情绪驱使，这部分下沉人群汇成了铺天盖地的流量，也成为了李一舟的掘金密码。根据清华大学官网刊载的一篇采访文章，李一舟的确曾经在清华美院攻读博士。但在此之前，李一舟的本硕就读于湖南大学设计艺术学院。而李一舟第一次出现在公众视野，当属2012年，已经进入清华就读的他出现在了天津卫视播出的职场真人秀节目《非你莫属》，与周鸿祎、陈向东、李... PC版： 手机版：

AI乔任梁、李玟“复活”背后成本不足百元 律师：或构成违法行为

AI乔任梁、李玟“复活”背后成本不足百元 律师：或构成违法行为 但此类AI视频很快引起逝者家属意见反弹，乔任梁父亲3月16日公开称，“不能接受，感到不舒适，希望对方下架”，并表示“他们未征求我们同意，是我侄女刷到视频发给我的，这是在揭伤疤” 。记者3月17日在视频平台看到，一些此前流传的AI乔任梁视频已搜索不到，但仍有不少AI李玟、AI科比、AI姚贝娜、AI高以翔等已逝明星的AI视频存在。第一财经记者以AI视频潜在购买者或合作者身份咨询制作者，了解到目前制作一条30秒~1分钟时长的视频价格80~600元，拿到视频后可自行在视频平台发布。不少发布视频的创作者对外接单，有的在招收学徒和代理。电商平台上也出现了低价的明星模型，这些“免训练、可直接合成”的女明星“万能模型”售价几乎都在8元-25元以下。AI合成明星正形成一个灰色产业，律师提醒，合成明星视频后发布有违法违规的风险。AI“复活”成生意不久前，商汤创始人汤晓鸥以AI数字人的方式出现在商汤线上年会，商汤技术团队征得家属同意，使用商汤如影技术高度还原了汤晓鸥的神态等细节。AI技术“复活”，成为亲人朋友追思逝者的新方式。但随着越来越多AI“复活”明星的视频出现在视频平台，引起的争论开始发酵。在一些视频平台上，已逝明星在AI视频中表达着他们的“想法”。AI高以翔称“听说我离开的这段时间里，有人开始健身，有人学会了做饭……我不在你们身边，但我一直在另一个世界陪伴着你们”。AI姚贝娜称“我去的地方还是能尽情歌唱”。AI科比用英语表示“很高兴以这样的方式再次和你们相见”。视频平台上AI“复活”明星的视频相比汤晓鸥演讲视频的高还原度，这些AI明星视频在细节处显得粗糙，脸部表情、嘴巴和眼睛的动作有不流畅之处，但若不仔细看，仍像是真人在说话。评论区中，有粉丝希望视频制作者能继续发布其喜欢的明星的AI视频，也有人认为AI视频应由逝者家属发布更合适。发布AI“复活”明星的视频，是短视频平台上这些制作者招揽客户的一种方式，一些制作者的主页显示承接数字人制作、“复活”亲人等业务。记者以AI视频潜在购买者或合作者身份咨询了这些制作者。一名制作者表示可以制作一名已逝明星的AI视频，“只需提供已逝亲人的照片及想表达的话即可定制，30秒内89元”。AI视频制作完成后，付费购买者可以发布在视频平台上，视频制作者征求同意后也会发布在其账号上。另一名制作者表示，只要提供素材便可复活已逝明星，包括1分钟清晰讲话声音素材和正脸视频画面。生成1分钟讲话画面收费200元，后续每分钟收费20元，若除了讲话画面还需加入其他画面剪辑，每分钟需加收50元剪辑费，下单要转至电商平台。记者看到，其店铺销售AI数字人制作、AI视频制作、AI音频处理，相关产品售出30余份。此外，有AI明星视频制作者发出了价格单，显示提供逝者照片后生成1分钟内说话视频，若选择AI配音收费198元，若选择逝者声音则收费398元。除普通话外，视频还能以逝者的音色生成方言，根据声音的生成方式和还原度，收费398~598元。后续，制作团队还计划推出语音及文字实时互动聊天、实时视频通话聊天产品。AI视频制作者发来的价格表该团队还在招学徒和代理，要成为代理，需向其交980元，由该团队提供视频并制作，代理在外接单，该团队向代理的报价是价格表的6折，差价是代理的收益。该制作者称，学徒的收费更高，但并未透露收费价格。目前已有多种AI工具可用于制作AI数字人。此前，有B站UP主制作了已逝亲人的AI视频，并介绍了AI“复活”的过程。包括将照片上传至Midjourney并优化、录音导入音频编辑软件并切割成短音频、将语音上传到百度飞桨AI Studio语音合成项目训练模型、输入文本尝试语音合成、将合成的语音包下载到本地。还可以让ChatGPT角色扮演进行对话，再用D-ID数字人AI视频平台网站，上传头像生成模型、上传文字和音频，进行合成。普通人要使用AI工具制作视频，收费门槛不算太高。其中，记者从AI视频创作者了解到，Midjourney fast快速出图模式每月时长15小时，收费约300元，在非专业影视制作者使用且非大量出图的情况下基本够用。D-ID试用前两周免费，按年收费不同模式下价格为56~1293美元。电商平台9.9元可“合成”明星要合成明星视频，还有一种“自己动手”收费更低的方式。在淘宝上，“9.9元生成杨幂”已不是梦。3月17日，记者查看淘宝发现，搜索“AI女明星”等关键词，一些女明星的形象正被制作成人物模型素材包，以方便购买者实现AI换脸女明星。这些“免训练、可直接合成”的女明星“万能模型”售价几乎都在8元-25元以下，消费者下单后，后台立刻发货。记者尝试拍下了一件标价为9元的杨幂万能模型，后台立刻自动回复了一个网盘链接，网盘中有一个可供下载的压缩文件，包含1.4G的杨幂相关素材，商家表示，通过DeepFaceLab软件，配合该杨幂模型，用户可以将导入的视频中的人全部换成杨幂。同时，记者还注意到了一件名为“SRC高质量稀有明星人脸素材”的商品标价23.8元，涉及唐嫣、杨紫、倪妮等众多明星，商品详情页面显示，该人物模型合集包括10万张明星图片，包含众多影片截图、剧照等。电商平台上的明星人脸素材商品介绍DeepFaceLab是一款用于AI换脸的开源软件。而对于难以自行下载或对官方版本存在使用困难的用户，淘宝商家还推出了DeepFaceLab的新版本，表示“全部汉化，修复了很多BUG，新增很多功能，可以查看角度”，售价为10元。“生成女明星”似乎正在变成一件低成本、低门槛的事，但实际上，许多风险暗藏其中。记者注意到，该类产品几乎都不支持7天无理由退货，且均在详情页面或自动回复中表示产品为虚拟产品，一经发货、概不退换，这也意味着，若消费者购买的产品与预期不符或“换脸”效果不佳时，可能存在维权困难。私下向视频制作者付费而不通过平台，以制作喜爱明星或已逝亲人的AI视频，也有一定潜在风险。一名视频制作者表示，下单方式是直接向其支付宝转账，但其对于私下交易是否安全的问题并未回应。另一名视频制作者表示，直接下单或要成为代理需私下加其社交账号沟通，关于私下交易的安全性，该制作者则称可用人格担保。记者从律师了解到，不论是生成已逝明星AI视频并发布在视频平台，还是在电商平台上销售明星模型，都可能是违法违规的行为。广东国鼎律师事务所律师廖建勋告诉记者，未经去世明星家属同意发布AI“复活”视频甚至用于商业牟利是侵权行为，侵犯了肖像权。据《民法典》规定，死者姓名、肖像等受到侵害，亲属有权请求行为人承担民事责任，要求消除不良影响、支付精神损害抚慰金等，且可要求平台删除侵权视频。相对粉丝制作视频不用于商业牟利，商业牟利者需承担的责任更重。河南泽槿律师事务所主任付建则提醒，由于商家售卖的明星模型是在没有授权的情况下提供给消费者使用，可能会侵犯明星的肖像权、名誉权或者隐私权。这些商品还可能为不法分子实施违法犯罪提供便利，造成不良社会影响。付建认为，消费者在购买这些服务时，应该注意是否违反法律法规的规定，是否侵犯他人合法权益，是否在法律所允许的范围内进行使用服务。例如，当消费者在未经允许的情况下擅自生成他人的AI视频，并在互联网传播时，便有可能侵犯他人的肖像权和名誉权。根据《民法典》的规定，被侵权人可以... PC版： 手机版：