还记得DragGAN吗?可以拖动锚点进行图像编辑,当时代码发布以后大家发现生成速度慢,而且不能自己自定义外部图片就没人理了。

还记得DragGAN吗?可以拖动锚点进行图像编辑,当时代码发布以后大家发现生成速度慢,而且不能自己自定义外部图片就没人理了。现在又有一个StableDrag,是基于Diffusion模型的,也可以完成类似的拖动锚点编辑图片的能力。如果真的跟演示的效果一样的话,那图片编辑就太方便了。论文简介:自DragGAN出现以来,基于点的图像编辑引起了显著的关注。最近,DragDiffusion通过将这种拖动技术适配到扩散模型中,进一步推进了生成质量。尽管取得了巨大成功,但这种拖动方案存在两个主要缺点:不准确的点跟踪和不完整的运动监督,这可能导致拖动效果不理想。为了解决这些问题,我们设计了一种判别式点跟踪方法和一种基于置信度的潜在增强策略,构建了一个稳定和精确的基于拖动的编辑框架,称为StableDrag。其中,判别式点跟踪方法允许我们精确定位更新的控制点,从而提高长距离操作的稳定性;而基于置信度的潜在增强策略则负责确保优化后的潜在表示在所有操作步骤中都尽可能保持高质量。得益于这些独特的设计,我们实现了两种类型的图像编辑模型:StableDrag-GAN和StableDrag-Diff。通过在DragBench上进行广泛的定性实验和定量评估,证明了这两种模型能够实现更稳定的拖动性能。项目地址:

相关推荐

封面图片

SnapEdit AI v.5.8.0 高级版智能图像编辑软件

名称:SnapEditAIv.5.8.0高级版--智能图像编辑软件描述:一款基于AI技术的图像编辑软件,内置了多种AI算法模型,能够根据不同图片的特征进行智能识别和处理,从而实现高质量、精准的移除效果。用户只需将需要编辑的图片上传到软件中,然后选择想要移除的目标,软件便能轻松实现移除。链接:https://pan.quark.cn/s/5b1311e07631大小:56.2MB标签:#Android#软件#AI#SnapEdit#quark频道:@yunpanshare群组:@yunpangroup

封面图片

苹果公司开发了一款AI图像工具,可以通过描述图像进行编辑

苹果研究人员发布了一个新模型,用户可以用简单的语言描述他们想要修改的照片,而无需触摸照片编辑软件。苹果与加州大学圣巴巴拉分校(UniversityofCalifornia,SantaBarbara)合作开发的MGIE模型可以通过文本提示对图像进行裁剪、调整大小、翻转和添加滤镜。MGIE是mllm引导的图像编辑,可以应用于简单和更复杂的图像编辑任务,比如修改照片中的特定物体,使它们具有不同的形状或更亮。该模型混合了多模态语言模型的两种不同用法。首先,它学习如何解释用户提示。然后,它会“想象”编辑后的样子(例如,要求在照片中添加更蓝的天空,就会增加图像中天空部分的亮度)。当使用MGIE编辑照片时,用户只需要输入他们想要修改的图片。这篇论文以编辑意大利辣香肠披萨的图片为例。输入提示“让它更健康”,模型则会添加一些蔬菜。一张撒哈拉沙漠老虎的照片看起来很暗,但在告诉模型“增加更多的对比度来模拟更多的光线”后,照片看起来更亮了。标签:#Apple#AI频道:@GodlyNews1投稿:@GodlyNewsBot

封面图片

ML Blocks:无代码AI图像生成和分析工作流平台

MLBlocks:无代码AI图像生成和分析工作流平台它提供了一个拖放式的界面,允许用户轻松地创建复杂的图像处理工作流,无需编写任何代码。你只根据需要将不同的功能块(如图像编辑功能和AI模型)组合在一起,即可实现个性化的图像自动化处理。该工具主要解决在电商领域遇到的批量处理图片问题。MLBlocks允许用户创建可以处理多步骤图像生成或分析管道的自定义图像处理工作流,使用基于图的工作流。用户只需按顺序连接几个块,如去背景->裁剪->AI上采样,就可以在几分钟内得到完整的图像处理工作流。主要功能:生成图像:使用StableDiffusion等AI模型生成或绘制图像。编辑图像:提供编辑功能,如裁剪、调整大小、重新着色等,来修改图像。分析图像:利用检测或分割模型从图像中提取数据。实际应用示例:基于提示模糊图像特定区域:传统方法需要使用DINO模型生成提示中提到的对象周围的边界框,然后使用像SegmentAnything这样的分割模型生成这些区域的遮罩,最后使用Pillow或OpenCV库编写模糊功能来模糊遮罩区域。而使用MLBlocks,用户只需将分割、遮罩和模糊块连接起来,就能在2分钟内完成工作流程。你还可以自动生成博客帖子或推文的横幅图像、根据提示移除图像中的对象、去除背景并用AI创建新背景等多种工作流程。

封面图片

苹果公司即将推出新版照片应用 利用生成式人工智能进行图像编辑

苹果公司即将推出新版照片应用利用生成式人工智能进行图像编辑周一早些时候,苹果公司网站上宣传周二活动的徽标突然变成了交互式的,用户可以用鼠标擦除部分或全部徽标。虽然这最初被认为是对改进版ApplePencil的暗示,但也可能是指苹果计划在今年晚些时候推出的改进版编辑功能。熟悉苹果下一代操作系统的人士透露,iPad制造商正在内部测试其内置照片应用程序的一项增强功能,该功能将利用生成式人工智能进行照片编辑。在苹果macOS15的预发布版本中,该功能被称为"CleanUp"(清理),位于新版照片应用的编辑菜单中,与现有的调整、滤镜和裁剪选项并列。该功能似乎将取代苹果公司在macOS版照片应用中提供的"润饰"工具。不过,与润饰工具不同的是,"清理"功能预计将提供更好的编辑功能,并提供删除照片中较大物体的选项。有了CleanUp,用户就可以通过画笔工具选择照片的某个区域,并删除图像中的特定对象。在应用程序的内部版本中,测试者还可以调整笔刷大小,以便更轻松地删除较小或较大的对象。虽然该功能本身正在苹果公司的下一代操作系统上进行测试,但该公司也可能决定提前预览或宣布该功能,以此作为营销其新iPad机型的一种方式。清理功能将取代苹果当前的润饰工具在以iPad为中心的"LetLoose"发布会上,苹果预计将发布两款新的iPadAir和iPadPro,据传后者将采用苹果公司的新一代M4芯片。M4可能会通过增强型神经引擎引入更强的人工智能功能,至少会增加内核。此前有传言称,苹果新款iPadPro很有可能采用M4片上系统。在将M3MacBookAir打造成最适合人工智能的便携设备之后,预计苹果还将把这款新平板电脑作为人工智能增强设备推向市场。虽然苹果公司开发内部大型语言模型(LLM)已经有一段时间了,但我们不太可能在"LetLoose"发布会上看到任何与文本相关的人工智能功能首次亮相。不过,"清理"功能将提供一种展示与iPad相关的新人工智能功能的方式。如果苹果选择在6月份的年度开发者大会之前利用新的"清理"功能,那么它将有机会把新款iPad宣传为配备人工智能的设备。让用户选择用ApplePencil从照片中移除物体,将是展示人工智能实际优势的好方法。通过展示人工智能在现实世界中的应用案例,该公司很可能希望在现有的第三方人工智能解决方案中拔得头筹,因为许多目前的第三方解决方案只是利用人工智能以聊天机器人的形式提供短期娱乐价值。苹果在发布会上预告将推出全新ApplePencil擦除功能尽管该功能让我们对人工智能驱动的iPad可能是什么样子有了一些了解,但苹果究竟何时会宣布"清理"功能还有待观察。苹果可能会选择在6月份的全球开发者大会(WWDC)上预览该功能。从2022年开始,Adobe的PhotoshopforiPad用户就可以使用名为"内容感知填充"的类似功能。该功能允许用户利用生成式人工智能从图像中移除对象,使图像中的对象就像从未出现过一样。"内容感知填充"功能逐渐演变为"生成填充",它提供了更多的功能,可用于各种Adobe产品。除Photoshop外,AdobeExpress和AdobeFirefly中也有该功能。有了生成填充功能,Adobe应用程序的用户只需刷一下照片的某个区域,就能移除自己选择的对象。Adobe应用程序甚至还提供了调整笔刷大小的选项。苹果公司的新"清理"功能与Adobe的有些相似。CleanUp预计将于6月与苹果的新操作系统一同亮相,不过在周二的iPad媒体发布会上也有可能被提及。苹果还计划在iOS18中升级便笺、计算器、日历和Spotlight。...PC版:https://www.cnbeta.com.tw/articles/soft/1429915.htm手机版:https://m.cnbeta.com.tw/view/1429915.htm

封面图片

Adobe发布下一代AI工具“星尘” 只需点击几下即可完成图像编辑和对象操作

Adobe发布下一代AI工具“星尘”只需点击几下即可完成图像编辑和对象操作Adobe发布了一段简短的视频,预告了ProjectStardust(星尘)项目,这是一个基于人工智能的照片编辑引擎,可以识别照片中的单个对象,并允许用户像处理Photoshop图层一样处理它们。该公司计划在下周的Max大会上全面披露这项功能和其他人工智能工具。这段视频以一位女士拿着手提箱的照片开始,软件会立即识别并选择组成手提箱的像素,而这在传统上需要缓慢而仔细地手动使用套索工具。然后,用户可以通过一个简单的命令菜单移动或删除手提箱及其阴影,同时保持背景一致。然后,高亮显示女人空手周围的空间,并在文本提示中输入"黄花",系统就会插入一束黄花,提供多种人工智能生成的选择。另一个例子显示了星尘在另一张照片中逐项修改一位男士的衣服。点击几下后,他的橙色夹克就变成了一件黑色皮夹克,既合身又符合他的姿势。再点击一下选择他的裤子,"黑色牛仔裤"的文字提示就会在他身上生成匹配的单品。星尘还能根据不那么精确的指令进行智能调整。一个标有"删除干扰因素"的按钮可以立即删除一对情侣照片远处背景中的模糊人物。Adobe最近为Photoshop和其他产品推出了一系列新工具,这些工具使用了该公司新的Firefly人工智能库。除了处理图像中的对象外,Firefly还能让Photoshop生成新的背景,并将图片扩展到原来的边界之外。他们还预告了Firefly在视频编辑中的用途。该软件可以使用文字提示来改变视频的情绪、组织故事板、插入图形等。与此有点类似,Google最近发布的Pixel8和Pixel8Pro手机在10月12日上市时也将包含基于AI的图像编辑功能。"魔力橡皮擦"可以让用户干净利落地移动和删除照片中的单个对象;"最佳拍摄"可以将多张相似照片中的元素组合在一起,改变拍摄对象的面部表情,创建理想版本;而"变焦增强"则试图实现通常只有在电影中才能实现的功能。随着多家科技公司将强大的图像处理人工智能添加到普通用户手中,每张照片都有可能陷入"忒修斯之船"的困境(忒修斯悖论,是形上学领域内关于同一性的一种悖论。1世纪时的希腊作家普鲁塔克提出了这个问题:如果忒修斯的船上的木头逐渐被替换,直到所有的木头都不是原来的木头,那这艘船还是原来的那艘船吗?这类问题现在被称做“忒修斯之船”。有些哲学家认为是同一物体,有些哲学家认为不是。)。...PC版:https://www.cnbeta.com.tw/articles/soft/1388181.htm手机版:https://m.cnbeta.com.tw/view/1388181.htm

封面图片

Meta开源新的AI图像水印技术,但真的靠谱吗?

Meta开源新的AI图像水印技术,但真的靠谱吗?例如,今年早些时候,教皇方济各穿着一件华丽的白色蓬松夹克的图片在网上疯传,特朗普被逮捕的照片引发热议。这些图像不是真实的照片,但很多人都被愚弄了,因为没有任何明确的指标来区分这些内容是由生成式AI创建的。Meta研究人员近日发布了一篇新的研究论文和技术代码,详细介绍了一种为AI图片添加隐形水印的技术,用于区分开源生成式AI模型何时创建的图像。隐形水印将信息合并到数字内容中。这些水印肉眼看不见,但可以通过算法检测到——即使人们重新编辑了图像。虽然围绕水印还有其他研究方向,但许多现有方法在生成AI图像后创建水印。据EverypixelJournal报道,用户已经使用三个开源存储库的模型创建了超过110亿张图像。在这种情况下,只需删除生成水印的行即可删除不可见水印。StableSignature提出了一种方法来避免水印被删除。01StableSignature方法的工作原理论文地址:https://arxiv.org/abs/2303.15435Github地址:https://github.com/facebookresearch/stable_signatureStableSignature通过将水印扎根于模型中,并使用可追溯到图像创建位置的水印,消除了删除水印的可能性。让我们通过下面的图表来看看这个过程是如何工作的。Alice训练了一个主生成模型。在分发之前,她对模型的一小部分(称为解码器)进行了微调,从而为Bob生成给定的水印。该水印可以标识型号版本、公司、用户等。Bob收到他的模型版本并生成图像。生成的图像将带有Bob的水印。Alice或第三方可以对它们进行分析,看看图像是否是由使用生成式AI模型的Bob生成的。这通过两步来实现:1.联合训练两个卷积神经网络。一种将图像和随机消息编码为水印图像,另一种则从水印图像的增强版本中提取消息。目标是使编码和提取的消息匹配。训练后,只保留水印提取器。2.对生成模型的潜在解码器进行微调以生成包含固定签名的图像。在此微调过程中,会对批量图像进行编码、解码和优化,以最大限度地减少提取的消息与目标消息之间的差异,并保持感知图像质量。这种优化过程快速有效,只需要小批量和很短的时间即可获得高质量的结果。02评估StableSignature的性能我们知道人们喜欢分享和转发图像。如果Bob与10个朋友分享了他创建的图像,然后每个朋友又与另外10个朋友分享了该图像,结果会怎样?在此期间,有人可能会更改图像,例如裁剪、压缩或更改颜色。研究人员构建了StableSignature以应对这些变化。无论人们如何转换图像,原始水印都可能保留在数字数据中,并且可以追溯到创建它的生成模型。研究人员发现StableSignature相对于被动检测方法的两大优势:首先,能够控制和减少误报的产生,当将人类生成的图像误认为是AI生成的图像时,就会发生误报。考虑到在线共享的非AI生成图像的盛行,这一点至关重要。例如,最有效的现有检测方法可以发现大约50%的编辑生成图像,但仍会产生大约1/100的误报率。换句话说,在每天接收10亿张图像的用户生成内容平台上,大约1000万张图像将被错误标记,从而仅检测到一半的AI生成图像。另一方面,StableSignature以1e-10的误报率(可以设置为特定的期望值)以相同的精度检测图像。此外,这种水印方法允许追踪同一模型的不同版本的图像——这是被动技术无法实现的能力。03如果一个大模型经过了微调,StableSignature如何检测到微调版本生成的图像?AI大模型的一种常见做法是采用基础模型并对其进行微调,以处理有时甚至为一个人量身定制的特定用例。例如,可以向模型显示Alice的狗的图像,然后Alice可以要求模型生成她的狗在海滩的图像。这是通过DreamBooth、TextualInversion和ControlNet等方法完成的。这些方法作用于潜在模型级别,并且不会更改解码器。这意味着我们的水印方法不受这些微调的影响。总体而言,StableSignature与矢量量化图像建模(如VQGAN)和潜在扩散模型(如StableDiffusion)配合良好。由于这种方法不修改扩散生成过程,因此它与上述流行模型兼容。通过一些调整,稳定签名也可以应用于其他建模方法。04AI水印真的靠谱吗?通过添加隐形水印的方式来识别AI生成图像的技术最近受到很多争议。GoogleDeepMind最近宣布针对图像生成推出一种添加水印的工具SynthID,同时识别AI生成的图像。通过扫描图像中的数字水印,SynthID可以评估图像是由Imagen模型生成的可能性。但AI水印是否能够被轻易去除?据外媒Engadget、Wired等报道,美国马里兰大学的一个研究小组对AI生成内容的“数字水印”技术可靠性进行研究,发现这一技术可被轻易破解。该校计算机科学教授SoheilFeizi面对AI生成图像的水印现状时直言不讳:“目前我们没有任何可靠的水印技术,我们破解了所有的水印。”在测试过程中,研究人员可轻松避开现有的水印方法,并发现在非AI生成的图像上添加“假水印”更为容易。同时,该团队还开发出了一种“几乎无法”从图像中去除的水印技术,且不会完全损害图像的知识产权。AI水印这种方式仍旧不过成熟,并不能成为百分百有效的工具。我们需要期待未来能够出现新的技术来为生成式AI图像保驾护航,避免虚假图片泛滥,避免版权侵害。...PC版:https://www.cnbeta.com.tw/articles/soft/1389111.htm手机版:https://m.cnbeta.com.tw/view/1389111.htm

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人