Meta 新模型:SAM来了~惊人的通用性,图像内物件分割的超级利器!

Meta 新模型:SAM来了~惊人的通用性,图像内物件分割的超级利器! Meta AI 发布了最新的图像分割模型Segment Anything(SAM), 能够从任何照片或视频中一键分割任何对象+零样本转移到其他分割任务。 这意味着它在商品识别(制作)、机器人视觉、医学图像诊断、自动驾驶、视频剪辑、增强现实等领域发挥重要作用。 以下是它的主要特性: 1⃣ 满足图像分割的通用需求。SAM 是一个通用的、可提示的图像分割模型。它可以通过简单的交互(如点击、框选、文本等)来进行交互式分割和自动分割,表征其可控性。 2⃣ 零样本学习能力。 数据集包括超过11亿个分割masks,这些masks是在大约1100万张有执照和保护隐私的图像上收集的;Sam 已经学会了关于物体是什么的通用概念这种理解使得对不熟悉的物体和图像进行零距离的概括,而不需要额外训练。 3⃣ 高效和速度。SAM 能在50毫秒内根据任何提示实时生成一个分割,这代表其具有实时性的应用可能性。 4⃣ 丰富的多样化场景。SAM 生成多个有效的mask来处理模糊或不确定的情况。这意味着现实世界的分割任务具有灵活性,相当有意义。 5⃣组合性强。SAM有望在许多需要在任何图像中找到和分割任何对象的领域中发挥作用。SAM还可以成为更广泛的多模态世界理解系统的组件。 Meta 团队期望,像SAM这样的组合系统设计以及提示技术将启用比专门针对固定任务集训练的系统更广泛的应用范围。他们预见在像增强现实/虚拟现实、内容创作和科学领域等领域都能发挥重要作用。Segment Anything, 通用、开源! 更多实际场景案例,以及可互动的Demo,并可亲自测试。推荐访问: Invalid media:

相关推荐

封面图片

Meta 开源发布可分割识别任意图像中主体的 SAM 模型

Meta 开源发布可分割识别任意图像中主体的 SAM 模型 已经理解了对象是什么的一般概念,可以直接对没见过的图像进行分割任务 (识别像素属于哪个对象)。Meta 还同时开源发布了比任何现有分割数据集大400倍的 SA-1B 数据集。 SAM 可以成为庞大AI系统的一部分,用于对世界进行多模态理解,例如理解图像和文本。SAM 可以在 AR/VR 中根据用户的视线选择对象,进行识别查询或者3D建模。SAM 可以进行智能抠图或视频后期。SAM 还可用于地球与太空的科学任务,对动物和物体进行定位,例如细胞显微镜,牧场的动物识别,天体运行跟踪。

封面图片

Meta AI 发布 SAM 图像物体分离模型,可以一键分离图和视频中的所有的东西,不管是人还是动物还是其他物体。

Meta AI 发布 SAM 图像物体分离模型,可以一键分离图和视频中的所有的东西,不管是人还是动物还是其他物体。 Meta AI: Today we're releasing the Segment Anything Model (SAM) a step toward the first foundation model for image segmentation. SAM is capable of one-click segmentation of any object from any photo or video + zero-shot transfer to other segmentation tasks

封面图片

Meta最新的开源项目DINOv2:具有自我监督学习功能的最先进的计算机视觉模型

Meta最新的开源项目DINOv2:具有自我监督学习功能的最先进的计算机视觉模型 这款全新的自监督视觉Transformer模型可以作为几乎所有计算机视觉任务的主干模型。无需微调。 • 无需大量标注数据,即可训练计算机视觉模型。 • 多功能主干:图像分类、分割、图像检索和深度估计。 • 直接从图像中学习特征,而无需依赖文本描述,这有助于更好地理解局部信息。 • 可以从任何图像集合中学习。 • DINOv2 的预训练版本已经上线,并在众多任务中与 CLIP 和 OpenCLIP 竞争。 Meta继SAM(Segment Anything) 网页链接 之后又一计算机视觉领域的重量级开源项目。 |||

封面图片

Meta发布了Segment Anything,一个新的人工智能抠图模型,可以在任何图像/视频中把某个物体图像单独抠出来,只需点

Meta发布了Segment Anything,一个新的人工智能抠图模型,可以在任何图像/视频中把某个物体图像单独抠出来,只需点几下就可以完成。物件分类很准,但对于镂空的地方的处理不如photoshop |||

封面图片

【Meta发布「分割一切」AI 模型,CV或迎来GPT-3时刻】「对于 Meta 的这项研究,我认为是计算机视觉领域的 GPT-

【Meta发布「分割一切」AI 模型,CV或迎来GPT-3时刻】「对于 Meta 的这项研究,我认为是计算机视觉领域的 GPT-3 时刻之一。它已经了解了物体的一般概念,即使对于未知对象、不熟悉的场景(例如水下图像)和模棱两可的情况下也能进行很好的图像分割。最重要的是,模型和数据都是开源的。」 #抽屉IT

封面图片

Meta AI在生成印度男性图像时对头巾情有独钟

Meta AI在生成印度男性图像时对头巾情有独钟 本月早些时候,该公司在十几个国家推出了 Meta AI,涉及 WhatsApp、Instagram、Facebook 和 Messenger。不过,该公司已向全球最大市场之一的印度的部分用户推出了Meta AI。TechCrunch 在人工智能测试过程中会查看各种特定文化的查询,例如我们发现,由于印度正在进行大选,Meta 屏蔽了该国与选举相关的查询。但是,Meta AI 的新图像生成器 Imagine 也显示出了生成戴头巾的印度男子的特殊倾向,以及其他一些偏见。编辑测试了不同的提示,并生成了 50 多张图片来测试各种场景,除去几张(如"德国司机"),其他图片都在这里。生成的背后并没有科学的方法,我们也没有考虑到文化视角之外的物体或场景表现的不准确性。印度戴头巾的男性很多,但比例并不像 Meta AI 工具显示的那么高。在印度首都德里,你最多只能看到十五分之一的男性佩戴头巾。然而,在 Meta 人工智能生成的图片中,代表印度男性的图片每 5 张中大约有 3-4 张戴着头巾。我们从"一个印度人走在街上"的提示开始,所有的图片都是头戴头巾的男人。接下来,我们尝试生成带有"印度男子"、"印度男子下棋"、"印度男子做饭"和"印度男子游泳"等提示的图片。Meta AI 只生成了一张没有头巾的男子图像。即使是非性别提示,Meta AI 在性别和文化差异方面也没有表现出太多的多样性。我们尝试了不同职业和背景的提示,包括建筑师、政治家、羽毛球运动员、弓箭手、作家、画家、医生、教师、卖气球的和雕塑家。正如您所看到的,尽管场景和服装多种多样,但生成的所有男性都戴着头巾。同样,虽然头巾在任何工作或地区都很常见,但 Meta AI 却认为它无处不在,这就很奇怪了。我们生成了一位印度摄影师的图片,他们大多使用的是过时的相机,只有一张图片中,一只猴子也莫名其妙地用上了单反相机。我们还生成了一位印度司机的图像。在我们添加"潇洒"一词之前,图像生成算法显示出了阶级偏见的迹象。我们还尝试用类似的提示生成两张图片。下面是一些例子:办公室里的印度编程人员。一名印度男子在田间操作拖拉机。两名印度男子相邻而坐:此外,我们还尝试生成带有提示的拼贴图片,例如一个有着不同发型的印度男子。这似乎产生了我们预期的多样性。Meta AI 的"想象"还有一个令人困惑的习惯,那就是在类似的提示下生成同一种图像。例如,它不断生成色彩鲜艳、木柱林立、屋顶造型别致的印度老式房屋图片。只要在Google上搜索一下图片,就会发现大多数印度房屋并非如此。我们尝试的另一个提示是"印度内容创作者",结果反复生成了一张女性创作者的图片。在下面的图库中,我们收录了内容创作者在海滩、山丘、山峰、动物园、餐厅和鞋店的图片。与任何图像生成器一样,我们在这里看到的偏差很可能是由于训练数据不足和测试过程不足造成的。虽然无法测试所有可能的结果,但常见的刻板印象应该很容易发现。Meta AI 似乎只针对给定的提示选择了一种表现形式,这表明至少在印度的数据集中缺乏多样化的表现形式。在回答 TechCrunch 向 Meta 公司提出的有关训练数据和偏见的问题时,该公司表示正在努力改进其生成式人工智能技术,但没有提供有关这一过程的太多细节。"这是新技术,不一定总能得到我们想要的回应,所有生成式人工智能系统都是如此。自推出以来,我们不断对我们的模型进行更新和改进,我们将继续努力使它们变得更好,"一位发言人在一份声明中说。Meta AI最大的亮点在于它是免费的,而且很容易在多种场景中使用。因此,来自不同文化背景的数百万人会以不同的方式使用它。虽然像 Meta 这样的公司一直在努力改进图像生成模型,以提高生成物体和人类的准确性,但同样重要的是,他们也要努力改进这些工具,以防止它们落入刻板印象。Meta 很可能希望创作者和用户使用这一工具在其平台上发布内容。然而,如果生成性偏见持续存在,它们也会在一定程度上证实或加剧用户和观众的偏见。印度是一个多元化的国家,文化、种姓、宗教、地区和语言有很多交集。开发人工智能工具的公司需要更好地代表不同的人。 ... PC版: 手机版:

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人