新型人工智能算法可在5秒钟内从2D图像中创建3D模型

新型人工智能算法可在5秒钟内从2D图像中创建3D模型研究人员创建了首个大型重建模型(LRM),他们认为该模型能够通过单张二维图像预测三维模型的形状,而且只需5秒钟即可完成。研究人员在论文中解释说,以前的三维生成模型是在专注于单一图像类别的小规模数据集上进行训练的。相反,他们的LRM模型具有高度可扩展性、基于变换器的架构,拥有5亿个可学习参数,并已在Objaverse和MVImgNet数据集中的约100万个3D物体上进行了训练。研究人员解释说,大容量模型和大规模训练数据的结合为LRM算法提供了"高度通用"的内容创建能力。论文称,该模型能够从包括真实世界照片在内的各种测试图像中生成"高质量"的三维重建。此外,LRM还能将"正常"图像和由DALL-E和StableDiffusion等人工智能服务生成的视觉拼凑图像作为其输入二维模型。该研究的第一作者洪一聪认为,LRM是单图像三维重建领域的重大突破。这种人工智能算法可以从视频或形状图像中生成详细的几何图形,并保留木纹等复杂纹理。研究人员指出,LRM具有潜在的"变革"能力,可以应用于设计、娱乐和游戏等众多行业。设计师或三维艺术家可以简化三维建模过程,大大缩短生成视频游戏或动画资产所需的时间。在快速发展的行业中创建三维内容已成为一项挑战,人工智能公司正急于提供潜在的解决方案,如StabilityAI最近推出的Stable3D服务。LRM还能使3D建模的工作普及化,因为"普通"用户有可能通过智能手机拍摄的照片制作出高度精细的模型。尽管LRM仍面临挑战,例如图像隐藏部分的纹理模糊,但它为创意和商业机会开辟了广阔天地。研究人员提供了一个页面,上面有视频演示和交互式3D网格,展示LRM目前能做什么:https://yiconghong.me/LRM/...PC版:https://www.cnbeta.com.tw/articles/soft/1396051.htm手机版:https://m.cnbeta.com.tw/view/1396051.htm

相关推荐

封面图片

OpenAI发布Shap・E模型:通过输入文本创建逼真3D模型

OpenAI发布Shap・E模型:通过输入文本创建逼真3D模型OpenAI最近发布了名为Shap・E的模型,可以通过输入文本创建逼真且多样化的3D模型。这种模型与现有的只能输出点云或体素的模型不同,可以生成高质量的3D资产,具有细粒度纹理和复杂形状。Shap・E不仅仅是一个3D模型生成器,而且可以直接生成隐式函数的参数,这些参数可以用于渲染纹理网格和神经辐射场(NeRF)。NeRF是一种具有隐式场景表示的新型视场合成技术,在计算机视觉领域引起了广泛的关注。它可以用于视图合成和三维重建,广泛应用于机器人、城市地图、自主导航、虚拟现实/增强现实等领域。值得注意的是,Shap・E模型还可以生成神经辐射场,这是一种新型的三维场景表示方法。通过这种方法,Shap・E可以呈现更加真实的光照效果和材质感,让3D图像更加生动、逼真。未来,这种模型可能会被广泛应用于游戏、电影、建筑等领域,为人们带来更加精彩、逼真的视觉体验。#AI来源,https://github.com/openai/shap-e来自:雷锋频道:@kejiqu群组:@kejiquchat投稿:@kejiqubot

封面图片

研究人员创建3D模型以摄影测量法了解花卉的进化

研究人员创建3D模型以摄影测量法了解花卉的进化Rhytidophyllumauriculatum和Rhytidophyllumvernicosum之间杂交的三维图像摄影测量法使用从不同角度拍摄的照片收集的信息。由于对照片中存在的共同点进行三角测量,这可以重建一个花卉的三维模型。然后利用照片中的信息将颜色应用到三维花朵上。据研究人员说,摄影测量有可能通过提供一种简单的方法来获取三维形态学数据,从而促进花卉进化和生态学的研究。花朵的数据库,甚至是完整植物的数据库可以让科学家和公众最终看到一直隐藏在视野之外的植物物种的独特特征。"在植物世界中看到的各种形状和颜色是很难用简单的摄影来捕捉的。这就是为什么我对调整技术工具以捕捉花朵的形态产生了兴趣,"麦吉尔大学教授丹尼尔·肖恩说,他在葡萄种植研究所做研究时,第一次有了将摄影测量学应用于花卉的想法。了解花卉的进化是很重要的,因为花卉是通过物种进化实现植物多样化的主要驱动力,这是植物生物多样性的一个主要决定因素。"我们认为将有助于推进我们对花卉如何在与传粉者的互动中实现多样化的理解。由于我们的3D模型,我们可以从各个角度欣赏花朵。"通过形状和颜色吸引传粉者植物的花拥有极其复杂多样的三维结构。捕捉它们的形态对于理解它们的发展和进化非常重要。91%的开花植物与传粉者互动,以确保它们在三维环境中的繁殖。花的形态和颜色像磁铁一样作用于传粉者,吸引他们。然而,研究人员解释说,花卉的三维结构很少被研究。研究人员说,与其他现有的方法相比,使用摄影测量法具有真正的优势,特别是X射线显微层析技术,它是迄今为止最广泛使用的建立三维花卉模型的方法。蒙特利尔大学生物科学专业的博士生、该研究的主要作者MarionLeménager说:"摄影测量法更容易获得,因为它很便宜,几乎不需要专门的设备,甚至可以直接在大自然中使用。此外,摄影测量法的优点是可以重现花朵的颜色,而使用X射线的方法是不可能完成的。"最初的结果尽管并不完美,但足以说服Leménager在她的论文中用一章来讨论这个问题。花的某些部分仍然难以进行三维重建,例如反射的、半透明的或非常多毛的表面。寻找答案蒙特利尔大学教授西蒙-乔利(SimonJoly)说:"我们的研究工作已经表明,对于可见的花朵结构,摄影测量法的效果至少与更复杂和昂贵的X射线方法一样好,由于蒙特利尔植物园的活体收藏,我们对苦苣苔科家族的植物,如非洲紫罗兰的研究表明,使用这种技术制作的3D模型使我们能够探索大量关于花卉进化的问题。"...PC版:https://www.cnbeta.com.tw/articles/soft/1340397.htm手机版:https://m.cnbeta.com.tw/view/1340397.htm

封面图片

狡猾的人工智能模型故意破坏训练图像以规避版权问题

狡猾的人工智能模型故意破坏训练图像以规避版权问题AmbientDiffusion是一种文本到图像的人工智能模型,它通过使用严重破坏的图像来保护艺术家的版权。文本到图像生成器的一个大问题是,它们能够复制用来训练它们的原创作品,从而侵犯艺术家的版权。根据美国法律,如果你创作了原创作品并将其"固定"为有形的形式,你就拥有了它的版权--字面意思是复制它的权利。在大多数情况下,未经创作者授权,不得使用受版权保护的图片。今年5月,Google母公司Alphabet遭到一群艺术家的集体版权诉讼,声称Google未经许可使用了他们的作品来训练其人工智能图像生成器Imagen。StabilityAI、Midjourney和DeviantArt(它们都使用了Stability的StableDiffusion工具)也面临着类似的诉讼。为了避免这个问题,德克萨斯大学奥斯汀分校和加州大学伯克利分校的研究人员开发了一种基于扩散的生成式人工智能框架,该框架只对已损坏到无法识别的图像进行训练,从而消除了人工智能记忆和复制原创作品的可能性。扩散模型是一种先进的机器学习算法,它通过向数据集逐步添加噪声来生成高质量的数据,然后学习逆转这一过程。最近的研究表明,这些模型可以记忆训练集中的示例。这显然会对隐私、安全和版权产生影响。这里有一个与艺术品无关的例子:人工智能需要接受X光扫描训练,但不能记住特定病人的图像,否则就会侵犯病人的隐私。为了避免这种情况,模型制作者可以引入图像损坏。研究人员利用他们的环境扩散框架证明,只需使用高度损坏的样本,就能训练扩散模型生成高质量的图像。根据"干净"(左)和损坏(右)的训练图像生成的环境扩散输出结果上图显示了在使用损坏时图像输出的差异。研究人员首先用CelebA-HQ高质量名人图片数据库中的3000张"干净"图片对模型进行了训练。根据提示,该模型生成的图像与原图几乎完全相同(左图)。然后,他们使用3000张高度损坏的图像对模型进行了重新训练,其中多达90%的单个像素被随机屏蔽。虽然模型生成的人脸栩栩如生,但结果却大相径庭(右图)。UT奥斯汀分校计算机科学教授亚当-克里万斯(AdamKlivans)是这项研究的共同作者,他表示:"从黑洞成像到某些类型的核磁共振成像扫描,基本上任何昂贵或不可能拥有全套未损坏数据的研究都会如此。"与现有的文本到图像生成器一样,其结果并非每次都完美无缺。关键是,艺术家们知道像AmbientDiffusion这样的模型不会记住并复制他们的原创作品,就可以稍稍放心了。它能阻止其他人工智能模型记住并复制他们的原始图像吗?不会,但这就是法院的职责所在。研究人员已将他们的代码和环境扩散模型开源,以鼓励进一步的研究。可在GitHub上查阅。该研究发表在预印本网站arXiv上。...PC版:https://www.cnbeta.com.tw/articles/soft/1431886.htm手机版:https://m.cnbeta.com.tw/view/1431886.htm

封面图片

One-2-3-45:45秒内将任何单一的2D图像转化为3D效果

One-2-3-45:45秒内将任何单一的2D图像转化为3D效果使用一个特殊的模型(视图条件的2D扩散模型)来从原始的2D图片生成多个不同角度的2D图像。这就像是从不同的角度看同一个物体。然后,他们使用一个基于SDF(有符号距离函数)的神经网络模型,根据这些多视图图像来构建出3D模型。这就像是将这些不同角度的2D图像"堆叠"起来,形成一个完整的3D形状。与其他现有的方法相比,这种方法有几个优点:●速度快:它可以在很短的时间内生成3D模型,比其他方法快很多。●几何形状好:生成的3D模型的形状更接近真实物体的形状。●一致性好:从不同角度看,生成的3D模型的外观更一致。●紧密遵循输入图像:生成的3D模型更准确地反映了原始2D图片的内容。此外,这种方法还可以与其他的AI模型(如文本到图像的模型)结合使用,从而实现从文本描述直接生成3D模型的功能。https://one-2-3-45.github.io/来自:雷锋频道:@kejiqu群组:@kejiquchat投稿:@kejiqubot

封面图片

【Adobe发布名为“Firefly”的图像生成人工智能模型】

【Adobe发布名为“Firefly”的图像生成人工智能模型】2023年03月22日11点03分3月22日消息,Adobe公司发布名为“Firefly”的图像生成人工智能模型,目前主要专注于图像生成和文本效果,如文字生成矢量/笔刷/模板、根据自定义风格生成图像、指定纵横比扩展图像、据3D模型生成图像、为黑白图像上色、使用画笔修改图像并用文字描述的风格进行填充等。未来,Firefly将被实装在Adobe全家桶中。该模型的学习数据来源于Adobe旗下AdobeStock数据库、经授权的作品以及版权已过期的公共内容。据Adobe表示,用户的内容不会被用来训练Firefly。

封面图片

量子技术解决了在水下拍摄实时3D图像的问题

量子技术解决了在水下拍摄实时3D图像的问题现在,来自英国赫瑞瓦特大学和爱丁堡大学的研究人员已经设计了一个LiDAR系统原型,用于拍摄水下物体的三维图像。该系统使用脉冲绿色激光照亮物体,然后由数千个单光子(量子)探测器来接收反射的激光。鉴于所使用的探测器数量众多,每秒钟会产生数百个事件,这使得快速处理创建实时三维图像所需的数据变得困难。为了克服这个问题,研究人员开发了专门用于处理散射光条件下图像的算法,并将其应用于图形处理单元(GPU)硬件。研究人员开始测试他们的原型,将其浸泡在一个充满浑浊水的水箱中。他们能够在三种不同程度的云雾中拍摄9.8英尺(3米)距离的实时3D视频,包括移动目标的视频。研究人员说,这项研究的结果突出了使用量子探测技术来创造可用于传统挑战性环境的成像设备的好处。该研究的主要作者AuroraMaccarone说:"单光子技术正在迅速发展,我们已经在水下环境中展示了非常有希望的结果。该方法和图像处理算法也可用于更广泛的场景,以改善自由空间的视觉,如在雾、烟或其他遮蔽物中。"研究人员预见该技术设备将被用于检查水下基础设施,如电信电缆或调查水下考古遗址。研究人员说,下一步是缩小他们的设备的尺寸,以便它能被整合到水下交通工具中。这项研究发表在《光学快报》杂志上。...PC版:https://www.cnbeta.com.tw/articles/soft/1358335.htm手机版:https://m.cnbeta.com.tw/view/1358335.htm

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人