One-2-3-45:45秒内将任何单一的2D图像转化为3D效果

One-2-3-45:45秒内将任何单一的2D图像转化为3D效果使用一个特殊的模型(视图条件的2D扩散模型)来从原始的2D图片生成多个不同角度的2D图像。这就像是从不同的角度看同一个物体。然后,他们使用一个基于SDF(有符号距离函数)的神经网络模型,根据这些多视图图像来构建出3D模型。这就像是将这些不同角度的2D图像"堆叠"起来,形成一个完整的3D形状。与其他现有的方法相比,这种方法有几个优点:●速度快:它可以在很短的时间内生成3D模型,比其他方法快很多。●几何形状好:生成的3D模型的形状更接近真实物体的形状。●一致性好:从不同角度看,生成的3D模型的外观更一致。●紧密遵循输入图像:生成的3D模型更准确地反映了原始2D图片的内容。此外,这种方法还可以与其他的AI模型(如文本到图像的模型)结合使用,从而实现从文本描述直接生成3D模型的功能。https://one-2-3-45.github.io/来自:雷锋频道:@kejiqu群组:@kejiquchat投稿:@kejiqubot

相关推荐

封面图片

新型人工智能算法可在5秒钟内从2D图像中创建3D模型

新型人工智能算法可在5秒钟内从2D图像中创建3D模型研究人员创建了首个大型重建模型(LRM),他们认为该模型能够通过单张二维图像预测三维模型的形状,而且只需5秒钟即可完成。研究人员在论文中解释说,以前的三维生成模型是在专注于单一图像类别的小规模数据集上进行训练的。相反,他们的LRM模型具有高度可扩展性、基于变换器的架构,拥有5亿个可学习参数,并已在Objaverse和MVImgNet数据集中的约100万个3D物体上进行了训练。研究人员解释说,大容量模型和大规模训练数据的结合为LRM算法提供了"高度通用"的内容创建能力。论文称,该模型能够从包括真实世界照片在内的各种测试图像中生成"高质量"的三维重建。此外,LRM还能将"正常"图像和由DALL-E和StableDiffusion等人工智能服务生成的视觉拼凑图像作为其输入二维模型。该研究的第一作者洪一聪认为,LRM是单图像三维重建领域的重大突破。这种人工智能算法可以从视频或形状图像中生成详细的几何图形,并保留木纹等复杂纹理。研究人员指出,LRM具有潜在的"变革"能力,可以应用于设计、娱乐和游戏等众多行业。设计师或三维艺术家可以简化三维建模过程,大大缩短生成视频游戏或动画资产所需的时间。在快速发展的行业中创建三维内容已成为一项挑战,人工智能公司正急于提供潜在的解决方案,如StabilityAI最近推出的Stable3D服务。LRM还能使3D建模的工作普及化,因为"普通"用户有可能通过智能手机拍摄的照片制作出高度精细的模型。尽管LRM仍面临挑战,例如图像隐藏部分的纹理模糊,但它为创意和商业机会开辟了广阔天地。研究人员提供了一个页面,上面有视频演示和交互式3D网格,展示LRM目前能做什么:https://yiconghong.me/LRM/...PC版:https://www.cnbeta.com.tw/articles/soft/1396051.htm手机版:https://m.cnbeta.com.tw/view/1396051.htm

封面图片

AI根据人眼的反射图像重建3D场景

AI根据人眼的反射图像重建3D场景人眼的反射性质是一个未被充分重视的信息来源,马里兰大学帕克分校的研究员发现,通过AI模型和人类肖像中的眼睛反射,可以重建相机镜头之外的多个3D场景。所有健康成年人的角膜几何形状大致相同,如果计算图像中人类角膜的像素大小,就可以准确计算出他们眼睛的方位。利用这种判断力,研究员训练了一个眼睛反射的辐射场,为了消除重建中出现的虹膜,研究员同时训练AI学习了虹膜的2D纹理图来执行纹理分解。——频道:@TestFlightCN

封面图片

Stability AI 发布单幅图像生成 3D 对象的 Stable Zero123

StabilityAI发布单幅图像生成3D对象的StableZero123StabilityAI发布了能根据单幅图像生成对象各个角度视图的模型StableZero123。StableZero123是基于StableDiffusion1.5,生成一个视图消耗的内存与StableDiffusion1.5相同,但如果要生成3D视图需要更多时间和更多内存,建议24GB。StableZero123目前只支持研究目的的非商业使用。代码和权重发布在上。来源,频道:@kejiqu群组:@kejiquchat

封面图片

英伟达发布 LATTE3D 模型 1 秒生成高质量 3D 效果

英伟达发布LATTE3D模型1秒生成高质量3D效果英伟达AI研究副总裁SanjaFidler所属位于多伦多的AI实验室团队在GTC2024春季场的座谈活动中,发布了LATTE3D模型并于现场进行实机展示,该技术能够高效率通过文本提示词生成3D模型,在搭配英伟达RTXA6000GPU的情况下能够几乎即时(不到1秒时间)生成3D模型,3D形状可以随意放大、旋转,360度无死角。“一年前,AI模型需要1小时才能生成这种质量的3D视觉效果,而目前的技术水平大约是10到12秒。”SanjaFidler说。

封面图片

Reddit 上的一个帖子,很厉害,利用简陋的 3D 模型动画和 Animatediff 生成 高度自定义的 2D 动画。#ai

Reddit上的一个帖子,很厉害,利用简陋的3D模型动画和Animatediff生成高度自定义的2D动画。B站前段时间胶囊计划有个片子也是类似的处理方式。具体的工作流为:将文本转化为3D效果:由LumaLabs提供技术支持背景设计:使用ComfyUI和Photoshop的生成式填充功能3D动画制作:采用Mixamo和Blender工具2D风格动画:由ComfyUI提供支持所有其他特效:通过AfterEffects实现

封面图片

OpenAI发布Shap・E模型:通过输入文本创建逼真3D模型

OpenAI发布Shap・E模型:通过输入文本创建逼真3D模型OpenAI最近发布了名为Shap・E的模型,可以通过输入文本创建逼真且多样化的3D模型。这种模型与现有的只能输出点云或体素的模型不同,可以生成高质量的3D资产,具有细粒度纹理和复杂形状。Shap・E不仅仅是一个3D模型生成器,而且可以直接生成隐式函数的参数,这些参数可以用于渲染纹理网格和神经辐射场(NeRF)。NeRF是一种具有隐式场景表示的新型视场合成技术,在计算机视觉领域引起了广泛的关注。它可以用于视图合成和三维重建,广泛应用于机器人、城市地图、自主导航、虚拟现实/增强现实等领域。值得注意的是,Shap・E模型还可以生成神经辐射场,这是一种新型的三维场景表示方法。通过这种方法,Shap・E可以呈现更加真实的光照效果和材质感,让3D图像更加生动、逼真。未来,这种模型可能会被广泛应用于游戏、电影、建筑等领域,为人们带来更加精彩、逼真的视觉体验。#AI来源,https://github.com/openai/shap-e来自:雷锋频道:@kejiqu群组:@kejiquchat投稿:@kejiqubot

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人