斯坦福科学家开发出革命性的AR头戴设备 全息技术让普通眼镜展示3D仙境

斯坦福科学家开发出革命性的AR头戴设备全息技术让普通眼镜展示3D仙境通过全息技术和人工智能,这些眼镜可以在直接观看真实世界的基础上显示全彩3D移动图像。图片来源:安德鲁-布罗德海德电子工程系副教授、快速崛起的空间计算领域专家戈登-韦茨坦(GordonWetzstein)说:"我们的头显在外界看来就像一副日常佩戴的眼镜,但佩戴者透过镜片看到的是一个丰富的世界,上面叠加着生动的全彩三维计算图像。"韦茨坦和一个工程师团队在《自然》杂志上发表的一篇新论文中介绍了他们的设备。他们说,虽然这种技术现在只是一个原型,但它可以改变从游戏和娱乐到培训和教育等领域--在任何地方,计算机图像都可以增强或告知佩戴者对周围世界的了解。韦茨坦领导的斯坦福计算成像实验室的博士生、该论文的共同第一作者马努-戈帕库马尔(ManuGopakumar)说:"我们可以想象,外科医生戴着这样的眼镜来规划精细或复杂的手术,或者飞机机械师戴着这样的眼镜来学习如何操作最新的喷气发动机。"这种新方法首次将复杂的工程要求串联起来,迄今为止,这些要求要么导致头戴式头显不美观,要么导致3D视觉体验不令人满意,佩戴者会感到视觉疲劳,有时甚至有点恶心。斯坦福大学计算成像实验室博士后研究员、论文共同第一作者Gun-YealLee说:"目前还没有其他增强现实系统能与我们的三维图像质量相媲美。"为了取得成功,研究人员结合人工智能增强全息成像和新型纳米光子设备方法,克服了各种技术障碍。第一个障碍是,显示增强现实图像的技术通常需要使用复杂的光学系统。在这些系统中,用户实际上无法通过头显镜头看到真实世界。相反,安装在头显外部的摄像头会实时捕捉世界,并将图像与计算图像相结合。然后将生成的混合图像立体投射到用户眼中。"用户看到的是现实世界的数字化近似图,上面叠加了计算图像。这是一种增强虚拟现实,而不是真正的增强现实。"Wetzstein解释说,这些系统必然非常笨重,因为它们在佩戴者的眼睛和投影屏幕之间使用放大镜片,要求眼睛、镜片和屏幕之间的距离最小,从而增加了体积。斯坦福计算成像实验室的博士生、论文的共同作者SuyeonChoi说:"除了笨重之外,这些局限性还可能导致感知真实度不尽人意,通常还会造成视觉不适。"为了制作出在视觉上更令人满意的三维图像,韦茨坦摒弃了传统的立体方法,转而采用全息技术,这是一种在20世纪40年代末获得诺贝尔奖的视觉技术。尽管全息技术在三维成像方面大有可为,但由于无法描绘准确的三维深度线索,全息技术的广泛应用一直受到限制,导致视觉体验不佳,有时甚至令人有类似晕车的反应。Wetzstein团队利用人工智能改进了全息图像中的深度提示。然后,利用纳米光子学和波导显示技术的进步,研究人员能够将计算出的全息图像投射到眼镜镜片上,而无需依赖笨重的附加光学器件。通过在透镜表面蚀刻纳米级的图案来构建波导。安装在每个太阳穴上的小型全息显示屏通过蚀刻图案投射计算图像,这些图案会在镜片内反弹光线,然后将光线直接传送到观看者的眼睛。透过眼镜片,用户既能看到真实世界,又能看到上面显示的全彩3D计算图像。3D效果之所以得到增强,是因为它是通过立体和全息两种方式产生的,前者是指每只眼睛都能看到略有不同的图像,就像传统的3D成像一样;后者则是指每只眼睛都能看到略有不同的图像,就像传统的3D成像一样。斯坦福大学计算成像实验室的博士生布莱恩-赵(BrianChao)是这篇论文的共同作者,他说:"利用全息技术,你还可以在每只眼睛前获得完整的三维体积,从而提高栩栩如生的三维图像质量。"新的波导显示技术和全息成像技术的最终成果是提供逼真的三维视觉体验,既能满足用户的视觉需求,又不会让用户感到疲劳,而这种疲劳感正是早期方法所面临的挑战。Wetzstein说:"全息显示一直被认为是终极3D技术,但它从未取得过重大的商业突破。也许现在他们有了多年来一直在等待的杀手级应用"。编译来源:ScitechDaily...PC版:https://www.cnbeta.com.tw/articles/soft/1430536.htm手机版:https://m.cnbeta.com.tw/view/1430536.htm

相关推荐

封面图片

斯坦福大学刚刚推出了基于辅助全息成像技术的未来AR眼镜原型

斯坦福大学刚刚推出了基于辅助全息成像技术的未来AR眼镜原型访问:Saily-使用eSIM实现手机全球数据漫游安全可靠源自NordVPN斯坦福大学的全息AR眼镜原型。目前,实验室版本的视场角很小,在实验室里只有11.7度,远远小于MagicLeap2甚至微软HoloLens。但是,斯坦福大学的计算成像实验室有一整页的资料,上面有一个又一个的视觉辅助工具,这些辅助工具表明,该实验室可能在研究一些特别的东西:更薄的全息组件堆叠,几乎可以放入标准眼镜框中,经过训练,可以投射出逼真的、全彩的、移动的3D图像,这些图像会在不同深度出现。现有AR眼镜(a)和原型眼镜(b)与3D打印原型眼镜(c)的光学效果对比。图片:斯坦福计算成像实验室与其他AR眼镜一样,这些眼镜也使用波导,波导是引导光线穿过眼镜进入佩戴者眼睛的部件。但研究人员说,他们已经开发出一种独特的"纳米光子元表面波导",可以"消除对笨重的准直光学器件的需求",并开发出一种"学习型物理波导模型",利用人工智能算法大幅提高图像质量。该研究称,这些模型"利用相机反馈自动校准"。无论是真实物体还是增强物体,都可以有不同的深度。尽管斯坦福大学的这项技术目前还只是一个原型,其工作模型似乎是固定在长凳上的,框架也是3D打印的,但研究人员希望能颠覆目前的空间计算市场,这个市场还包括苹果的VisionPro、Meta的Quest3等笨重的直通式混合现实头盔。博士后研究员Gun-YealLee帮助撰写了这篇发表在《自然》杂志上的论文,他说,目前还没有其他AR系统能在性能和紧凑性方面与之相比。像Meta这样的公司已经斥资数十亿美元购买和构建AR眼镜技术,希望最终能生产出大小和形状与普通眼镜无异的完美产品。目前,Meta的雷朋眼镜没有板载显示屏,但我们去年获得的泄露的Meta硬件路线图显示,Meta第一款真正的AR眼镜的目标日期是2027年。...PC版:https://www.cnbeta.com.tw/articles/soft/1430344.htm手机版:https://m.cnbeta.com.tw/view/1430344.htm

封面图片

克服两个长期存在的瓶颈 新进展为更真实的3D全息图铺平道路

克服两个长期存在的瓶颈新进展为更真实的3D全息图铺平道路"三维全息图可以呈现具有连续和精细特征的真实三维场景,"领导中国科技大学研究团队的龚磊说。"对于虚拟现实,我们的方法可以与基于头盔的全息显示器一起使用,以大大改善视角,这将增强3D观看体验。它还可以在不需要头盔的情况下提供更好的3D视觉效果"。创建一个逼真的全息显示器需要将高分辨率的图像投射到紧密排列的多层上,这个过程产生了高深度的分辨率,这对于提供全息图看起来是三维的必要深度感知是至关重要的。新的三维散射辅助动态全息方法通过将高分辨率的图像投射到间隔紧密的平面上(a)来创建数字全息图,实现了比传统全息技术更真实的表现(b)。资料来源:中国科学技术大学,龚磊在Optica出版集团的高影响力研究杂志《Optica》上,龚磊的团队和新加坡国立大学邱成伟的研究团队描述了他们的新方法,称为三维散射辅助动态全息技术(3D-SDH)。他们表明,它可以实现比最先进的多平面全息投影方法大三个数量级以上的深度分辨率。"我们的新方法克服了当前数字全息技术中长期存在的两个瓶颈--低轴向分辨率和高平面间串扰--它们阻碍了全息图的精细深度控制,从而限制了三维显示的质量,"龚说。"我们的方法还可以通过允许在全息图中加密更多的数据来改进基于全息图的光学加密。"创建动态全息投影通常涉及使用空间光调制器(SLM)来调制光束的强度和/或相位。然而,今天的全息图在质量上是有限的,因为目前的SLM技术只允许将一些低分辨率的图像投射到具有低深度分辨率的独立平面。为了克服这个问题,研究人员将一个SLM与一个扩散器结合起来,使多个图像平面以更小的数量分开,而不受SLM特性的限制。通过抑制平面之间的串扰,利用光的散射和波前整形,这个装置可以实现超高密度的三维全息投影。研究人员用他们的新方法模拟了火箭的全息表现[图示为(a),点云模型为(b)]。由基于随机矢量的计算机生成全息(RV-CGH)方法投影的三维火箭的体积渲染图像显示在(c)中,使用的是单个1000×1000像素的全息图。三维投影由32幅图像表示,深度间隔为3.75毫米。3D-SDH投影的物体的体积渲染图像显示在(d)中。125个均匀距离为0.96毫米的图像平面同时从一个1000×1000像素的全息图上投影出来。(e-g)中显示了具有不同视角的模拟三维火箭的体积渲染图像。为了测试这种新方法,研究人员首先用模拟显示,它可以产生每个平面之间深度间隔更小的三维重建。例如,他们能够在一张1000×1000像素的全息图中以0.96毫米的深度间隔投射出125个连续图像平面的三维火箭模型,而使用最近开发的另一种被称为基于随机矢量的计算机生成全息术的方法,则有32个图像平面,深度间隔为3.75毫米。为了在实验中验证这一概念,他们建立了一个3D-SDH原型投影仪来创建动态3D投影,并将其与传统的最先进的3D菲涅尔计算机生成全息术设置进行了比较。他们表明,3D-SDH在轴向分辨率上比传统的对应设备提高了三个数量级以上。研究人员展示的3D全息图都是点云式3D图像,这意味着它们不能呈现3D物体的实体。最终,研究人员希望能够用全息图投射出三维物体的集合,这将需要更高像素的全息图和新算法。...PC版:https://www.cnbeta.com.tw/articles/soft/1353583.htm手机版:https://m.cnbeta.com.tw/view/1353583.htm

封面图片

斯坦福似乎为未来的AR眼镜设计了原型

斯坦福的一个研究团队正在开发一种新的AI辅助全息成像技术,该技术据称比其研究人员见过的任何技术都要薄、轻和高质量。它能将增强现实(AR)头戴设备带入一个新的水平吗?目前,实验室版本的视野很窄,只有11.7度,比MagicLeap2甚至微软HoloLens都小得多。但斯坦福大学的计算成像实验室(ComputationalImagingLab)有一整页都是视觉辅助工具,这些工具表明它可能正在研究一些特别的东西:一套更薄的全息组件,几乎可以安装在标准眼镜框架中,并经过训练,可以投射出在不同深度出现的逼真的、全彩的、移动的3D图像。像其他AR眼镜一样,它们使用波导,这是一种引导光线穿过眼镜进入佩戴者眼睛的组件。但研究人员表示,他们已经开发出一种独特的“纳米光子超表面波导”,可以“消除对笨重的准直光学器件的需求”,以及一种“学习物理波导模型”,该模型使用人工智能算法大幅提高图像质量。研究指出,这些模型“通过相机反馈自动校准”。尽管斯坦福大学的这项技术目前还只是一个原型,其工作模型似乎是连接在一个长凳上和3d打印的框架上,但研究人员正在寻求颠覆当前的空间计算市场,该市场还包括笨重的透式混合现实耳机,如苹果的VisionPro、Meta的Quest3等。参与撰写这篇发表在《自然》杂志上的论文的博士后研究员Gun-YealLee说,在能力和紧凑性方面,没有其他增强现实系统可以与之相提并论。标签:#AR眼镜#斯坦福频道:@GodlyNews1投稿:@GodlyNewsBot

封面图片

全息图技术迎来突破 - 深度学习用二维照片生成三维图像

全息图技术迎来突破-深度学习用二维照片生成三维图像研究人员提出了一种利用深度学习从二维彩色图像创建三维全息图的新方法。全息图提供了物体的三维(3D)视图,其细节程度是二维(2D)图像无法比拟的。三维物体逼真、身临其境的显示效果使全息图在医疗成像、制造和虚拟现实等各个领域都具有难以置信的价值。传统的全息技术需要记录物体的三维数据及其与光的相互作用,这一过程需要很高的计算能力,并需要使用专门的相机来捕捉三维图像。这种复杂性限制了全息图的广泛应用。近来,许多用于生成全息图的深度学习方法也被提出。它们可以直接从使用RGB-D相机捕获的三维数据中生成全息图,该相机可以捕获物体的颜色和深度信息。这种方法规避了与传统方法相关的许多计算挑战,是一种更容易生成全息图的方法。用新方法革新全息技术现在,千叶大学研究生院工程学研究科的下场友吉教授领导的研究团队提出了一种基于深度学习的新方法,它可以直接从使用普通相机捕捉的常规2D彩色图像生成3D图像,从而进一步简化全息图生成过程。千叶大学工程学研究生院的石井义之和伊藤友义也参与了这项研究,研究成果最近发表在《工程学中的光学与激光》(OpticsandLasersinEngineering)杂志上。下场教授在解释这项研究背后的原因时说:"在实现全息显示的过程中存在几个问题,包括三维数据的获取、全息图的计算成本,以及如何转换全息图像以符合全息显示设备的特性。我们之所以开展这项研究,是因为我们相信深度学习近年来发展迅速,有可能解决这些问题。"三阶段深度学习过程所提出的方法采用了三个深度神经网络(DNN),将常规的二维彩色图像转换成可用于将三维场景或物体显示为全息图的数据。第一个DNN使用普通相机拍摄的彩色图像作为输入,然后预测相关的深度图,提供有关图像三维结构的信息。然后,第二个DNN利用第一个DNN创建的原始RGB图像和深度图生成全息图。最后,第三个DNN会完善第二个DNN生成的全息图,使其适合在不同设备上显示。研究人员发现,所提出的方法处理数据和生成全息图所需的时间优于最先进的图形处理单元。"我们的方法另一个值得注意的优点是,最终全息图的再现图像可以代表自然的三维再现图像。此外,由于在全息图生成过程中不使用深度信息,因此这种方法成本低廉,而且在训练后不需要RGB-D摄像机等三维成像设备,"下场教授在进一步讨论结果时补充道。未来应用和结论在不久的将来,这种方法可能会应用于平视显示器和头戴式显示器,以生成高保真三维显示器。同样,它还能彻底改变车载全息平视显示器的生成,使其能够以三维方式向乘客展示有关人员、道路和标志的必要信息。因此,所提出的方法有望为促进无处不在的全息技术的发展铺平道路。为研究团队取得的这一杰出成就点赞!...PC版:https://www.cnbeta.com.tw/articles/soft/1391389.htm手机版:https://m.cnbeta.com.tw/view/1391389.htm

封面图片

东京大学研究人员的新算法让iPhone变成全息投影仪

东京大学研究人员的新算法让iPhone变成全息投影仪东京大学的一个研究小组介绍了一种利用智能手机生成全息图像的实用、经济高效的方法,旨在简化和增强虚拟现实和增强现实的3D显示效果,同时避免激光系统的缺点。无论增强现实和虚拟现实显示器是用于游戏、教育还是其他应用,结合3D显示器都能创造出更加逼真和互动的用户体验。来自日本东京大学的研究小组组长RyoichiHorisaki说:"尽管全息技术可以创建出非常逼真的物体3D呈现,但传统方法并不实用,因为它们依赖于激光源。激光发出的相干光易于控制,但却使系统变得复杂、昂贵,而且有可能对眼睛造成伤害。"在Optica出版集团的《光学快报》(OpticsLetters)杂志上,研究人员介绍了他们基于计算机生成全息技术(CGH)的新方法。得益于他们开发的一种新算法,他们只需使用一部iPhone和一种名为空间光调制器的光学元件,就能再现由两个全息层组成的三维彩色图像。研究人员开发出一种三维全彩显示方法,利用智能手机屏幕而不是激光来创建全息图像。图为他们的实验结果,其中可以观察到从第一层到第二层的连续过渡。图片来源:东京大学RyoichiHorisaki"我们相信,在未来的视觉界面和3D显示应用中,这种方法最终将有助于最大限度地减少光学元件、降低成本和减少对眼睛的潜在伤害,"论文第一作者OtoyaShigematsu说。"更具体地说,它有可能提高近眼显示器的性能,比如高端VR头显中使用的近眼显示器。"更实用的方法虽然CGH使用算法生成图像,但通常需要激光发出的相干光来显示这些全息图像。在之前的一项研究中,研究人员发现,白色芯片板发光二极管发出的时空非相干光可用于CGH。然而,这种装置需要两个空间光调制器--控制光波面的设备--由于价格昂贵而不切实际。在这项新研究中,研究人员开发出了一种成本更低、更实用的非相干CGH方法。Horisaki说:"这项工作与我们实验室对计算成像的关注不谋而合,计算成像是一个致力于通过将光学与信息科学相结合来创新光学成像系统的研究领域。我们致力于最大限度地减少光学元件,消除传统光学系统中不切实际的要求。"图为第一作者重松大弥在实验室中使用的光学实验装置。资料来源:RyoichiHorisaki,东京大学新方法通过空间光调制器传递来自屏幕的光线,从而呈现多层次的全彩三维图像。虽然这看似简单,但却需要对屏幕的非相干光传播过程进行仔细建模,然后利用这些信息开发出一种新算法,将来自设备屏幕的光线与单个空间光调制器协调起来。重松说:"使用低相干光的全息显示器可以实现逼真的三维显示,同时有可能降低成本和复杂性。尽管包括我们在内的几个小组已经展示了使用低相干光的全息显示器,但我们通过使用智能手机显示器将这一概念发挥到了极致。"为了演示这种新方法,研究人员在iPhone14Pro的屏幕上显示了一层全息图像,并在空间光调制器上显示了第二层全息图像,从而制作出了双层光学再现全彩3D图像。生成的图像每边的尺寸为几毫米。研究人员目前正在努力改进这项技术,使其能够显示更大、层次更多的3D图像。更多层次可以提高空间分辨率,使物体在不同深度或距离观看者更远的地方出现,从而使图像看起来更逼真。...PC版:https://www.cnbeta.com.tw/articles/soft/1427110.htm手机版:https://m.cnbeta.com.tw/view/1427110.htm

封面图片

科学家研制出世界上首个3D打印 "大脑模型"

科学家研制出世界上首个3D打印"大脑模型"在维也纳医科大学和维也纳工业大学的一个联合项目中,开发出了世界上第一个三维打印的"大脑模型",该模型以脑部纤维结构为模型,可以使用一种特殊的磁共振成像(dMRI)进行成像。由维也纳医科大学和维也纳工业大学领导的科研团队在一项研究中表明,这些大脑模型可用于推进神经退行性疾病(如阿尔茨海默氏症、帕金森氏症和多发性硬化症)的研究。这项研究成果发表在《先进材料技术》(AdvancedMaterialsTechnologies)杂志上。磁共振成像(MRI)是一种广泛使用的诊断成像技术,主要用于检查大脑。核磁共振成像可在不使用电离辐射的情况下检查大脑的结构和功能。在磁共振成像的一种特殊变体--扩散加权磁共振成像(dMRI)中,还可以确定大脑中神经纤维的方向。然而,在神经纤维束的交叉点很难正确确定神经纤维的方向,因为不同方向的神经纤维会在那里重叠。为了进一步改进流程以及测试分析和评估方法,一个国际团队与维也纳医科大学和维也纳工业大学合作开发了一个所谓的"大脑模型",该模型是利用高分辨率三维打印工艺制作的。带有微通道的小立方体维也纳医科大学的研究人员作为核磁共振成像专家,维也纳工业大学的研究人员作为三维打印专家,与苏黎世大学和汉堡大学医疗中心的同事密切合作。早在2017年,维也纳工业大学就开发出了一种双光子聚合打印机,可以实现升级打印。在此过程中,还与维也纳医科大学和苏黎世大学共同开展了脑模型的使用案例研究。由此产生的专利构成了脑模型的基础,该模型现已开发完成,并由维也纳工业大学的研究与转让支持团队负责监督。从外观上看,这个幻影与真正的大脑并无太大区别。它要小得多,形状像一个立方体。它的内部是非常细小的、充满水的微通道,大小与单个颅神经相当。这些通道的直径比人的头发丝还要细五倍。为了模仿大脑中精细的神经细胞网络,第一作者迈克尔-沃莱茨(MichaelWoletz)(维也纳医科大学医学物理和生物医学工程中心)和弗兰兹斯卡-查鲁帕-甘特纳(FranziskaChalupa-Gantner)(维也纳工业大学3D打印和生物制造研究小组)领导的研究小组使用了一种相当不寻常的3D打印方法:双光子聚合。这种高分辨率方法主要用于打印纳米和微米级的微结构,而不是打印立方毫米级的三维结构。为了为dMRI制作合适尺寸的模型,维也纳科技大学的研究人员一直在努力扩大三维打印工艺的规模,以便能够打印出具有高分辨率细节的更大物体。高比例三维打印为研究人员提供了非常好的模型,在dMRI下观察时,可以确定各种神经结构。MichaelWoletz将这种提高dMRI诊断能力的方法与手机相机的工作方式进行了比较:"我们看到,手机相机在摄影方面取得的最大进步并不一定是新的、更好的镜头,而是改进所拍摄图像的软件。dMRI的情况也类似:利用新开发的大脑模型,我们可以更精确地调整分析软件,从而提高测量数据的质量,更准确地重建大脑神经结构。"改进dMRI分析软件因此,真实再现大脑中的特征神经结构对于"训练"dMRI分析软件非常重要。使用三维打印技术可以创建可修改和定制的各种复杂设计。因此,大脑模型描绘的是大脑中产生特别复杂信号并因此难以分析的区域,如交叉的神经通路。因此,为了校准分析软件,需要使用dMRI对大脑模型进行检查,并像分析真实大脑一样分析测量数据。由于采用了三维打印技术,模型的设计是精确可知的,分析结果也可以检查。作为联合研究工作的一部分,维也纳医科大学和维也纳理工大学已经证明了这一点。所开发的模型可用于改进dMRI,从而有利于手术规划和神经退行性疾病(如阿尔茨海默氏症、帕金森氏症和多发性硬化症)的研究。尽管概念得到了验证,但团队仍然面临着挑战。目前最大的挑战是扩大这种方法的规模:"双光子聚合的高分辨率使得打印微米和纳米范围的细节成为可能,因此非常适合颅神经成像。但与此同时,使用这种技术打印一个几立方厘米大小的立方体也需要相应的时间,"Chalupa-Gantner解释说。"因此,我们不仅要开发更复杂的设计,还要进一步优化打印过程本身"。编译自:ScitechDaily...PC版:https://www.cnbeta.com.tw/articles/soft/1424851.htm手机版:https://m.cnbeta.com.tw/view/1424851.htm

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人