Meta的新技术可能会改变MR行业的未来

Meta的新技术可能会改变MR行业的未来虽然苹果CEO库克在发布VisionPro时将其誉为开启空间计算时代的“革命性产品”，但实际上VisionPro也不是很“空间”，至少还无法调节焦距，用户看到的画面始终聚焦在一个固定的焦距处，容易导致眼睛疲劳。不过就在8月6日开始的计算机图形学顶级年度会议SIGGRAPH2023上，Meta就展示了两台原型头显——ButterscotchVarifocal与Flamera。当然，我们与其将这两台头显视为产品原型，不如看成Meta正在探索的两种技术的展示。ButterscotchVarifocal与Flamera，图/Meta值得在意的是，ButterscotchVarifocal将展示接近视网膜的分辨率和变焦光学器件，而Flamera则证明了一种实现“透视”真实世界的全新方法。尽管Meta表示这些原型头显上的是技术“可能永远不会进入消费级产品”，但或许也会通向VR、MR乃至AR的未来。01从25cm到无限远真正的“空间”SIGGRAPH对大众来说可能名声不显，但却是计算机图形学的顶会，除了论文、学术界与产业界的合作交流，每年都会有研究团队在会上展示计算机图形硬件和软件方面的突破。去年的SIGGRAPH大会上，Meta就展示了一款HDR头显原型Starburst，峰值亮度达到了惊人的20000nit。作为比较，苹果VisionPro的峰值亮度传闻达到了5000nit，其HDR显示效果已经让一众体验者相当惊艳。然而相比Starburst上的超高亮度，今年两个头显原型上的技术还是更让人在意一些。对头显有一定了解的读者应该都知道一个参数——PPD（角分辨率，即视场角中每度的像素数），类似于手机上我们常说的PPI（每英寸像素），关乎实际入眼画面的精细程度。总而言之，如果说手机屏幕的PPI达到326以后就能称为“视网膜级”，那在头显产品的屏幕上，一般认为PPD要达到60才能达到“视网膜级”的视觉效果。VisionPro和库克，图/苹果但在现实中，即便是搭载索尼单眼4K（双眼8K）MicroOLED屏幕的VisionPro，参照MetaQuestPro（22PPD）进行估算，距离60PPD也还有一定的差距。苹果官方宣称VisionPro屏幕共有2300万像素（双眼），是MetaQuestPro屏幕像素的三倍多，但具体到每度视场角看到像素数，即PPD，倍数肯定要小于分辨率的倍数，技术社区Hacknews上有人计算得出VisionPro应该在34PPD左右。而ButterscotchVarifocal在上一代原型机的基础上，不仅扩大了视场角，说是也实现了视网膜级别显示的60PPD，但要如何实现如此高像素密度的显示屏幕以及算力驱动，目前还不得而知。同时还有一个对业界来说可能更加重要的技术——变焦。包括VisionPro在内，目前所有已知的头显的画面都是固定焦距（通常是1m），屏幕光线没有深度信息，辐辏和调焦的位置发生了分离，从而产生视觉辐辏调节冲突（VAC问题），引发视觉疲劳、晕眩等问题。与之相对，实现变焦可以让VR体验变得更加真实，视觉上的使用感受也会更舒服。而从Meta放出的视频来看，ButterscotchVarifocal显然是加入了变焦电机，再配合眼动追踪技术，实现了25cm到无限远的自动变焦调节。变焦电机，图/Meta事实上，不少厂商都尝试在头显设备中实现动态变焦的效果，至少从2019年开始，苹果就一直在探索动态变焦显示技术，其中一种方向就是多透镜的Pancake方案，通过调整透镜折射率来调节焦距。早前传闻中VisionPro就会采用这项技术，但目前来看并没有用上。至于即将展出的另一台头显原型Flamera，则是在目前主流的彩色透视方案外，开辟了一条新的技术路线。02彩色透视的未来一定要大算力？众所周知，VisionPro和QuestPro都是通过对外的摄像头拍摄真实世界，再将画面“拼接”显示在内侧屏幕上，实现用户戴着头显也能看到周围环境，甚至实现AR体验。说起来容易，实现难度极高，QuestPro全彩透视的糟糕体验就曾被近眼显示专家KarlGuttag炮轰。VisionPro目前来看完成度要比前者更高，此前雷科技的文章中，我们就综合了国内外体验者的说法：“虽然与人眼观看真实世界还有明显差距，但VisionPro不仔细看已经非常接近了，转头也感受不到明显的延迟。”图/苹果唯一的问题是，不管是苹果宣传视频中的人物，还是首批体验的媒体和博主，基本都是在固定位置上体验VisionPro，只能证明VisionPro在静态下已经有了足够优秀的表现。但当人走动起来，一切计算都会变得更难、更复杂。这也引出了目前主流方案的问题，由于这些摄像头与用户真正的眼睛位置不同，必须使用图像处理算法以及大量算力来重新“拼接”摄像头拍到的画面，然后显示到屏幕上。这个过程会增加延迟，还会导致视觉伪影。Flamera则是想通过一种全新的光学设计，直接捕捉与肉眼看到相同的光线。“通过从头开始设计头显，而不是修改现有设计，我们最终得到了看起来非常独特的设计，但可以实现更好的图像质量和更低的延迟。”Meta科学家GraceKuo说。Flamera，图/Meta按照Meta公布的工作原理，Flamera与传统光场摄像头不同，在阵列中每个透镜后面都放置了一个孔径（相当于光圈）。这些孔径物理上阻挡了不必要的光线，只有需要的光线能够到达眼睛，同时将有限的传感器像素集中在光场的相关部分，从而产生更高分辨率的图像。工作原理，图/Meta最后，原始传感器数据最终看起来像小圆点，每个圆点只包含头显外部物理世界“视图”的一部分。Flamera将进行重新排列，估计一个粗略的深度图，实现基于深度的图像重建。得益于此，Flamera理论上可以实现更低的延迟和更少伪影的透视效果。换句话说，通过头显看到的画面更接近真实的物理世界，实现更好的MR体验。03写在最后ButterscotchVarifocal、Flamera上的技术会改变头显的技术路线吗？眼下可能都还很难判断。就像前文所提，Meta也明白，这两台头显原型更多是承担了技术展示的需求，距离解决工程实现问题和量产还有很长的路。同时Meta也没有“把鸡蛋放在一个篮子里”。并没有迹象表明要专注在变焦电机与无重投影的技术路线上，变焦电机的机械式方向始终存在可靠性方面的问题，不仅是面向消费者需要得到足够的信任，在量产环节上可能也要面对更大的挑战。在此之前，已经有太多消费电子产品证明了“机械”这条路上的坑，比如全面屏进程中的升降式镜头。倒是无重投影确实给MR提供了一种很新的思路，可以避开对算力的高要求，同时减少延迟和视觉伪影。悬念在于实现的难度和效果，这可能就需要等到日后才能见分晓了。...PC版：https://www.cnbeta.com.tw/articles/soft/1379147.htm手机版：https://m.cnbeta.com.tw/view/1379147.htm