微软AR/VR专利提出通过虚拟启示促进用户与远距离对象交互
微软AR/VR专利提出通过虚拟启示促进用户与远距离对象交互允许用户在AR/VR应用中与3D对象进行自然交互具有优势,因为它对应于用户与现实世界中对象的交互方式。但是,与手臂够不着的3D对象交互可能十分困难。对于这种情况,特别的“超自然”交互方法可能更为适合。另外,尽管近距离交互可以用手直接操纵数字第项来实现,但用户同时必须能够与距离用户较远的数字对昂进行交互。考虑到相关的挑战,微软在名为“Nearinteractionmodeforfarvirtualobject”的专利申请中提出了一种通过显示虚拟启示来促进用户与远距离对象的交互。图1显示了示例性计算系统10。计算系统10可以包括头戴式显示器设备14,其可以包括手势识别模块24、视线检测模块26和自然语言处理(NLP)模块28,如图1所示。视线检测模块26可配置为处理由朝内摄像头30收集的图像数据,以识别每个用户眼睛的位置和方向,并随后生成眼动追踪数据。姿势识别模块24可以配置为通过处理由朝外摄像头32收集的用户的图像数据来识别由用户表达的姿势和姿势。NLP模块28可以在麦克风34处接收经处理的自然语言(NL)输入,进一步通过分割句子、标记词类以及提取命令和与命令相关联的对象的名称来处理NL输入。参考图3,处理器12可以配置为在显示器16上至少部分地在用户的视场50内显示虚拟对象48。处理器12可以配置为识别与虚拟对象48相关联的多个控制点52,并确定与虚拟对象48相关联的一个或多个控制点距用户的距离超过预定阈值54。例如在图3中,十二面体被描绘为虚拟对象48。可以观察到十二面体的控制点52都在距用户的预定阈值距离54之外。应当理解,距离54可以是相对于用户的各个部分.图3描绘了相对于用户肩部测量的距离54。在其他实现中,可以从用户身体上的另一点测量距离。基于所述确定,处理器12可配置为调用虚拟对象48的远交互模式。在远交互模式下,用户可执行预定手势,例如指向虚拟对象48、捏、刷等,从而选择虚拟对象48。下面将更详细地讨论通过虚拟射线60选择虚拟对象48。通常在远程交互模式中,与虚拟对象48的可用交互可能受到限制,并且在由于虚拟对象显示的距离,可能仅包括远程情景菜单的选择、移动、调整大小和显示。由于交互的距离,虚拟对象48的移动和大小调整可能在某种程度上具有挑战性。应当理解,虚拟对象48的位置可以使得控制点52的一部分或子集位于阈值距离54内;然而,如果系统10确定距离54之外的控制点52的数量大于控制点52预定阈值子集,则可以调用远交互模式。预定阈值子集可以是一个控制点,或者控制点的最小百分比,例如10%、25%、50%等。可以理解,远程交互模式可以在大量控制点52超出用户的能力范围的情况下调用,因此对于用户来说可能难以控制或烦人。在远程交互模式下,处理器12可配置为从用户接收触发输入56。如图1所示,触发输入56可由头显设备14中的一个传感器29检测。触发输入56可以包括预定义手势、包括自然语言的语音命令、注视方向和/或眼动运动中的至少一个,因此可分别由朝...PC版:https://www.cnbeta.com/articles/soft/1305905.htm手机版:https://m.cnbeta.com/view/1305905.htm