微软专利分享AR/VR遮挡情景下全息图与真实对象的对齐校准
遮挡器
（映维网Nweon 2022年01月24日）若持续关注微软的专利申请，你或者会注意到这家公司有构想过一种“分离式”摄像头。其中，这种与头显分离的摄像头可以由用户手持，或者挂接在前胸等用户身体位置。这种配置的一种用例是用于VR头显的透视视图，通过额外的摄像头视角来补充头显前端摄像头视角，从而为用户提供精确的真实世界环境感知。
对于来自不同角度摄像头的视图，一个重要的处理过程是对齐校准。在早前的专利申请中，微软已经通过多份发明介绍过相关的对齐校准。然而，在名为“Dynamic adjustments in mixed-reality environment based on positional assumptions and configurations”的文件中，这家公司主要介绍了一种遮挡情景。尽管依然与对齐校准相关，但这一次主要是介绍对齐校准全息图与真实对象。
混合现实中的遮挡是指一个对象遮挡另一个对象的可见度。其中，对象可以是真实世界对象、全息图或真实世界对象和全息图的组合。例如，可以渲染出全息图遮挡真实世界对象的场景。类似地，可以渲染成真实对象遮挡全息图的场景。为了执行逼真的遮挡，将全息图与场景紧密对齐，甚至完美对齐有利于保持或提高真实感，并实现逼真的行为可视化。
为了提供逼真的遮挡效果，MR系统通常使用所谓的“遮挡器”。具体而言，遮挡器是一种用于在渲染和显示过程中遮住对象几何体的对象类型。遮挡器通过向MR场景的深度缓冲区提供信息来与MR场景交互。这种与深度缓冲器的交互允许MR系统能够阻止选定的全息图像素显示在场景中。
在图1中，为了提高全息图105的真实感，MR系统能够使用形状与真实世界头部100的形状相对应的遮挡器120。通过允许遮挡器120与MR系统的深度缓冲器交互，MR系统可以隐藏全息图105中应该被真实世界头部100遮挡的部分。使用遮挡器120的结果由全息图125显示。其中，先前显示的全息眼镜臂110和115现在隐藏在视线之外。
图2是使用遮挡器效果的另一个说明。在所述场景中，一系列的全息图（全息图205、全息图210、全息图215和全息图220）围绕真实世界头部200旋转。尽管未示出，但系统使用了遮挡器。基于当前视点，全息图205完全可见，并且位于真实世界头部200的前面。全息图210则部分遮挡真实世界头部200的视图。类似地，全息图220的一部分被遮挡器隐藏或遮挡。
在图3中，传统的头显系统通常是利用非常简单的遮挡器，例如简单遮挡器310。通常，简单遮挡器310由基本形状形成，如圆柱体、圆、球体等。通常情况下，简单遮挡器310未能考虑用户300特定和变化的相对姿势。
为了生成简单遮挡器310，传统系统广泛依赖于扫描操作：利用摄像头扫描环境以识别真实世界的对象。通过分析摄像头图像，MR系统能够识别和解析环境中包含的不同对象。一旦MR系统理解了环境，它就能够为不同的对象生成遮挡器。基于对环境的不断扫描，遮挡器不断更新。执行这种持续扫描在计算和电池消耗方面非常昂贵。
名为“Dynamic adjustments in mixed-reality environment based on positional assumptions and configurations”的专利介绍了一种针对所述问题的解决方案。具体来说，实施例能够基于用户身体的假设在MR环境中动态地选择和呈现遮挡器。
例如，可以识别MR环境中物理设备的相对位置，根据检测到的传感器输出，在MR环境中追踪设备的相对运动和定位。然后，系统基于所识别的物理设备相对位置，确定在MR环境中对用户身体的假定理解，包括用户身体的假定位置。这种理解不依赖于用户身体的摄像头成像。
实施例中提供了一个用于在MR环境中进行选择，并与用户身体的假定位置相对应的遮挡器。然后，基于对用户身体的假定理解，从遮挡器集合中选择一个或多个特定遮挡器，并与集合中的其他遮挡器相比，确定与用户身体的假定位置相对较高的对应百分比。
实施例同时包括通过在MR环境中以与假定理解相对应的特定尺寸和位置定位遮挡器，从而修改MR环境的呈现。
实施例同时动态更新对MR环境中用户身体的理解，并基于对用户身体假定位置的更新理解/假设修改用户的遮挡器。例如，确定在MR环境中对用户身体的初始理解，其中假定理解包括用户身体的假定位置。然后在MR环境中呈现对于用户身体初是理解的初始遮挡器。接下来，识别被追踪设备的相对位置。基于检测到的变化，系统更新对用户身体的理解和对用户身体位置的相应假设。
微软指出，所描述的实施例可用于确定头显的相对姿势（例如位置和方向），并使用所述姿势信息对用户的当前/更新姿势进行智能假设。例如，如果头显具有特定姿势，则实施例能够确定用户如何定向。一旦假定了用户的身体位置，就可以将遮挡器配置为具有与假定的身体位置相对应的大小、形状和方向。所以，专利描述的实施例能够避免执行环境的连续扫描，从而减轻功耗。
另外，即使使用一个或多个扫描/图像的初始集来形成对用户身体位置的初始理解，当前实施例都可用于做出假设，以更新对用户身体位置的理解，无需依赖用户身体的新图像/扫描，而是利用设备检测定位的假设。通过避免对用户身体进行额外扫描和/或使用额外扫描，同时更新对用户身体位置的理解，可以减少与在MR环境中生成和使用遮挡器相关联的计算开销。
图4示出了一个简化的流程图。实施例最初识别一组参数425，例如用户头的姿势。基于参数425，实施例随后执行估计以确定或假设用户的身体姿势，如假设身体位置430所示。基于用户的假定身体位置，实施例然后配置遮挡器，使其具有与假定身体姿势匹配的形状和配置。
在一个实施例中，实施例从零开始生成全新的遮挡器，而在其他实施例中，实施例选择预先生成的遮挡器，然后潜在地修改遮挡器以匹配假定的身体姿势。作为执行修改435的结果，实施例产生具有特定配置的修改遮挡器440，例如与假定身体位置的形状、方向和姿势匹配的形状、方向和姿势。
图5显示了代表图4中参数425的参数500。具体地，图5示出了当前位于高度510的头显505。类似地，图5示出当前位于高度520的头显515。
使用头显505和515中的传感器525，实施例不仅能够确定高度510和520，同时能够确定其他姿势相关信息。例如，传感器525可以包括但不限于IMU 530和头部追踪摄像头535。
在任何情况下，实施例都能够确定头显505和515的六自由度姿势545。基于六自由度姿势545，可以对用户的身体位置或姿势进行估计或假设。例如，为了令头显505位于所示位置，实施例可以假定用户站着。类似地，为了令头显515位于所示位置，实施例假设用户蹲着。
更具体地说，在图5中，当用户站立时，头显505似乎略微向上倾斜。因为头显505已经确定了高度510，并且因为头显505已经确定了自身的方向或角度姿势，所以头显505能够假设用户处于站立姿势，头部略微向上倾斜。
同样，当用户蹲下时，头显515看起来直对前方。因为头显515已经确定了高度520，并且因为头显515已经确定了自身的方向或角度姿势，所以头显515能够假设用户处于下蹲姿势，头部相对平直。
在图7中，由于传感器限制，遮挡器710的手臂720部分没能模拟用户的真实臂71。为了应对这种情况，可以利用额外的传感设备，如图8中的设备810所示。
设备810可以是能够被头显805追踪和/或能够执行其自身追踪的任何类型对象或设备。作为示例而非限制，被追踪对象810可以是智能电话、平板电脑、笔记本电脑、物联网设备或其他的智能设备。
头显805和被追踪对象810能够通过无线链接，或者甚至有线链接进行通信。被追踪对象810能够通过相关链接将其姿势信息发送到头显805。基于从被追踪对象810接收到的姿势信息，头显805随后能够相对于头显805识别被追踪对象810位于何处。基于所述相对位置和被追踪对象810的定向方式，头显805能够生成关于用户可能如何定位的假设。
如图9所示，根据专利描述的原理，手持仪器905能够确定其六自由度姿势915，然后将姿势信息发送给头显900。头显900同时能够确定自己的六自由度姿态。这两条信息的组合使得头显900能够确定手持仪器905相对于头显900的相对位置。基于所述相对位置，头显900随后能够生成关于用户可能如何定位的假设或估计，例如身体姿势假设920。基于假定的身体位置，实施例随后能够生成相应的遮挡器。
在一个实施例中，可以基于头显的姿势信息生成初始基本遮挡器。例如，如果头显的姿势信息指示佩戴头显的用户可能站立，则可以选择初始站立姿势遮挡器。所述初始遮挡器随后可基于手持仪器的姿势信息进行修改。
在图11中，手持仪器1100（代表图9的手持仪器905）由头显用户持有。基于当前姿势，实施例已经生成或配置了相应的遮挡器1105。随后，检测到手持仪器的移动1110，使得其现在处于1115所示的位置。实施例能够从手持设备1100收集姿势信息，以便确定手持设备1100何时、如何以及在何处移动。基于姿势信息，实施例随后可以生成关于手持仪器的手持者的新位置假设。作为响应，实施例随后可以基于更新的姿势生成新的遮挡器1120。
值得一提的是，头显同时可以与其他头显分享遮挡器。
图13示出了存在多个头显的环境1300，如头显1305、头显1310和头显1315。每一个都可以以前面描述的方式配置，其中每一个都能够基于头显的姿势信息和/或手持仪器的姿势信息生成其各自的遮挡器。
与其他头显共享遮挡器信息通常是有益的，这样它们就可以使用所述封堵器而不是各自对房间进行扫描。
作为初始事项，头显可以单独或共同执行环境1300的初始扫描，以确定环境1300的属性，并生成环境1300的空间映射或感知。一旦执行了初始扫描，各实施例就可以避免执行连续扫描，而是可以依赖专利描述的原理来生成遮挡器，并在MR场景中放置全息图。
名为“Dynamic adjustments in mixed-reality environment based on positional assumptions and configurations”的微软专利申请最初在2020年7月提交，并在日前由美国专利商标局公布。
