戴AR/VR上街，微软专利提出基于并行位置完善AR/VR地理位置导航
基于并行位置估计来为头戴式显示设备导航
（映维网 2021年12月23日）计算设备可以包括用于估计的当前位置的导航模式。例如，计算设备可通过全球定位系统（GPS）、视觉惯性里程计（VIO）或行人航位推算（PDR）进行导航。计算设备确定自己的地理位置可以带来重要的帮助。
作为一个例子，所述信息可以呈现给用户，以纬度和经度坐标形式或以图形地图方式来提供位置到导航，从而帮助用户确定自己的位置，或者确定设备的当前位置（当设备丢失时）。作为另一个示例，设备可配置为根据其当前位置执行特定的动作或功能。
以头戴式设备为例，它可通过一系列不同的导航技术确定其地理位置，例如全球定位系统（GPS）导航、视觉惯性里程计（VIO）和行人航位推算（PDR）等。然而，所述技术存在各自的缺点，例如GPS导航需要足够的信号强度和与阈值数量的卫星的通信，而VIO在低光和低纹理场景中会受到影响。所以，仅依赖一种导航模式的设备在准确报告其地理位置时往往会遇到困难。
在名为“Device navigation based on concurrent position estimates”的专利申请中，微软就介绍了一种基于并行位置估计来为头戴式显示设备导航的方法。
对于头戴式显示设备，特定于位置的虚拟图像可呈现给用户眼睛，并且特定于位置的虚拟图像可以随着设备位置的变化而变化或更新，如图1A所示。图1A描绘了在真实环境104中使用头戴式显示设备102的示例用户100。头戴式显示设备包括近眼显示器106，其配置为向用户眼睛呈现虚拟图像。同时，所述近眼显示器允许用户感知现实世界。
在图1A中，头戴式显示设备102通过近眼显示器向用户眼睛呈现特定于位置的虚拟图像110和112，包括指示设备相对于周围环境的大致位置的标记111。虚拟图像112采用持久标记的形式，并且标记朝向地标的方向（在本例中为用户的家）。在其他情况下，可使用其他地标，例如用户的汽车、另一用户的位置、地理特征（如附近的建筑物、山脉、兴趣点）。
当头戴式显示设备在环境中移动时，特定位置的虚拟图像可以更新，从而反映设备最近报告的位置，如图1B所示。图1B示出了用户100在真实环境104中使用头戴式显示设备102。但在图1B中，头戴式显示设备在真实环境中的位置已经改变。所以，通过改变标记111相对于地图特征的位置来更新虚拟图像110。类似地，根据相对于用户的家的朝向来相应地更新虚拟图像112。
在一个实施例中，头戴式设备可以通过多个导航模式同时输出多个位置估计，并将具有最高置信值的位置估计报告为设备的当前报告位置。随着设备的移动及其环境的变化，一些导航模式的输出可能变得更加可靠，而另一些导航模式则变得不那么可靠。所以，在任何给定的时间，设备可以报告由各种导航模式中所估计的位置，以便准确地追踪和报告设备的移动。
图2示出了用于计算设备导航的示例方法200，而图3则是一个关于头戴式显示器的示例。如图3所示，设备300包括近眼显示器302，其配置为向用户眼睛呈现虚拟图像303。在各种实施例中，头戴式显示设备300可配置为提供增强和/或虚拟现实体验。
近眼显示器显示的虚拟图像可以采用任何合适的形式，并且可以随着头戴式显示设备位置的变化而动态更新（或不动态更新）。图1描述的位置特定虚拟图像是一个非限制性示例。特定位置的虚拟图像可以在增强现实和虚拟现实设置中呈现。例如，即使在完全虚拟的环境中，系统都可以提供动态更新的映射，并指示设备相对于周围真实世界环境或虚拟虚拟环境的位置。类似地，可以为真实世界中的真实地标或虚构地标提供指示朝向方向的标记。
回到图2。在202，方法200包括经由计算设备的第一和第二导航模式同时输出第一和第二位置估计。但应当理解的是，计算设备可以具有两个以上的导航模式，并且因而可以输出两个以上的并发位置估计。换言之，计算设备还可以经由第三导航模态与第一和第二位置估计同时输出第三位置估计。
如上所述，示例导航模式可能包括GPS、VIO和PDR。图3的头戴式显示设备300包括三个导航传感器308、310和312，对应于三种不同的导航模式。例如，导航传感器308可以是GPS传感器，配置为与多个轨道GPS卫星接口以估计设备的当前地理位置。这可以表示为绝对位置，并以纬度和经度坐标表示。
与GPS传感器输出的绝对位置不同，其他导航模式可能会输出相对于先前报告位置的位置估计值。例如，导航传感器310可以包括配置成对周围真实世界环境成像的摄像头。通过分析捕获的图像以识别周围环境中的图像特征，并评估特征如何随着设备视角的变化而变化，设备可通过视觉里程计估计其相对位置。在某些情况下，这可以与适当的运动传感器（例如惯性测量单元IMU）的输出相结合，以实现视觉惯性里程计估计。需要注意的是，这将带来位置的位置估计，而不是新的绝对位置。
导航传感器312可包括运动传感器（例如IMU、加速计、磁强计、陀螺仪）的适当集合，其配置用于通过PDR估计设备远离先前报告位置的运动方向和幅度。同样，这将带来位置的位置估计，而不是新的绝对位置。
在较长的时间尺度上，相对位置估计（如VIO和PDR输出的估计）可能不如绝对位置估计（如GPS输出的估计）准确。这是因为每个相对位置估计可能会受到某种程度的传感器误差或漂移的影响。当输出多个连续的相对位置估计值时，每个估计值可能会使先前相对估计值的传感器误差/漂移复合，导致设备的报告位置逐渐偏离设备的实际位置。相比之下，绝对位置估计值与之前报告的设备位置无关。所以，与绝对位置估计相关的任何传感器误差/漂移只会影响该位置估计，不会在一系列估计中复合。
图4示意性地示出了经由多个输入模式的多个位置估计的并发输出。如图所示，在时间帧400A，通过三种不同的导航模式输出三种不同的位置估计402A、402B和402C。每个不同的位置估计对应于不同的形状。换句话说，位置估计402A（正方形）由第一导航模式（例如，GPS）输出，而位置估计402B和402C（圆形和三角形）由第二和第三导航模式（例如，VIO和PDR）输出。
回到图2，在204，方法200包括，基于确定第一位置估计具有比第二位置估计更高的置信值，将第一位置估计报告为计算设备的第一报告位置。具体地，第一位置估计402A渲染为黑色以指示其具有最高置信值，并且因此被报告为计算设备的第一报告位置。
如上所述，设备使用的各种导航模式在各种情况下可能或多或少地可靠。例如，GPS导航通常需要设备检测至少具有适当信号强度的阈值数量的GPS卫星，以便输出准确的位置估计。因此，当设备进入室内环境时，GPS位置估计的精度可能会受到影响。
类似地，VIO依赖于检测周围真实环境中捕获的图像中的特征。所以，VIO位置估计的准确性可能会在弱光环境中以及具有相对较少独特可检测特征的环境中降低。例如，如果设备位于空场中，则设备可能难以检测足够数量的特征以准确追踪设备的移动。
关于PDR，用于实施PDR的运动传感器通常会出现一定程度的漂移或其他误差。随着时间的推移，设备继续移动，而错误将变得复杂，并导致设备位置的估计越来越不准确。
因此，计算设备的每个导航模态输出的每个位置估计值可分配相应的置信值。所述置信值可以任何适当的方式计算，并基于有助于每个导航模式精度的各种因素的任何适当权重。应理解，用于计算置信值的具体方法以及每个置信值所采用的具体形式将因实施和导航模式的不同而不同。
例如，如上所述，与相对位置估计序列相比，绝对位置估计序列通常不易受到传感器误差/漂移的影响。因此，当确定特定位置估计的置信值时，用于输出估计的导航模态的性质（即，绝对vs相对）可被视为输入。因此，绝对位置估计（例如，GPS）通常比相对位置估计（例如，VIO，PDR）具有更高的置信度，尤其是在先前报告的设备位置由相对导航模式输出的情况下。
无论如何，每次设备通过两个或多个导航模式同时输出位置估计值时，具有最高置信值的位置估计值将被报告为计算设备的报告位置。值得注意的是，“报告”位置不需要向计算设备的用户显示或以其他方式指示该位置。相反，“报告的位置”是计算设备在当前时间的当前位置的内部参考。换句话说，计算设备的任何特定于位置的功能可以将最近报告的位置视为计算设备的实际位置。例如，请求设备的当前位置（如通过位置API）的计算设备的任何软件应用程序可以提供最近报告的位置，而不管该位置是否曾经以视觉方式指示给用户。
回到图2，在206，方法200包括在计算设备离开第一报告位置时，经由计算设备的第一和第二导航模式同时输出第一和第二后续位置估计。再一次，计算设备在某些情况下可以包括两个以上的导航模式，并且因此可以同时输出两个以上的后续位置估计。如图所示，在多个连续时间帧400B-400G中的每一个，设备经由计算设备的各种导航模式同时输出新的位置估计。连续时间帧可以以任何合适的频率出现，例如每秒1帧、每秒5帧、每秒10帧、每秒30帧、每秒60帧。在一些示例中，连续时间帧可能不会以任何固定频率出现。相反，当设备的一个或多个软件应用程序请求设备的当前位置时，导航模式可以同时输出位置估计。
回到图2，在208，方法200包括报告经由第二导航模态输出的第二后续位置估计，作为计算设备的第二报告位置。这可以基于确定经由第一导航模态输出的第二后续位置估计的置信值高于第一后续位置估计的置信值来实现。这也在图4中示意性地示出。如图4所示，在时间帧400B处，第二后续位置估计404B渲染为黑色，以指示其被报告为计算设备的第二报告位置，而不是第一后续位置估计404A。
继续图4，在时间帧400C，经由第三导航模态报告的第三后续位置估计406C报告为计算设备的第三报告位置。通常，在任何特定时间帧，计算设备的每个导航模态可以输出计算设备的不同位置估计。所述位置估计值中具有最高置信值的任何一个都可以报告为计算设备的最近报告位置。
在一个示例场景中，第一导航模式可以是GPS导航。当设备在第一个和第二个报告位置之间移动时，设备可用的GPS卫星数量可能会减少，从而降低第一个后续位置估计的置信值。
在另一示例场景中，第一导航模态可以是VIO。当设备在第一和第二报告位置之间移动时，设备环境中的环境光水平可能降低，从而降低第一后续位置估计的置信值。另外，或者，当设备的摄像头可见的场景中的纹理级别在第一和第二报告位置之间降低时，第一后续位置估计的置信值可以降低。
在另一示例场景中，第一导航模态可以是PDR。如上所述，用于实现PDR的传感器通常会出现一定程度的误差，并且所述误差会随着时间的推移而加剧。因此，经由PDR输出的位置估计的置信值可以与自替代导航模式（例如配置为输出绝对位置估计的导航模式）可用以来经过的时间成反比。换言之，随着在报告第一位置之后的时间流逝，经由PDR输出的位置估计的置信值可以降低到低于对应于经由其他导航模式输出的其他位置估计的置信值。
再次回到图2，在210，方法200包括通过近眼显示器向用户眼睛呈现特定于位置的虚拟图像，特定于位置的虚拟图像随着头戴式显示设备从第一报告位置移动到第二报告位置而动态更新。步骤210以虚线示出，以指示特定位置虚拟图像的呈现和更新可在方法200的整个过程中进行。
需要注意的是，可以考虑导航模式对续航能力的影响。例如，某些导航模式可能比其他导航模式对设备电池续航的影响更大。例如，VIO可能比GPS或PDR消耗更多的电池电量。因此，当第一导航模态是VIO时，在报告第二位置之前，设备的剩余电池电平可以降低到阈值（例如20%）以下。因此，在一些示例中，当设备电池电量降至阈值以下时，VIO（和/或其他电池密集型导航模式）可能被禁用。因此，该导航模态可能不会在下一时间帧输出位置估计。因此，可报告由第二（例如，较少电池密集型）导航模态输出的第二后续位置估计。
此外，在某些情况下，设备可能会收到用户输入，以指定设备的手动定义位置。然后，可以将手动定义的位置报告为设备的最近报告的位置。用户输入可以采用任何合适的形式。例如，用户可以手动输入数字坐标。用户可以指定一个特定的航向，例如北方。作为另一示例，用户可以在地图应用程序中放置定义手动定义位置的标记。
通过利用多种导航模式的并发估计，系统可以更精准地判断设备的当前位置，并用以支持各种用例和功能。
相关专利：Microsoft Patent | Device navigation based on concurrent position estimates
名为“Device navigation based on concurrent position estimates”的微软专利最初在2020年6月提交，并在日前由美国专利商标局公布。
