为降低HoloLens成本、功耗、尺寸，微软专利提出低分辨率深度摄像头解决方案
使用低分辨率摄像头，并以低计算成本计算高边分辨率的深度映射像
（映维网Nweon 2023年09月05日）对于XR头显，基于立体图像对计算深度信息基于立体图像对存在挑战。例如，用于生成透视图像的立体图像通常使用高分辨率立体摄像头捕获，但高分辨率立体摄像头价格昂贵，同时会增加设备体积、重量和电池消耗。另外，使用高分辨率立体图像对计算深度信息的计算成本高，并会导致传递体验的延迟。
所以在名为“Systems and methods for low compute high-resolution depth map generation using low-resolution cameras”的专利申请中，微软就提出中了一种使用低分辨率摄像头，并以低计算成本计算高边分辨率的深度映射像。
在一个实施例中，专利描述的系统配置为获得立体图像对，并通过对立体图像对执行立体匹配来生成深度映射。系统同时配置为获得包括环境的第一纹理信息的第一图像，第一图像具有比立体图像对的图像的图像分辨率高的第一图像分辨率。
系统同时配置为通过重新投影第一图像以对应于与深度映射相关联的图像捕获视角来生成重新投影的第一图像。第一图像的重投影基于来自深度映射的深度信息，并且包括用于环境的重投影的第一纹理信息。系统配置为基于深度映射生成上采样的深度映射。
图4示出了一个示例头戴式显示器400。头显包括一个高分辨率低照度摄像头402、一个高分辨率热像仪404和两个低分辨率热像仪406A和406B。
低光摄像头可以包括图像传感像素，其配置为以足够高的帧速率检测低数量的电子，从而促进在包括低环境光的环境中捕获图像。热像仪可以配置为检测红外光以提供来自捕获环境内对象的热辐射的代表图像。
高分辨率低照度摄像头402和/或高分辨率热像仪404捕获的图像的图像分辨率高于低分辨率热像仪406A和406B捕获的图像的图像分辨率。
低分辨率热像仪406A和406B的图像分辨率低于高分辨率低光热像仪402和/或高分辨率热像仪的图像分辨率。
所述低分辨率热像仪406A和406B构成一对立体热像仪，所述立体热像仪406可配置为捕获在图像分辨率、长宽比等方面基本相同的环境的暂时同步热像。尽管低分辨率热像仪406A和406B无法捕获足够保真度的图像以提供理想的用户体验，但低分辨率热像仪可以促进低计算深度映射的计算，并且可以避免实现高分辨率摄像头的立体对。
低分辨率热像仪406A和406B通过检测捕获场景内的热辐射来工作，而且热像仪可以在没有光线和/或在低能见度环境工作。所以，立体热像仪406可以在各种环境中捕获可用于获取深度信息的低分辨率图像，这对于在各种环境中使用头显400的用户可能是有益的。
另外，系统可以仅包括单个高分辨率摄像头或两个以上高分辨率摄像头，并且高分辨率摄像头可以具有与低分辨率摄像头的立体对相同或不同的摄像头模式。
如图5A所示，头显可以使用其摄像头捕获环境内对象的图像。图5A示出高分辨率热像508、高分辨率低光像512和低分辨率热像516A和516B。所述低分辨率热图像516A和516B形成图像516的立体对，并可在其上执行深度计算。
所述高分辨率热图像508捕获描述所述对象506在捕获时的热辐射特性的纹理信息510。所述高分辨率弱光图像512捕获描述可在可见光谱中观测到的对象506的不同纹理信息514。纹理信息510和/或514可以提供用于生成对象506的透视视图的基础
图5A同时显示了低分辨率热图像516A和516B与高分辨率热图像508、高分辨率弱光图像512之间存在空间差异。
图5A中所示的至少一些图像可以由系统捕获，以方便使用低分辨率图像生成低计算高分辨率深度映射。为了便于使用低分辨率图像生成低计算高分辨率深度映射，系统可以使用低分辨率热图像516A和516B生成低分辨率深度映射。
图5B示出作为深度处理518的输入提供的低分辨率热图像516A和516B，用于生成在低分辨率热图像516A和516B中捕获的对象的深度信息。
用于计算深度信息的深度处理518可以以各种方式执行，包括立体匹配。为了进行立体匹配，获得一对图像。然后执行校正过程，从而表示环境中共同3D点的图像对的不同图像中的相应像素沿扫描线对齐。
对于校正后的图像，不同图像中对应像素的坐标仅在一个维度上不同。然后，立体匹配算法可以沿着扫描线搜索以识别彼此对应的不同图像中的像素并识别相应像素的视差值。视差值可以基于描述环境的相同部分的不同图像中相应像素之间像素位置的差异。可以根据每个像素的视差值确定每个像素的深度，从而提供一个深度映射。
图5B示出深度处理518作为深度映射520的输出，其中包括深度信息522。如上所述，深度映射520可以描述在立体图像对中捕获的物体与捕获立体图像对的一个或多个摄像头之间的每像素距离。
图5B示出了低分辨率热图像516A的几何深度映射520。换句话说，在低分辨率热图像516A和深度映射520中表示的物体在空间上对齐。如上所述，系统可以在图像516的立体对的两个图像的几何形状中生成深度映射，并且可以执行发明所述的任何处理，而不损失一般性以生成多个视差校正视图。
在低分辨率图像上执行深度处理518比在高分辨率图像上执行深度处理的计算成本要低得多，并且利用低分辨率图像捕获用于深度处理的立体图像对允许头显400省略立体高分辨率摄像头对。
但深度映射520与高分辨率热图像508和高分辨率低光图像512之间存在空间差异。另外，深度映射520具有与低分辨率热图像516A和516B相似的图像分辨率，所以具有比高分辨率热图像508和/或高分辨率低光图像512更低的图像分辨率。
空间和图像分辨率的差异为使用深度映射520中的深度信息522和纹理信息510或514来生成视差校正视图带来了问题。然而，所述障碍可以通过使用重投影操作和上采样操作来克服，如下所述。
图6A和6B说明了重新投影高分辨率图像以对应于低分辨率深度映射的捕获视角的概念表示，并说明如何将来自高分辨率热图像的纹理信息510重新投影为与来自深度映射520的深度信息522在空间上对齐。
图6A示出具有从主点602通过深度映射520的深度信息522的各种像素延伸的未投影射线604的深度映射520。主点602对应于低分辨率热像仪406B的光学中心或摄像头中心，而低分辨率热像仪406B捕获低分辨率热像仪516B以形成深度映射520。
射线604表示为从主点602通过深度映射520中表示的深度信息522的像素投射，因为所述深度信息像素位于位于主点602周围的前图像平面上。射线604通过深度信息522的相应像素扩展到对应于深度信息522的相应像素的深度值的距离。射线604提供描绘在深度映射520中捕获的对象506的3D表示606的多个3D点或坐标。
所述对象506的3D表示606的每个3D点或坐标可与所述深度信息522的特定像素相关联，所述深度信息522通过所述相应的射线604投射以提供所述3D点或坐标。
这样，如果高分辨率热图像508的纹理信息510的像素可以与3D表示606的3D点或坐标相关联，则纹理信息510的像素可以与深度映射520的深度信息522相关联和/或对齐。
图6B进一步示出高分辨率热图像508，其射线610从高分辨率热图像508的主点608延伸至高分辨率热图像508的纹理信息510的各种像素。主点608对应于高分辨率热像仪404的光学中心或摄像头中心，而高分辨率热像仪404捕获高分辨率热像仪508。
所述射线610表示为从所述主点608通过纹理信息510的像素投射，因为所述纹理信息510的像素位于位于所述主点608周围的前图像平面上。至少一定的射线610通过纹理信息510的相应像素延伸，直到射线610与3D表示606的3D点相交。
与3D表示606的特定3D点相交的射线610所通过的纹理信息510的每个像素可与射线604所通过的深度映射520的深度信息522的像素相关联，以生成3D表示606的特定3D点。
通过使用3D表示606的3D点作为中介的这种关联，纹理信息510的像素可以与深度映射520的深度信息522的像素相关联，即使两者是从不同的摄像头视角捕获。
换句话说，系统可以通过将纹理信息非投影到3D表示606上并投影到深度映射520上来重新投影纹理信息510，以对应于与深度映射520相关联的透视图(。
图7描述了作为重投影702的输入提供的高分辨率热图像508，重投影702至少部分地基于来自深度映射520的深度信息522。所述重投影702的输出包括重投影的高分辨率热图像704，其中包括重投影的纹理信息706。
如图7所示，重投影的高分辨率热像704在空间上与深度映射520对齐。
尽管高分辨率热图像704和深度映射520在空间上对齐，但这两幅图像具有不同的图像分辨率，其中高分辨率热图像704具有比深度映射520更高的图像分辨率。来自深度映射的深度信息与来自纹理图像的纹理信息可以降低使用深度信息和纹理信息生成的视差校正图像的质量。
图8示出生成上采样深度映射804，其可包括与重投影的高分辨率热图像704的图像分辨率相匹配的图像分辨率。具体地，图8显示了作为上采样802的输入的深度映射520，并用于产生具有上采样深度信息806的上采样深度映射804。上采样深度信息806在空间上与重投影的高分辨率热图像704的重投影纹理信息706对齐。
上采样802包括或利用滤波算法，例如可以任选地利用引导图像以改进算法输出的保持边缘滤波操作。
图8示出重投影的高分辨率热图像704的重投影纹理信息706在空间上与上采样深度映射804的上采样深度信息806对齐。另外，重投影的高分辨率热图像704和上采样深度映射804都包含相同的图像分辨率。
因此，重新投影的纹理信息706和上采样的深度信息806可以彼此结合使用，以形成视差校正图像并显示给用户。
例如，系统可以利用上采样深度信息806再次重新投影已经重新投影的纹理信息706，以对应于用户的一只或多只眼睛的视角。这种重投影可以包括，将重投影的纹理信息706的每个像素解投影到由具有相同像素坐标的上采样深度信息806的相应像素所指示的距离。非投影可以在3D空间中提供3D点，并且3D点可以向与用户视角相关联的主要点投射并投射到面向前方的图像平面上，以形成视差校正图像。
图9示出重新投影高分辨率低光图像512以对应于与低分辨率深度映射520相关联的捕获透视图的概念表示。
图9示出了深度映射520，其中射线604从主点602延伸至深度映射520的深度信息522的各种像素。所述射线604被表示为从主点602通过深度映射520中表示的深度信息522的像素投射，因为所述深度信息像素位于位于主点602周围的前图像平面上。
每个射线604通过深度信息522的相应像素扩展到对应于深度信息522的相应像素的深度值的距离。射线604提供描绘在深度映射520中捕获的对象506的3D表示606的多个3D点或坐标。
所述对象506的3D表示606的每个3D点或坐标可与所述深度信息522的特定像素相关联，所述深度信息522通过所述相应的非投影光线604投射以提供所述3D点或坐标。这样，如果高分辨率弱光图像512的纹理信息514的像素可以与3D表示606的3D点或坐标相关联，则纹理信息514的像素可以与深度映射520的深度信息522相关联和/或对齐。
图9进一步示出高分辨率低光图像512，其射线904从高分辨率低光图像512的主点902延伸至高分辨率低光图像512的纹理信息514的各种像素。主点902对应于高分辨率低照度摄像头402的光学中心或摄像头中心，而高分辨率低照度摄像头402捕获高分辨率低照度图像512。
所述射线904表示为从所述主点902通过纹理信息514的像素投射，因为所述纹理信息514的像素位于位于所述主点902周围的前图像平面上。至少一定的射线904通过纹理信息514的相应像素延伸，直到射线904与3D表示606的3D点相交。
通过使用3D表示606的3D点作为中介的这种关联，纹理信息514的像素可以与深度映射520的深度信息522的像素相关联，即使两者是从不同的摄像头角度捕获。
换句话说，系统可以通过将纹理信息514取消投影到3D表示606上并投影到深度映射520上来重新投影纹理信息514，以对应于与深度映射520相关联的透视图。
图10示出了重投影的高分辨率低光图像1002，其可以使用基于深度映射520的深度信息522的重投影操作生成。重投影的高分辨率低光图像1002包括重投影的纹理信息1004。
图10同时示出生成上采样深度映射1008，其可包括与重投影的高分辨率低光图像1002的图像分辨率相匹配的图像分辨率。
具体地，图10显示了作为上采样1006的输入的深度映射520，其用于生成具有上采样深度信息1010的上采样深度映射1008，二所述上采样深度信息1010在空间上与重投影的高分辨率低光图像1002的重投影纹理信息1004对齐。
如上所述，图10示出重投影的高分辨率低光图像1002的重投影纹理信息1004在空间上与上采样深度映射1008的上采样深度信息1010对齐。另外，重投影的高分辨率低光图像1002和上采样深度映射1008都包含相同的图像分辨率。
因此，系统可以利用上采样深度信息1010，通过重新投影已经重新投影的纹理信息1004以对应于用户的一只或多只眼睛的视角来生成视差校正的图像。
名为“Systems and methods for low compute high-resolution depth map generation using low-resolution cameras”的微软专利申请最初在 提交，并在日前由美国专利商标局公布。
