微软AR/VR专利研究通过热图像补充校正头显透视视图
通过热图像来补充校正基本的摄像头透视视图
（映维网 2021年06月01日）XR头显可以通过前置摄像头提供关于物理世界的透视视图，但对于充满烟雾等环境能见度差的情况，这将会影响生成的透视视图质量，甚至对用户毫无用处。针对这种情况，微软希望通过热图像来作为补充。
在日前由美国专利商标局公布的一份专利申请中，微软提出了一项名为“Parallax correction using cameras of different modalities”的发明。所述文件主要描述了使用不同模式的摄像头来进行视差校正的技术。具体来说，微软希望通过热图像来补充增强基本的摄像头透视视图。
在一个实施例中，头戴式设备可以确定环境的当前可见性条件。基于当前的可见度条件，确定第一摄像头或第二摄像头中的任何一个都不可用于生成具有满足所需图像质量阈值的透视图像。头戴式设备可以选择配置为检测跨越第一照度范围的光线的第一摄像头，或者可选地，头戴式设备可以选择配置为对跨越第二照度范围的光线的第二摄像头来生成环境的摄像头图像，亦即对用户而言的透视图像。然后，选定的摄像头实际生成透视图像，并且在透视图像内识别坐标。
同时，配置成检测长波红外辐射的第三摄像头生成环境的热图像，并在热图像中识别坐标。然后，通过将热图像的坐标与透视图像的对应识别坐标来执行视差校正。
接下来，可以将经过视差校正的热图像叠加到透视图像以生成复合透视图像，并由显示器呈现所述复合透视图像。
在一个实施例中，基于当前的可见度条件，确定第一摄像头或第二摄像头中的任何一个都不可用于生成具有满足所需图像质量阈值的透视图像。响应于所述确定，第三摄像头生成环境的热图像。然后在热图像执行平面重投影。通过相对于显示器选择投影热图像的透视距离来执行平面重投影处理。
同时，通过将热图像投影到所选透视距离来执行平面重投影，从而致使投影热图像的透视平面具有与所选透视距离对应的深度外观。接下来，显示器呈现所述的投影热图像。
以这种方式，即便是能见度差的情况，头戴式设备都能够呈现合适视差的透视图像。
相关专利：Microsoft Patent | Parallax correction using cameras of different modalities
名为“Parallax correction using cameras of different modalities”的微软专利最初在2020年11月提交，并在日前由美国专利商标局公布。
