微软专利介绍HoloLens在弱光条件下提供混合现实体验的解决方案
利用红外感知来支持低光条件
（映维网 2021年12月17日）MR系统通常包括一个或多个配置用于执行图像捕获任务的传感器。例如，MR系统可以包括一个或多个面向环境的摄像头，并用于捕获用户环境的视频帧和/或提供用户环境的透视视图。在一个实施例中，MR系统包括各种模式的立体摄像头，以提供用户环境的视差校正透视视图，从而增强用户对真实世界环境的感知。例如，包括长波热成像摄像头的MR系统可允许用户透过烟雾、薄雾和/或灰尘感知。在另一个示例中，包括微光成像摄像头的MR系统可允许用户在低于人类视觉所需水平的微光/低光环境中感知。
用于执行计算机视觉任务的MR系统的传感器和用于执行图像捕获任务的MR系统的传感器可以配置为在不同的环境照明条件下工作。但在弱光/低光条件下，现有MR系统的传感器或无法实现计算机视觉任务和图像捕获任务的可接受性能。
举例来说，在某些情况下，尽管MR系统的微光摄像头可在微光条件下捕获环境的图像，MR系统的姿势检测摄像头系统可能无法在弱光条件下准确检测姿势数据。所以，在弱光条件下执行图像捕获任务（例如提供视差校正的透视图像），并同时执行计算机视觉任务（例如姿势检测）存在挑战。
至少出于上述原因，对于在相同环境光照条件（例如弱光条件）下执行计算机视觉任务和图像捕获任务的技术和系统，尤其是在弱光条件下提供混合现实体验的技术和系统存在持续的需求和愿望。
在名为“Systems and methods for providing mixed-reality experiences under low light”的专利申请中，微软介绍了用于在弱光条件下提供混合现实体验的系统和方法。其中，专利的实施例中旨在促进计算机视觉任务（例如头部追踪）和透视成像，尤其是在弱光条件下促进计算机视觉任务。
在一个实施例中，MR系统包括扫描传感器，扫描传感器包括可见光摄像头、微光摄像头、热成像摄像头，以及潜在（但不一定）紫外（UV）摄像头或近红外（NIR）摄像头。扫描传感器可以进一步包括任何其他类型的摄像头或摄像头系统，例如深度摄像头和飞行时间摄像头等。
一个实施例包括MR系统，例如头戴式显示器（HMD），其包括配置用于执行计算机视觉任务的第一组一个或多个摄像头和配置用于捕获环境图像数据以投影到用户的第二组一个或多个摄像头。在一个实施例中，第一组一个或多个摄像头配置为检测至少可见光谱光和至少特定波段的红外（IR）光，并且第二组一个或多个摄像头包括一个或多个可分离红外滤光片，其配置为衰减IR光，包括至少一部分特定波段的红外光。
在一个实施例中，专利描述的方法至少使用一个或多个摄像头的第一组来捕捉用于执行计算机视觉任务的一个或多个图。在一个实施例中，第一组一个或多个摄像头配置为检测至少可见光谱光和至少特定波段的红外（IR）光，并且使用在环境中反射的特定波段的红外光捕获第一组一个或多个图像。
在一个实施例中，专利描述的方法至少使用使用一个或多个摄像头的第二组来捕捉一个或多个图像，其中一个或多个摄像头的第二组配置为捕捉环境的图像数据，以便投影到头显用户。另外，一个或多个摄像头的第二组包括一个或多个可分离红外滤光片，其配置为衰减红外光，包括至少一部分特定波段的红外光，使得一个或多个图像的第二组省略衰减的红外光。
通常，人眼能够感知所谓的“可见光谱”内的光，其中包括波长从约380纳米（nm）到约740纳米的光。可见光照相头包括构造成捕获可见光谱内的光的RGB摄像头。RGB摄像头可以实现为立体摄像机，这意味着两个或多个RGB摄像头的视场至少部分地相互重叠。利用所述重叠区域，由可见光照相头生成的图像可用于识别通常表示由两个图像捕获的对象的特定像素之间的差异。在对立体图像对应用校正后测量差异，以使图像对应像素沿扫描线对齐。在校正之后，通常表示环境中对象的不同图像中的对应像素仅在一维上不同。立体图像对的各自图像中的相应像素之间的一维差表示由相应像素表示的对象的视差值。
图2示出了示例头显200。头显200包括多个不同的摄像头，如可见光摄像头、微光摄像头、热成像摄像头和紫外照摄像头的任意数量或组合。尽管图2中仅示出了5个摄像头，但可以包括多于或少于5个摄像头。
现在注意图3。头显300具有用于执行计算机视觉任务的传感器和用于执行图像捕获任务的传感器。头显300包括实现为可见光摄像头的一组头部追踪摄像头305和实现为微光摄像头的一组透视摄像头315。
在一个实施例中，头显300包括其他传感器，例如深度系统320和其他摄像头325，其可配置为执行与摄像头305和315执行的图像捕获功能相同或不同的图像捕获功能集。其他摄像头和传感器例如可以启用混合现实体验的附加功能，例如手部追踪、视频捕获等。
头部追踪摄像头305配置为捕获环境的图像数据。在一个实例中，头部追踪摄像头305捕获的图像提供与惯性追踪数据（例如由加速计155、陀螺仪160、指南针165获得）一起使用的视觉追踪数据，以确定头显300的六自由度姿势数据。头部追踪摄像头305可以与其他组件协同工作，以使头显能够基于用户的视角并相对于环境显示世界锁定全息图。
头显300的一组透视照相机315配置用于捕捉环境的人类可感知图像，例如要显示/投影给一个或多个用户的图像。
根据图3所示的实现，头显300的透视摄像头315实现为一对立体微光摄像头。在一个实例中，每个透视摄像头315基本与对应的用户眼睛对齐，这可以减少对透视摄像头315捕获的图像数据执行视差校正所需的变换。在其他实施例中，摄像头315从用户的眼睛偏移，并且执行前述变换以完成上述视差校正。
在一个实施例中，头显300基于透视摄像头315捕获的立体图像对来识别环境纹理信息。在一个实施例中，立体图像对包括左图像和右图像。在一个实施例中，头显300同时对透视摄像头315捕获的立体图像对执行立体匹配，从而生成环境的深度映射。
在一个实施例中，头显300配置为提供头显的六自由度姿势追踪，以便在显示器330A、330B准确呈现关于用户透视图和关于环境中对象的世界锁定全息图。另外，在一个实施例中，头显300配置为提供经视差校正的环境的低光透视视图，并在显示器330A、330B同时显示世界锁定全息图和环境的低光透视图像。例如，头显300可以实现同时的世界锁定全息图显示和透视成像显示，以提供混合现实游戏和/或训练体验。
如上所述，头显执行头部追踪以准确显示世界锁定全息图，并同时在混合现实体验的显示器提供透视图像。这存在众多挑战，特别是弱光条件下。图4所示的示例环境将更详细地描述这样的场景。
图4示出了可以包括各种环境的建筑物405的示例。图4所示的建筑物405包括照明环境415和微光环境420。举例来说，照明环境415可具有约10 lux或更大的环境照度，且微光环境420可具有约10 lux或更低的环境照度。
图4同时示出了位于照明环境415内的用户410A和位于微光环境内的用户410B。在图4所示的示例中，用户410A和410B都在操作与头显300相对应的MR系统，并且正在参与混合现实体验。
如上所述，头显300的头部追踪摄像头305实现为可见光摄像头。所以，用户410A的MR系统的头部追踪摄像头305能够捕获视觉追踪数据以检测照明环境415内的姿势。
另外，在一个实施例中，用户410B的MR系统的透视摄像头315能够捕获图像，以提供微光环境420的经视差校正的微光透视视图。但在一个实例中，用户410B的MR系统的头部追踪摄像头305可能无法捕获视觉追踪数据以检测微光环境420内的姿势。例如，在弱光环境420中，头部追踪摄像头305捕获的头部追踪图像可能无法包括足够数量的可识别特征点，以实现关于用户410B的透视和/或微光环境420的精确头部追踪和世界锁定全息图的精确显示。
所以，在一个实施例中，头部追踪摄像头305配置为除可见光谱光外可进一步检测红外（IR）光。图5A和5B说明了配置用于检测IR光的头部追踪摄像头的示例。
传感器530配置为检测至少一定的可见光谱光（例如在约380 nm到约740 nm的范围内）和至少一定的红外光（例如在约750 nm到约1100 nm的范围内）。在一个实施例中，传感器530实现为包括硅、硅锗、磷化铟、砷化铟镓和/或其他材料的传感器。透镜520可用于将接收到的光聚焦到传感器530，并且可包括单个透镜或任意数量的透镜和/或其他光学元件。
图5A示出了头部追踪摄像头305A包括位于透镜520和传感器530之间的双带通滤波器525。双带通滤波器525配置为发射至少一定的可见光谱光和至少一定的红外光。
图5A的头部追踪摄像头305A配置为在透镜520处接收可见光谱光和红外光，并将光指向传感器530和/或带通滤波器525。带通滤波器525配置成将通过透镜520接收到的至少一部分可见光谱光和至少一特定波段的红外光向传感器530发射。然后，传感器530检测接收到的可见光和/或红外光信号，使得头显能够基于可见光和红外光（如果存在）确定用于执行头部追踪的视觉跟踪数据。
图5B示出了头部追踪摄像头305B的实现，其包括透镜520和传感器530，同时省略了双带通滤波器525。在这样的实施方式中，头部追踪摄像头305B配置为在透镜520处接收可见光谱光和红外光，并将光指向传感器530，并且传感器530配置为检测接收到的可见光和/或红外光信号，使得头显能够基于可见光和红外光（如果存在）确定用于执行头部追踪的视觉追踪数据。
名为“Systems and methods for providing mixed-reality experiences under low light conditions”的微软专利申请最初在2020年5月提交，并在日前由美国专利商标局公布。
