微软专利构思用CV摄像头检测红外光，无需配置专门红外微光传感器
利用现有摄像头系统来检测红外光，无需配置专门用于检测红外光的微光传感器
（映维网Nweon 2022年02月12日）微光传感器不仅成本高，而且尺寸大，同时实用性非常有限，因为高暗电流和读取噪点限制了在低光照明环境中的感知能力。然而，微光传感器的关键功能之一是穿透玻璃和探测激光的能力，例如红外激光。所以，如果能够获取一种无需微光传感器即可检测红外激光的优化技术，AR/VR头显厂商或许可以降低系统的成本和优化设备的尺寸、重量或功耗。
在名为“Computer vision cameras for ir light detection”的专利申请中，微软就介绍了一种用于红外光检测的计算机视觉摄像头。
简单来说，通过利用现有摄像头系统来检测红外光，亦即将原本的摄像头打造成可同时检测红外光的多用途计算机视觉摄像头，微软的AR/VR头显将不再需要搭载传统用于检测红外光的微光传感器，从而降低系统成本，并且减小头显的尺寸、重量和功耗。
在一个实施例中，头戴式设备包括至少一个无需红外光滤光片的计算机视觉摄像头。这种计算机视觉传感器能够检测环境中的红外光，包括红外光和红外激光。
头戴式设备配置为使用计算机视觉摄像头生成环境图像。然后将所述图像作为输入馈送到机器学习（ML）算法之中。其中，ML算法识别传感器检测到并记录在图像中的红外激光。然后，头戴式显示器可视地显示包含与检测到的红外激光相对应的信息的通知。
在一个实施例中，以上述方式配置的头戴式设备使用计算机视觉摄像头生成环境的第一图像。头戴式显示器同时利用热成像摄像头生成环境的第二图像。然后，将第一图像作为输入馈送至ML算法。
ML算法配置为识别由计算机视觉摄像头的传感器检测并记录在第一图像中的准直红外光。头戴式显示器重新投影第二图像以补偿用户瞳孔与热成像摄像头之间的视差。
同时，头戴式显示器重新投射已识别的准直红外光，以补偿用户瞳孔和计算机视觉摄像头之间的视差。头戴式显示器进一步将重新投影的准直红外光叠加到重新投影的第二图像，生成叠加图像，然后直观地显示叠加图像。
通过这种方式，头显无需传统的微光传感器即可检测红外激光并投影图像。
图1是头显105所在的示例游戏环境100。在所述场景中，头显105向用户呈现AR场景，例如飞龙的全息图110。另外，穿戴诸如HoloLens这样的头显的用户在这个场景中正在与飞龙搏斗。
在一种情况中，穿戴头戴式显示器105的用户正在使用红外激光发射器对准武器，以便向全息飞龙110开火。
图4示出了用于检测环境中发射的红外激光的示例方法400的流程图。
通常，方法400在弱光环境中执行。例如，当环境的环境光条件处于或低于约5 lux时，可触发方法400。作为参考，与黄昏照度相对应的照度约为10 lux，而与正午阳光照度相对应的照度约为100000 lux。
首先，方法400包括使用至少一台计算机视觉摄像头生成环境图像的action（action405）。
图5是包括真实世界对象和全息图505的MR环境500。这里，环境光照水平510处于或低于5 lux。所以，可以触发图4中的方法400。
在一个实施例中，可以使用不同的传感器来检测MR环境500的照度，以便触发方法400。
MR环境500显示为包括IR激光520。红外激光520使用虚线表示，以表示红外激光520无法通过肉眼感知。在这个MR环境500中，多名用户正在与飞龙搏斗。
根据专利描述的技术，实施例能够使用无需红外光滤光片的多用途或专用计算机视觉摄像头来检测红外激光的存在。
图6是构造成发射可见激光605和/或红外激光610的示例激光发射器600。在一个实施方案中，激光发射器600构造成仅发射红外激光610。
图7是由头显计算机视觉摄像头生成的计算机视觉图像700。注意，计算机视觉图像700包括代表红外激光705的像素，其对应于图5的红外激光520。尽管红外激光520对于肉眼不可见，但红外激光705可在计算机视觉图像700中识别。
在一个实施例中，计算机视觉图像700可以捕捉额外的红外光，例如环境红外光710所示。所述环境红外光710可从环境中的其他光源发射，而红外光激光705则由图6的激光发射器600发射。注意，形成红外激光705的红外光和形成环境红外光710的红外光的强度存在鲜明对比。
通常，形成红外激光705的红外光的强度将大大高于形成环境红外光710的红外光的强度。换句话说，形成红外激光705的红外光相对高于形成环境红外光710的红外光的强度。
回到图4，方法400包括将图像）作为输入馈送到ML算法的action（action 410）。ML算法用于识别计算机视觉摄像头传感器检测到并记录在图像中的红外激光。
任何类型的ML算法、模型或机器学习均可用于action410。另外，可以使用任何数量的训练数据来训练机器学习算法以动态地执行所描述的action。
图8是action 410的图示。具体地，图8示出了图像800作为输入馈送到ML算法805中。ML算法805配置为识别与图像800捕获的场景中可能存在的任何类型红外光相对应的像素。一旦识别出与红外光对应的像素，ML算法805可以进一步分类或确定每个像素是否进一步对应于场景中的特定现象或对象。
例如，ML算法805能够识别红外光像素是否对应于环境红外光，并且进一步能够识别红外光像素是否对应于红外“激光”。作为示例，图8示出了ML算法805如何分析包括在图像800中的红外光像素，并具体地识别什么像素对应于红外光。
然后，可以从结果图像中过滤与红外激光无关的像素，只留下与红外激光相对应的像素，如检测到的红外激光810所示。
以上面描述的方式，系统可以通过所述的计算机视觉摄像头检测到红外激光。换句话说，无需搭载专门用于检测红外激光的专门微光传感器，微软构思的AR/VR头显设备可以通过计算机视觉摄像头来检测红外激光。
相关专利：Microsoft Patent | Computer vision cameras for ir light detection
名为“Computer vision cameras for ir light detection”的专利申请最初在2020年7月提交，并在日前由美国专利商标局公布。
