微软专利介绍用于AR/VR设备热成像的选择性着色技术
热成像技术
（映维网Nweon 2022年04月06日）行业存在一系列在弱光条件下对场景进行成像的技术，例如热成像技术。热成像摄像头一般配置为在图像传感器的每个像素未知感测红外辐射强度。然后，可以对获得的强度进行处理，以将强度转换为可显示的灰度值或颜色值。然而，灰度和彩色图像可能会给对象识别带来困难。例如，传统的灰度/着色技术可能无法以有意义的方式突出显示对象。全彩图像则可能显得杂乱或稀疏，没有明显的感兴趣对象。所以，在识别感兴趣的对象之前，可能需要相对较长的时间来检查整个图像。
另外，低对比度场景中的感兴趣对象可能与其他对象具有类似的颜色（或类似的灰度），这使得用户难以区分感兴趣对象和背景。例如，在一个相对较热的房间里，一个人的颜色可能与房间里的其他物体的颜色相似。类似地，标准灰度图像可能以深灰色或黑色像素显示感兴趣的冷对象，这使得用户难以识别该对象。
在名为“Selective colorization of thermal imaging”的专利申请中，微软就介绍了一种用于热成像的选择性着色技术。
选择性着色的图像可以通过着色感兴趣的潜在对象，同时不强调图像的其余部分，从而以更有意义的方式向用户呈现信息。在一个示例中，通过在热图像内创建像素的直方图，然后基于应用于直方图的一个或多个阈值像素强度等级对像素子集着色，以对图像进行选择性着色。结果，场景中相对较热和/或较冷的对象可以被选择性地着色，或者任何其他合适的像素强度级别范围可以被着色。由此产生的选择性彩色图像看起来将不那么杂乱，并且能够强调潜在的感兴趣对象。
在一个实施例中，头显包括热成像摄像头和微光摄像头。头显同时包配置为处理来自前述摄像头的图像，并在近眼显示器显示处理后的图像的处理电路。图2显示了包括热成像子系统202和显示器230的示例计算系统200框图。热成像子系统202可以包括任何合适的热成像硬件，例如微测辐射热计212、红外摄像头214和/或配置为感测红外光的其他合适的热成像组件。类似地，微光成像子系统204可以包括任何合适的微光成像硬件，例如光电倍增管218、CMOS检测器220和/或具有增益222的CMOS检测器。
如上所述，计算系统200可配置为选择性地对图像着色。在一个示例中，计算系统200可以至少基于对图像的直方图应用阈值来执行图像的选择性着色。图3示出了一个示例直方图300。在这里，直方图300的每个单元对应于强度范围，每个单元的像素计数表示单元中有多少像素落在强度范围内。
由于像素的强度级别可以表示与像素位置对应的场景中对象的表观温度，所以强度级别可以与温度相关。在图3中，像素“温度”随着直方图300上从左到右的像素强度水平而增加。在感兴趣对象是场景中最热或最冷对象的示例中，可以通过对直方图应用适当的阈值来选择要着色的像素子集。
在图3的示例中，基于高于阈值强度水平306的像素来确定要着色的像素304的子集。不在子集304内的像素可以不着色。在热图像中，像素强度对应于温度，所以较亮的像素代表相对较热的对象，而较暗的像素代表相对较冷的对象。因此，图3中要着色的像素304的子集对应于图像的相对“更热”像素。在其他示例中，阈值强度水平可以指定上限，并且像素子集可以包括图像中相对“冷”的像素。
应用于直方图的阈值可以以任何合适的方式确定。在一个示例中，可以选择阈值强度水平，使得特定百分比的像素被着色，例如最亮的5%或10%的像素。另外，可基于像素计数选择阈值强度等级306。例如，可以在直方图中识别全局最大值308，并用于设置阈值强度等级306。在处理图像序列的示例中，可以针对每个图像自动调整阈值条件。
在所描述的示例中，阈值强度等级306是下限阈值条件，像素304的子集对应于强度等级等于或大于阈值强度等级304的像素。在其他示例中，可以使用上限阈值条件，或两个或多个阈值条件的组合。例如，可以选择两个或多个阈值强度级别来确定要着色的像素的两个不同子集。像素的第一子集可以包括具有满足第一阈值条件的强度水平的像素。类似地，要着色的像素的第二子集可以包括具有满足第二阈值条件的强度级别的像素。作为更具体的示例，第一子集可以包括与场景中“最冷”的对象集相对应的像素，而第二子集包括与场景中“最热”的对象集相对应的像素。
选择性着色图像320表示已基于直方图300选择性着色的示例图像。区域322和324可对应于像素304的子集内的像素。区域322、324内的像素被着色，而所述区域外的像素不被着色。可以使用任何合适的着色方案。例如，可以使用单一色调或不同色调的组合。
因此，每个像素的应用色调可以相同，或者可以基于像素的强度级别。另外，像素饱和度和/或值可与强度等级相关联。所以与区域324中的像素相比，着色区域322中的像素可以包括不同的色调、饱和度和/或值。
在应用两个或多个阈值来定义两个或多个像素子集的示例中，可以使用相同或不同的色调、相同或不同的颜色映射或任何其他合适的着色方案对两个或多个像素子集进行着色。例如，区域326中的像素可以通过应用第一颜色映射来着色，而区域322、324中的像素可以通过应用第二颜色映射来着色。
在同时获取热图像和微光图像的示例中，在对热图像着色之后，可将选择性着色的图像与微光图像融合以创建融合图像。融合图像可以包括选择性彩色热图像和微光图像的重整化合成。
在一个示例中，可以使用各种对比度增强算法来增加热图像的动态范围、保留细节、锐化图像或以其他方式增强对比度。在一个示例中，局部区域对比度增强（LACE）算法可以应用于热图像。在一个示例中，直方图均衡化算法可用作LACE算法，LACE算法可以增强局部对比度，同时保持全局对比度水平。这种算法可能有助于提高小尺度边缘的可见性，并使图像锐化。
在一个示例中，可以使用其他图像处理技术来增加热图像的动态范围、保留细节、锐化图像或以其他方式增强对比度，包括图像压缩、数据压缩、伽马校正、平滑、低/高通滤波以及两种或两种以上技术的组合。可以对热图像、微光图像或两个图像执行图像处理。可以在创建直方图之前和/或之后处理热图像。
在一个示例中，可以通过对图像应用分类器功能来识别场景中的对象。这种分类器功能可应用于场景的热图像、微光图像、融合图像和/或选择性彩色图像中的一个或多个。在这样的示例中，可以基于分类器功能的输出应用图像的选择性着色。
例如，如果通过分类器功能识别的对象的至少一些像素被确定为彩色化，则可以对所述对象进行彩色化。作为另一个例子，通过分类器识别的对象可以基于已经分类而选择性地着色，而不考虑直方图。在其他示例中，如果所识别对象的足够部分像素满足阈值条件并将被着色，则对所识别对象进行着色。
图4示出的流程图说明了至少基于热图像中像素的直方图对图像进行选择性着色的示例方法400。在402，方法400包括接收热图像，热图像的每个像素包括强度等级。例如，可以从热成像子系统202接收热图像。在404，方法400包括通过按强度级别对像素进行分块来生成直方图。在406，所述方法包括对热图像应用局部对比度增强算法，从而修改像素的强度级别，以及通过按修改的强度级别对像素进行组合来创建直方图。
继续到408，方法400包括至少基于直方图确定要着色的像素子集。阈值条件可用于确定像素子集，由此对满足阈值条件的任何像素进行着色。可以使用单个阈值条件或多个阈值条件。在410，进一步基于应用于直方图的用户选择的强度阈值来确定要着色的像素子集。
在412，方法400包括对像素子集着色以获得选择性着色的图像。在414，所述方法包括通过将颜色映射应用于像素子集来着色像素。在其他示例中，可以应用单一色调。在其他示例中，可以应用灰度增强。在另一些示例中，不同的着色技术可应用于不同的阈值条件。
在416，方法400包括输出选择性彩色图像。在一个示例中，所述方法包括将选择性彩色图像输出到同一设备的显示器，例如显示子系统230。在其他示例中，所述方法可包括经由通信系统232将选择性着色图像输出到远程计算系统。在418，输出选择性彩色图像包括接收微光图像、融合微光图像和选择性彩色图像以产生融合图像，以及输出融合图像。可经由微光成像系统204接收微光图像。
在420，所述方法还可包括对热图像和选择性着色图像中的一个或多个应用分类器功能，以识别感兴趣的对象。如上所述，在各种示例中，可以在热图像的选择性着色之前或之后应用分类器功能。
如上所述，选择性着色可以基于热图像和微光图像的计算组合。计算组合可对应于差、和、积、商、布尔比较或任何其他合适的计算组合。
图5显示了示例热图像和微光图像的示意图，并说明了基于两幅图像中边缘之间的差异识别选择性着色的特征。示例场景500是任意场景。图像510是表示通过对热图像应用边缘查找算法生成的场景500的示例滤波热图像。图像510包括区域512a、512b和512c，每个区域对应于不同的温度。在所示的示例中，已将边缘查找算法应用于图像510，以定位与不同温度区域之间的边界相对应的边缘514a、514b。
图像510和图像520通过差分进行计算组合，以产生差分图像530。差分图像530显示过滤图像之间的差异。基于图像510中的边缘514a和514b与图像520中的边缘524a、524b和524c之间的差异，差分图像530可以与微光图像和热图像中的一个或两个合成，以突出图像中的一个或两个的差异，从而形成选择性彩色图像。
延伸阅读：Microsoft Patent | Selective colorization of thermal imaging
名为“Selective colorization of thermal imaging”的微软专利申请最初在2020年9月提交，并在日前由美国专利商标局公布。
