微软专利分享为HoloLens热成像效果提供选择性着色技术
尤其是在军事或安全应用中
（映维网Nweon 2022年06月27日）环境对象的相对温度可以通过热图像来估计。热图像的像素可以对热强度值进行编码，该值表示热摄像头从环境对象接收的热能相对量。计算系统可用于促进微光视觉，和/或在微光环境中识别和突出显示对象。
为了说明这一点，图1A示意性地描绘了夜间的真实世界环境100，包括用户102。真实世界环境还包括各种人体对象104A、104B和104C，以及车辆106和热源108。由于热源发光，所以在真实世界环境中可以轻松看到，但真实世界环境100中的其他对象和特征对人类102而言难以看到或基本不可见。
然而，用户102可以配备头戴式显示设备110。头显可以对真实世界环境进行成像。在一个示例中，头显可以包括一个热摄像头，热摄像头配置为接收和编码真实世界环境对象的热能。
基于来自热摄像头的输入，头显可以生成热图像，其中热图像中的像素值对应于由像素成像的真实世界环境对象的相对温度值。通过在近眼显示器上显示这样的热图像，头显可以允许用户更清楚地看到现实世界环境中难以感知的对象。
如图所示，图1B包括对应于显示图像116的四个单独显示像素的像素值118。在所述示例中，相对较高的像素值对应于较高的相对温度值，并且在显示图像中用较浅的阴影直观地表示。但在其他示例中，相对温度值可以以其他合适的方式在显示图像中直观地表示。
在图1B的示例中，热图像是灰度图像，并且具有相对较高温度的对象以比具有相对较低温度的对象更浅的阴影显示。在实际示例中，可以使用人工颜色梯度对热图像进行着色，以使相对温度的差异更加明显。例如，相对较冷的温度可以用蓝色着色，而较热的温度可以用红色着色。
然而，尽管这种着色可以有效地将用户的注意力吸引到环境中最热的对象上，但从用户的角度来看，最热的对象可能并不总是最有趣或最重要的对象。
例如在图1B中，热源108具有最高的相对温度，所以用最浅的阴影表示。因此，热源108可能比人类104A-104C和车辆106更容易被用户102看到。然而，对于用户102来说，人体和车辆的可见性比热源的可见性更重要，尤其是在军事或安全应用中。
在名为“Object of interest colorization”的专利申请中，微软就介绍了一种针对目标对象的选择性着色技术。
具体地，计算系统可以接收输入图像，并将输入图像的一组输入感兴趣像素分类为对应于具有可识别类别的感兴趣对象。例如，所识别的感兴趣对象可以是人类主体。然后，计算系统可以生成与输入图像相对应的显示图像，显示图像具有与输入兴趣像素集相对应的显示兴趣像素。在显示之前，计算系统可以使用基于感兴趣对象的识别类别选择的颜色对显示感兴趣像素着色。
例如，与检测到的人类相对应的像素可以用相同的颜色着色，而不管人类的温度与周围环境中的其他对象相比如何。通过这种方式，可以保持与热图像相关的低光可见度优势，同时可以在视觉上强调被认为更重要的对象，不管其温度如何。
图2示出了用于图像彩色化的示例方法200。在202，方法200包括从摄像头接收包括多个输入图像像素的输入图像。这参照图3示意性地示出，图3示出了再次描绘真实世界环境100的输入图像300。输入图像可以由包括一个或多个摄像头的任何合适的摄像系统接收。
值得注意的是，“输入图像”可以与随后着色并视觉呈现以供显示的“显示图像”相同。所以，“生成”显示图像可以包括对捕获的输入图像进行着色，和/或对输入图像执行其他后处理。但在其他示例中，显示图像可能不同于输入图像，并且可能由不同的摄像头拍摄。所以，“生成”显示图像可以包括捕捉显示图像，类似于输入图像。
例如，输入图像可以是可见光图像，而显示图像可以基于对不可见光波长敏感的相机的输出生成。如上所述，显示图像可以是由热摄像头捕获的热图像，在这种情况下，不可见光波长可以包括红外（IR）光。因此在各种示例中，输入图像可以是可见光图像而显示图像是热图像，或者输入图像可以是热图像而显示图像是可见光图像。在输入图像和显示图像不同的情况下，可以执行图像注册以对齐输入图像和显示图像，从而减轻由捕捉输入图像和显示图像的摄像头之间的物理分离引起的任何视差效应。
但在任何情况下，输入图像和显示图像都可以由任何合适的摄像头捕捉，如图4中的头显400所示。
无论输入图像的性质如何，同时无论用于捕获输入图像的摄像头类型如何，都可以分析输入图像以检测感兴趣对象。
因此请返回到图2，在204，通过经过机器学习训练的分类器将多个输入图像像素中的一个或多个分类为与感兴趣对象相对应的一组输入感兴趣像素。“输入兴趣像素”是指由分类器识别为描绘感兴趣对象的输入图像的任何像素。可以以任何合适的方式定义输入兴趣像素集，例如定义包围兴趣对象的边界框的像素网格，或标识为描述兴趣对象的不规则像素块。
参考图3示意性地示出了感兴趣对象的识别。如图所示，将机器学习训练分类器302应用于输入图像300，以将输入图像的输入图像像素分类为与感兴趣对象相对应的一组输入兴趣像素。具体而言，分类输入兴趣像素是描绘人类主体104A（本示例中的兴趣对象）的像素，并且兴趣对象的识别类306包括人类。
在一个实施例中，可以在同一输入图像中识别多个感兴趣的对象。换言之，机器学习训练的分类器可以将一个或多个图像像素分类为与第二感兴趣对象相对应的第二组输入感兴趣像素，第二感兴趣对象可以具有与第一感兴趣对象相同的识别类，或者具有不同的识别类。
在图3的示例中，机器学习训练分类器将输入图像的附加图像像素分类为附加的输入兴趣像素集。具体地，人类主体104B同样分类为感兴趣对象，具有与人类主体104A相同的公认类别306。车辆106分类为另一个关注对象，具有包括车辆的不同识别类别304。
任何合适的机器学习和/或人工智能技术都可用于实现经过机器学习训练的分类器。参考图7描述合适的机器学习和/或人工智能技术的示例。通常，经过机器学习训练的分类器可以采用合适的软件模块的形式。其中，软件模块接收一个或多个图像作为输入数据，并将一个或多个图像内的像素集识别为对应于一个或多个感兴趣的对象。
在各种示例中，不同的机器学习训练分类器可用于识别具有不同类别的感兴趣对象，和/或可应用于不同类型的输入图像。另外，专利主要假设机器学习训练的分类器将应用于输入图像。在输入图像和显示图像不同的情况下，当一个或多个机器学习分类器应用于输入图像和显示图像时，可以改进感兴趣对象的检测。换句话说，与仅使用一种图像类型相比，将热图像数据与可见光图像数据结合使用可以改进感兴趣对象的检测。
回到图2，在206，生成包括与多个输入图像像素相对应的多个显示图像像素的显示图像。如上所述，“生成”显示图像可以包括捕获显示图像或从另一个源接收显示图像。生成显示图像还可以包括处理输入图像。在输入图像和显示图像相同的情况下，在捕获输入图像时生成显示图像。图1B的图像116是显示图像的一个示例，并且对应于图3的输入图像300。
如上所述，多个显示图像像素中的每个具有基于由显示像素成像的真实世界环境中的对象的相对温度值确定的像素值。在图1B中，给出了显示图像的四个显示图像像素的示例像素值118。
在输入图像和显示图像是相同图像的情况下，显示图像像素将固有地与输入图像像素相同。然而，在输入图像和显示图像不同的情况下，所述多个显示图像像素依然对应于所述多个输入图像像素，使得所述显示图像像素包括一组或多组显示兴趣像素，所述显示兴趣像素对应于在所述输入图像中识别的任何一组输入兴趣像素。
换句话说，计算系统确定或维护将每个单独的输入图像像素与描述真实世界环境的相同部分的显示图像像素相关联的映射。
图5再现了输入图像300的部分500A以及显示图像116的相应部分500B，每个部分描绘了人类对象104A。计算设备识别图像部分500A和500B之间的多个像素到像素对应502。
这类通信可以任何适当的方式进行识别。如上所述，输入图像和显示图像可以由单独的摄像头（例如摄像头410和412）捕获。在这种情况下，可以执行图像配准以对齐两个图像，并减轻由两个摄像头的位移引起的任何视差效应。
例如，当两个摄像头的相对位置和透视图已知时，每个摄像头捕获的图像的像素可以投影到公共参考帧中。以这种方式，可以确定一个图像（例如图像300）的哪些像素对应于与另一个图像（例如图像116）相同的真实世界特征。
回到图2，在208，使用基于感兴趣对象的识别类别选择的颜色对显示感兴趣像素集进行着色，以给出彩色显示图像。值得注意的是，所选颜色独立于由显示感兴趣像素的像素值给出的感兴趣对象的相对温度值。
这在图6中进行了示出。图6示出了示例彩色显示图像600。具体地，图像600是图6的显示图像116的彩色版本。着色后，人类104A现在显示为白色，而着色前，使用基于人类相对于真实环境中其他物体的相对温度的灰度填充图案来表示。换句话说，假设图6是灰度图，则白色用于指示感兴趣对象的着色。在其他实施例中，可以有益地使用明亮或对比色，以增加感兴趣对象相对于图像其余部分的可见性。
值得注意的是，尽管人类104A在显示图像600中着色，但显示图像的其他元素没有被着色。特别地，热源108依然显示有光填充图案，指示其相对于真实世界环境中的其他对象相对较高的温度。类似地，地面、树木、天空和背景山依然使用与非彩色显示图像中相同的相对较暗填充图案显示。因此，彩色显示图像依然传达关于真实世界环境中对象的相对温度值的信息，同时更多地关注被识别为更重要的感兴趣对象。
在一个实施例中，显示图像106中同时对人类对象104B和车辆106进行彩色化。由于人类104B与第一感兴趣对象（即人类104A）具有相同的识别类别，因此人类104B可以同样显示为白色，以指示其使用相同的选定颜色着色。相比之下，车辆106具有不同的识别类别，因此使用不同的选定颜色进行着色。如图6所示，可以使用棋盘格填充图案。同样，假设图6是灰度图，则灰度填充图案用于表示不同的颜色。
图3的输入图像300描绘了与人类104A和104B不同的人类104C。在这个示例中，人类104C被机器学习训练的分类器302识别为类306。这是因为人类104C有一部分被树木遮挡，这干扰了分类器将其识别为人类。然而，在图1B的显示图像116中，假设每个人类对象具有相似的相对温度值，则人类对象104C以与人类对象104A和104B相同的灰度填充图案示出。
通过在具有相似相对温度值的对象可能对应于相同识别类别的假设下操作，即使部分被遮挡，计算系统都可以将人类104C识别为另一个感兴趣对象。
换言之，计算系统可以将相对温度值在第一组显示感兴趣像素（例如描绘人类对象104A）的阈值相似性内的第二组显示感兴趣像素（例如描绘人类对象104C）识别为对应于第二感兴趣对象。然后，可以适当地对新识别的显示兴趣像素着色。例如在图6中，与描绘人类对象104A和104B的像素一样，可以将对应于人类对象104C的显示兴趣像素着色为白色。
可以使用任何合适的相似性阈值。例如，计算系统可以使用90%的相似性阈值。另外，计算系统可能在识别机器学习训练分类器未识别的新感兴趣对象之前考虑热相似性以外的信息。作为示例，计算系统可以考虑显示像素块的大小和/或形状。
换句话说，如果显示像素块与已经识别的感兴趣对象具有高度的热相似性，但尺寸和/或形状显著不同，则考虑中的显示像素块相对不太可能对应于相同识别类别的感兴趣对象。相比之下，如果尺寸和/或形状相对更相似，则匹配的可能性相对更大。
在一个实施例中，在基于与第一感兴趣对象的热相似性识别第二感兴趣对象之后，与第二感兴趣对象相对应的第二组显示感兴趣像素可用于重新训练机器学习训练的分类器。一般来说，机器学习训练的分类器可以使用有监督或无监督学习对训练数据集进行训练。因此，可以将第二组显示兴趣像素添加到用于训练机器学习训练分类器的训练数据集合中，使得分类器将来更有可能在不依赖热相似性的情况下识别相似的感兴趣对象。
名为“Object of interest coloriza”的微软专利申请最初在2020年12月提交，并在日前由美国专利商标局公布。需要注意的是，这只是一份专利申请，不确定微软是否会或将于何时进行商业化。
