微软专利分享如何用HoloLens进行人体体温监测
与HoloLens监测判断体温相关的三份专利申请
（映维网 2021年12月30日）作为生命体征的五大要素之一，监测人体体温具有重要的医学意义。临床监测的实时体温变化与每日平均体温读数，对于患者的病情诊断与后续的治疗非常关键。另外，体温同时是人类生命健康与否的最直接标志之一。在一个简单的示例中，体温升高或者对应于人体发烧。
随着沉浸式技术的兴起，诸如HoloLens等头显越发普及，并正不断应用于医疗等领域。由于这种设备一般搭载热成像摄像头，深度摄像头和可见光摄像头等多种元器件，所以行业正在思考如何充分地利用这一点。比方说，将热成像摄像头用于体温判断。
日前，美国专利商标局公布了与HoloLens监测判断体温相关的三份专利申请。
1.通过热强度分布的体温估计
相关专利：Microsoft Patent | Body temperature estimation via thermal intensity distribution
体温可通过任何合适的方式进行估算。在一个示例中，可以通过热成像摄像头捕获的热图像来估计判断人体体温。在一个示例中，真实世界环境的热图像可由热摄像头捕获，热图像具有热图像的多个像素中的每个像素的热强度值，其包括与人体对象相对应的像素。在一个示例中，热摄像头可以集成到头戴式显示设备中，或者可以是独立摄像头或单独摄像头系统的组件。热图像的热强度值对真实环境对象发射并由热摄像头接收的热能量进行编码。以这种方式，可以基于热图像中的对象的对应热强度值来估计现实世界环境中对象的相对温度。
但是，热图像的热强度值是编码环境对象的相对温度，而不是绝对温度。另外，热摄像头的性能通常受到诸多因素的影响，包括环境温度。所以，在没有独立参考的情况下，很难或不可能将任何特定的热强度值与温度值关联起来。
在名为“Body temperature estimation via thermal intensity distribution”的专利申请中，微软希望通过热强度分布来估计人体体温。
图2描述了具体的方法。在202，方法200包括经由热摄像头接收真实环境的热图像，热图像包括热图像的多个像素中的每个像素的热强度值。如上所述，热摄像头可以集成到执行方法200的一个或多个步骤（除了图像捕获）的计算设备中。或者，热摄像头可以是独立的摄像头，或者是单独的摄像头系统的组件。
图3示意性地描绘了由用户301穿戴的头戴式显示设备300。头戴式显示设备300包括近眼显示器，其配置为向用户的眼睛显示虚拟图像。近眼显示器上显示的虚拟图像可以采用任何合适的形式。在图3的示例中，头戴式显示设备300正在显示人体对象的估计体温的指示305。
头戴式显示设备300同时包括多个摄像头308、310和312。在一个示例中，摄像头308可以是热摄像头，而摄像头310是可见光摄像头，摄像头312是深度摄像头。
图4示意性地示出了一个示例热图像400。热图像400描绘了示例人类对象402。具体地，热图像400包括多个热强度值404，其对应于热图像的四个单独像素。应当理解，热图像可以包括任何适当数量的像素，并且每个像素可以具有相应的热强度值。
相对较高的热强度值可能对应于成像场景中发射相对较多热能的区域。在图4中，具有相对较高热强度值的热图像400的像素用相对较浅的阴影表示。因此，可以看出，人类主题402的面部没有均匀地发射热能。相反，人脸通常表现出一定程度的温度变化。例如，人眼周围的区域温度通常高于对应于人的鼻子、头发、耳朵等的区域。这反映在图4中，由于相对较高的温度，人脸部分在热图像中具有相对较高的热强度值。
热图像可以采取包括多个热强度值的任何适当数据结构的形式，热强度值反过来编码摄像头从环境中的对象接收的热能。在一个示例中，热强度值可以采用灰度计数的形式，灰度计数可以具有任何合适的值。例如，灰度计数可以表示为0到255之间的范围，或者可以使用不同的合适量化。
回到图2，在204，方法200包括识别人脸在热图像中的位置。在一个示例中，可在经由第二摄像头接收到真实世界环境的第二图像之后识别人脸的位置。例如，第二摄像头可以是可见光照相机，而第二图像可以是可见光图像。该设备随后可确定第二图像的像素与热图像的像素之间的对应关系。例如，在识别人脸在第二图像内的位置之后，可以基于两个图像之间的像素到像素的对应来识别人脸在热图像内的位置。
这在图5中进行了示意性说明。具体地，图5再次包括描绘人类对象402的热图像400。图5同时包括第二图像500，其同样描绘了人类对象402。计算设备识别图像500和图像400之间的多个像素到像素对应502。这类通信可采用任何合适的方式进行识别。热图像和第二图像可以由具有不同位置和透视图的不同摄像头捕获。当两个摄像头的相对位置和透视图已知时，每个摄像头捕获的图像像素可以投影到公共参考帧中。以这种方式，可以确定一个图像（例如图像500）的哪些像素对应于与另一个图像（例如图像400）相同的真实世界特征。因此，当识别出图像500中人脸位置504A时，计算设备可以确定图像400的哪些像素对应于热图像中面部的相同位置504B。
在其他实施例中，可以任何合适的方式识别人脸。例如，可以使用任何合适的人脸识别算法或技术。例如，一种方法可以包括使用经过机器学习训练的分类器来识别预测为对应于人脸的图像中的像素。
回到图2，在206，方法200包括确定多个人脸的热强度值的分布。这参照图6示意性地示出，图6示出了另一示例热图像600。所述热图像包括多个不同的人类对象602A-602D。在本例中，为了举例说明，他们似乎具有均匀的热强度一样。应理解，这仅是为了解释说明，在实际场景中，人体不同部分具有可变的热强度值。
在图6中，识别人脸位置，并使用与人脸相对应的热强度值来确定热强度分布604。在一个示例中，包括在热强度分布中的热强度值可对应于每个对象的最高强度像素。这通常对应于每个人类的眼睛或眼睛周围区域。
在图6的示例中，多个人体对象中的每一个在同一热图像600中可见。在其他示例中，用于确定热强度分布的多个人体对象中的每一个都可以在不同的热图像中识别。以这种方式使用热强度分布作为参考是基于大多数（如果不是全部）人体具有正常体温的假设。所以，如果任何人体被识别为具有显著高于或低于其他人体的热强度，则可将其作为异常值从热强度分布中排除。一旦确定热强度分布，可假定分布内的平均热强度对应于平均体温。因此，人体的任何未来热强度值显著高于平均值都可能表明发烧。
继续图2，在212，方法200包括基于一个或多个测试热强度值的比较和多个人脸的热强度值的分布来报告测试人体受试者的体温指示，如图7所示。
具体而言，图7显示了测试用户702脸部的示例热图像700。计算设备识别对应于测试人脸的一个或多个像素的一个或多个测试热强度值704。可以将测试热强度值704与热强度分布706进行比较，热强度分布706可根据上文讨论的多个人脸确定。基于这一比较，计算设备输出测试人体的估计体温708。这可以通过任何合适的方式实现。
一个示例中，如上所述，热强度分布内的平均热强度可假定对应于平均人体温度。可通过比较人体的测试热强度值与平均热强度来确定人体体温的指示。如果测试热强度值在平均热强度的阈值相似性范围内，则可假定试验人体的体温大致正常。相反，如果测试热强度值显著高于平均热强度，则可确定试验人体可能发烧，并可将其报告为人体体温的指示。
或者，计算设备可以估计用户的绝对、数字体温。例如，热摄像头可能具有已知的灵敏度，其可以根据与已知温度变化相对应的已知热强度变化来表示。
通过上述方式，系统可以根据热强度分布来估计人体体温。
但是，一系列的因素可能会影响系统估计人体体温，例如人体与摄像头的距离，以及人体肤色。在下面两份专利中，微软则分别针对人体与摄像头距离，以及人体肤色这两个问题提出了相应的校正方案。
2.用于体温估计的距离校正
相关专利：Microsoft Patent | Distance correction for body temperature estimation
计算设备可用于估计和报告人体体温。图1示出了包括两名用户102A和102B的真实环境100。在环境100中，穿戴头戴式显示设备106的用户104具有视场108。通过近眼显示器，头戴式显示设备显示估计体温的指示112A和112B。
人体体温的指示可以采用任何合适的形式。在图1的示例中，可以以数字形式来表示人体的估计体温。人体体温可通过任何合适的方式进行估算。可以理解的是，人体内部的体温在身体的不同部位有所不同。对于微软专利，其描述的“体温”主要是指通常用于医疗诊断目的的体温。
在一个示例中，真实世界环境的热图像可由热摄像头捕获，热图像具有热图像的多个像素中的每个像素的热强度值，包括与可能在环境中的人体对象相对应的像素。在一个示例中，热摄像头可以集成到头戴式显示设备中，或者可以是独立摄像头或单独摄像头系统的组件，例如摄像头系统114。热图像的热强度值对由真实环境对象发射并由热摄像头接收的热能量进行编码。以这种方式，可以基于热图像中的对应热强度值来估计现实世界环境中对象的相对温度。
然而，热摄像头在特定温度下接收的热能量可能取决于对象与热摄像头之间的距离，尤其是当摄像头缺少布置在其它光学元件之前的辐射计透镜时。即使在使用辐射测量透镜，人体和热摄像头之间的距离依然可能会影响被摄体在热图像中的表示方式。例如，随着热摄像头和人体对象之间的距离增加，热图像的相对较少像素将用于表示人体对象的相对较大部分。因此，人类的高强度区域可与相对较低强度部分进行平均或二次取样，从而产生用户具有整体较低热强度的错觉。
在名为“Distance correction for body temperature estimation”的专利申请中，微软介绍了一种用于人体体温估计的距离校正技术。
在图1中，用户102A和102B与摄像头的距离不同，因此将呈现一种依赖于距离的强度衰减。例如，这会使在体温升高（例如与发烧一致）的热图像中识别判断用户变得困难。即使两个用户的核心体温相同，因为两个不同的用户与热摄像头的距离不同，在热图像中的记录方式也不同。类似地，当两个距离热摄像头不同的用户的体温显著不同时（例如一个发烧，一个正常），系统都可能很难辨别。
这份发明主要介绍了基于人类主体与热摄像头的识别距离来估计人体温度的技术。具体地，在识别热图像内的人脸位置之后，接收人类主体远离摄像头的距离指示。然后基于距离，将距离校正因子应用于对应人脸的一个或多个热强度值。接下来，根据距离校正的热强度值，报告人体的体温指示。以这种方式，系统可以更准确地估计人体的体温。
图2示出了用于估计体温的示例方法200。方法200可在具有任何适当形状因子和硬件配置的任何适当计算系统实施。方法200的步骤可以分布在任意数量的不同计算设备之间。
另外，方法200主要针对单个人体进行描述。但应当理解，方法200的步骤可以针对任意数量的人类主体执行。换言之，方法200的每个步骤可针对两个或多个人类受试者同时执行或顺序执行。在方法200应用于两个或多个人体对象的情况下，每个人体对象与热摄像头的距离可能不同。
在202，方法200包括经由热摄像头接收真实环境的热图像，热图像包括热图像的多个像素中的每个像素的热强度值。如上所述，热摄像头可以集成到执行方法200的一个或多个步骤（除了图像捕获）的计算设备中。或者，热摄像头可以是独立的摄像头，或者是单独的摄像头系统的组件。例如，图1示意性地描绘了示例性相机系统114，其可以至少包括热摄像头。摄像头系统114同时可以包括利用任何技术的其他类型摄像头。作为示例，摄像头系统114可以包括热摄像头、可见光摄像头和/或深度摄像头。
热摄像头捕捉真实环境的“热图像”。图4示意性地示出了一个示例热图像400。热图像400描绘了示例人类对象402。具体地，热图像400包括多个热强度值404，其对应于热图像的四个单独像素。应当理解，热图像可以包括任何适当数量的像素，并且每个像素可以具有相应的热强度值。
相对较高的热强度值可能对应于成像场景中发射相对较多热能的区域。在图4中，具有相对较高热强度值的热图像400的像素用相对较浅的阴影表示。因此，可以看出，人类主题402的面部没有均匀地发射热能。相反，人脸通常表现出一定程度的温度变化。例如，人眼周围的区域温度通常高于对应于人的鼻子、头发、耳朵等的区域。这反映在图4中，由于相对较高的温度，人脸部分在热图像中具有相对较高的热强度值。
热图像可以采取包括多个热强度值的任何适当数据结构的形式，热强度值反过来编码摄像头从环境中的对象接收的热能。在一个示例中，热强度值可以采用灰度计数的形式，灰度计数可以具有任何合适的值。例如，灰度计数可以表示为0到255之间的范围，或者可以使用不同的合适量化。
回到图2，在204，方法200包括识别人脸在热图像中的位置。在一个示例中，可在经由第二摄像头接收到真实世界环境的第二图像之后识别人脸的位置。例如，第二摄像头可以是可见光照相机，而第二图像可以是可见光图像。该设备随后可确定第二图像的像素与热图像的像素之间的对应关系。例如，在识别人脸在第二图像内的位置之后，可以基于两个图像之间的像素到像素的对应来识别人脸在热图像内的位置。
这在图5中进行了示意性说明。具体地，图5再次包括描绘人类对象402的热图像400。图5同时包括第二图像500，其同样描绘了人类对象402。计算设备识别图像500和图像400之间的多个像素到像素对应502。这类通信可采用任何合适的方式进行识别。热图像和第二图像可以由具有不同位置和透视图的不同摄像头捕获。当两个摄像头的相对位置和透视图已知时，每个摄像头捕获的图像像素可以投影到公共参考帧中。以这种方式，可以确定一个图像（例如图像500）的哪些像素对应于与另一个图像（例如图像400）相同的真实世界特征。因此，当识别出图像500中人脸位置504A时，计算设备可以确定图像400的哪些像素对应于热图像中面部的相同位置504B。
在其他实施例中，可以任何合适的方式识别人脸。例如，可以使用任何合适的人脸识别算法或技术。例如，一种方法可以包括使用经过机器学习训练的分类器来识别预测为对应于人脸的图像中的像素。
回到图2，在206，方法200包括接收人类主体和热摄像头之间的距离的指示。如前所述，当人类主体和热摄像头之间的距离增加时，人类主体在热图像中可能看起来具有较低的热强度。这可能是由于热摄像头接收较少热能的事实，或者是因为相对较少的像素编码人体的较大部分，因此高强度区域与低强度区域平均。例如，图1中的人类主体102A和102B与摄像头的距离不同。因此，即使两人的核心体温相同，对象102B在热图像中的热强度可能比对象102A小。为了更准确地估计人体对象的体温，因此可以首先确定人体与热摄像头的距离。
可通过任何合适的方式确定人体与热摄像头之间的距离。在一个示例中，所述距离可基于深度摄像头收集的深度信息来确定。深度摄像头可以采取任何合适的形式，包括飞行时间深度摄像头和结构光深度摄像头。在其他示例中，可以在没有深度摄像头的情况下确定热摄像头和人类对象之间的距离。例如，可以使用一对立体可见光摄像头。当存在两个或多名用户时，可以通过比较各个用户头部的相对大小来估计相对距离。或者，可以使用单个可见光摄像头，并与经过机器学习训练的距离估计算法结合使用。作为另一示例，热摄像头和人类对象之间的距离可以由人类用户手动指定。
回到图2，在208处，方法200包括基于距离，将距离校正因子应用于对应于人脸的一个或多个像素的一个或多个热强度值，以给出一个或多个距离校正热强度值，如6A和6B所示。
计算设备识别与人脸对应的一个或多个像素的一个或多个热强度值602A。在一个示例中，应用距离校正因子的一个或多个热强度值可对应于描绘人脸的一个或多个最高强度像素。在大多数情况下，所述像素可对应于人类对象眼睛周围的皮肤和/或眼睛本身，如图6A所示。但在其他示例中，距离校正系数可应用于被识别为对应于人类主体的任何部分的任何热强度值。
继续图6A，将第一距离校正系数604A应用于第一热强度值602A，以给出距离校正热强度值606A。“距离修正系数”可以采用任何合适的形式。通常，应用距离校正因子将包括将热强度值向上或向下缩放一定量，这取决于人体和热摄像头之间的距离。例如，当人类主体相对远离热摄像头时，对应于人脸的热强度值可放大，使得其与相对靠近热摄像头的人类主体更一致。或者，对应于相对靠近热摄像头的人体的热强度值可以缩小，使得它们与相对远离热摄像头的人类主体更一致。
图6B示意性地示出了与第二人类601B的面部相对应的不同热图像600B。值得注意的是，第二人类主体601B比第一人类主体601A距离热摄像头更远。因此，在将一个或多个第二热强度值602B识别为对应于人类对象601B的面部之后，应用第二距离校正因子604B，以给出一个或多个第二距离校正热强度值606B。由于第一和第二人类主体的距离不同，因此第一和距离校正系数不同。因此，对应于第一和第二人类受试者的第一和第二热强度值可以基于第一和第二距离校正因子以不同的量缩放。在一个示例中，可以缩放一个人的热强度值，而不缩放另一个人的热强度值。
通过上述方式，可以根据距离而来校正热强度值，并更为准确地报告人体的体温指示。
3. 用于体温估计的肤色校正
相关专利：Microsoft Patent | Skin tone correction for body temperature estimation
人体在特定温度下发出的热能量取决于对象的热发射率值。对于人体，人体肤色通常会影响人体在特定体温下发出的热能量，因为不同的肤色对应不同的热发射率值。例如在图1中，对象102A和102B具有不同的肤色，因此将具有不同的热发射率值。据估计，皮肤相对较浅的受试者的热发射率约为0.95，而皮肤相对较深的受试者的热发射率约为0.98。例如，这可能使得难以在体温升高的热图像中判断人体情况，因为即使具有相同的核心体温，具有不同肤色的两个不同的用户在热图像中的记录可能不同。同样，当两个肤色不同的人体的体温显著不同时（例如一个发烧，一个正常），系统都可能很难辨别。例如，如果不考虑肤色，两个在热图像中似乎具有相同热强度的用户可能具有显著不同的体温。例如，一个用户可能有明显的发烧，而另一个用户则是正常。
名为“Skin tone correction for body temperature estimation”的专利申请主要描述了用于体温估计的肤色校正系统和方法。简单来说，在识别热图像中的人脸位置之后，可以识别人脸肤色。然后，基于所识别的肤色，将肤色校正因子应用于对应于人脸的一个或多个热强度值。基于肤色校正的热强度值可以报告人体的体温指示。以这种方式，可以更准确地估计人体的体温。
如图2所示，在204，方法200包括识别人脸在热图像中的位置。在一个示例中，可在经由第二摄像头接收到真实世界环境的第二图像之后识别人脸的位置。例如，第二摄像头可以是可见光照相机，而第二图像可以是可见光图像。该设备随后可确定第二图像的像素与热图像的像素之间的对应关系。例如，在识别人脸在第二图像内的位置之后，可以基于两个图像之间的像素到像素的对应来识别人脸在热图像内的位置。
这在图5中进行了示意性说明。具体地，图5再次包括描绘人类对象402的热图像400。图5同时包括第二图像500，其同样描绘了人类对象402。计算设备识别图像500和图像400之间的多个像素到像素对应502。这类通信可采用任何合适的方式进行识别。热图像和第二图像可以由具有不同位置和透视图的不同摄像头捕获。当两个摄像头的相对位置和透视图已知时，每个摄像头捕获的图像像素可以投影到公共参考帧中。以这种方式，可以确定一个图像（例如图像500）的哪些像素对应于与另一个图像（例如图像400）相同的真实世界特征。因此，当识别出图像500中人脸位置504A时，计算设备可以确定图像400的哪些像素对应于热图像中面部的相同位置504B。
在其他实施例中，可以任何合适的方式识别人脸。例如，可以使用任何合适的人脸识别算法或技术。例如，一种方法可以包括使用经过机器学习训练的分类器来识别预测为对应于人脸的图像中的像素。
继续图2，在206，方法200包括识别第一人脸的肤色。如上所述，对象在任何给定温度下发出的热能量取决于对象的热强度值。对于人类，不同的肤色对应不同的热发射率值。例如，图1中的人类受试者102A和102B具有不同的肤色，因此即使两人具有相同的核心体温，其都将发射不同量的热能。为了更准确地估计人类的体温，可以首先识别人类的肤色。
肤色可通过任何合适的方式识别。在一个示例中，可以基于如上所述的第二图像（例如可见光图像）中人脸的颜色来识别人类对象的肤色。例如，简单地返回到图5，可以基于对应于图像500内人脸的位置504A的像素颜色来识别人类402的脸部颜色。另外，或者可选地，可以从使用不可见波长的图像来识别人类肤色，例如由深度摄像头捕获的图像。作为另一示例，人类对象的肤色可由人类用户手动指定。
回到图2，在208处，方法200包括基于所识别的肤色，将肤色校正因子应用于对应于人脸的一个或多个像素的一个或多个热强度值，以给出一个或多个经色调校正的热强度值，如图6A和6B所示。
计算设备识别对应于人脸的一个或多个像素的一个或多个热强度值602A。在一个示例中，应用肤色校正因子的一个或多个热强度值可对应于描绘人脸的一个或多个最高强度像素。在大多数情况下，所述像素可对应于对象的眼睛和/或对象眼睛周围的皮肤，如图6A所示。
继续图6A，将第一肤色校正因子604A应用于第一热强度值602A以给出色调校正的热强度值606A。“肤色校正系数”可以采用任何合适的形式。在一个示例中，可以通过将一个或多个热强度值向上或向下缩放基于所识别的肤色确定的量来应用肤色校正因子。
例如，已估计浅色人类皮肤的热发射率值约为0.95，而深色皮肤的热发射率约为0.98。因此，对于给定的体温，肤色较深的人体在热图像中可能比肤色较浅的人体具有相对较高的热强度值。因此，应用肤色校正因子可能包括将肤色较浅的受试者的热强度值向上缩放，使其与肤色较深的受试者更一致。或者，深色皮肤的人体的热强度值可以缩小，以便它们与浅色皮肤的人体受试者更一致。作为另一个例子，所有人类的热强度值可按可变量放大，以给出与肤色中性热发射率值一致的热强度值。
在一个实施方案中，可针对不同的特定肤色预先确定肤色校正系数。例如，计算设备可以维护查找表或类似的数据结构，其中查找表或类似数据结构定义了用于多个不同肤色的多个肤色校正因子。或者，可以基于特定人类的特定识别肤色动态地计算肤色校正因子。
图6B示意性地示出了与第二人类对象601B的面部相对应的不同热图像600B。值得注意的是，尽管从热图像上看不明显，但第一和第二用户601A和601B具有不同的肤色。因此，在一个或多个第二热强度值602B被识别为对应于人类受试者601B的面部之后，应用第二肤色校正因子604B，给出一个或多个第二色调校正热强度值606B。因为第一和第二用户的肤色不同，所以第一和第二肤色校正因子不同。因此，对应于第一和第二用户的第一和第二热强度值可以基于第一和第二肤色校正因子以不同的量缩放。
如上所述，系统可以通过应用肤色校正来更为准确地判断和报告人体体温。
上述三份微软专利申请最初都在2020年6月提交，并在日前由美国专利商标局公布。
