微软专利提出不同强度分布的IR光来追踪眼球并节省功耗
利用不同强度分布的IR光来追踪眼球
（映维网Nweon 2022年12月22日）眼动追踪越发成为头显的标准配置，各家厂商都在积极探索精确、轻型、紧凑和高成本效益的眼动追踪系统。对于眼动追踪系统，一种常用方法是向用户眼睛发送IR红外光，对眼睛的反射闪烁（例如角膜反射）进行成像，然后使用闪烁的位置来确定角膜相对于摄像头的三维位置和取向。
然而，不同的个体具有不同的眼睛大小、形状和瞳孔间距离（IPD），这意味着与其他个体的眼睛相比，任何给定用户的眼睛最终可能相对于IR发射器和IR摄像头具有可变的位置，从而令眼动追踪系统的设计变得复杂，比如说增加功耗或尺寸。
在名为“Variable intensity distributions for gaze detection assembly”的专利申请，微软提出可以利用不同强度分布的IR光来追踪眼球，从而节省功耗。
概括来说，团队设计的注视检测组件配置为基于在先前帧观察到的闪烁分布，在不同的时间帧期间以不同的强度分布向用户眼睛发射IR光。例如在参考帧期间，多个IR光发射器可以发射具有参考强度分布的IR光，其中所有IR光发射器以默认亮度水平发射IR光。
在参考帧之后，注视检测组件的控制器可以确定在随后的帧期间降低IR光的强度，例如停用一个或多个发射器，和/或降低由一个或更多个发射器发射的IR光的亮度，同时依然以足够的精度输出用户眼睛的注视方向估计。
微软指出，可以用于任何特定用户的强度分布可以在几个帧的过程中进行调整，从而减少与眼动追踪相关的功耗，同时依然保持足够的精度。这将允许减少注视检测组件的尺寸和/或总功耗。
图2示出了用于注视检测组件的示例方法200。
202，在参考帧期间，控制多个IR光发射器以向用户眼睛发射具有参考强度分布的IR光。这在图3有示出。
在图3中，控制器300正在控制多个IR光发射器以向具有参考强度分布的用户眼睛发射IR，其中IR光由远离多个IR发光器中的每一个延伸的虚线箭头表示。这包括由IR光发射器302A和302B分别向用户眼睛306发射的两个IR光304A和304B。
204，在参考帧期间捕获用户眼睛的第一IR图像。第一IR图像描绘了由参考强度分布的IR光的反射导致的用户眼睛上的第一闪烁分布。
图4示出了由IR摄像头捕获的示例IR图像400。如图所示，IR图像描绘了用户眼睛的IR闪烁的第一分布。IR闪烁在图4中由白色圆圈表示，并对应于由用户眼睛上的多个IR光发射器发射的IR光的反射。一个特定的闪烁标记为402A，对应于由IR光发射器发射的IR光。图4中的第一闪烁分布的其他闪烁对应于多个IR光发射器中的其他IR光发射器。
在捕获描绘第一闪烁分布的用户眼睛的IR图像之后，控制器可以配置为至少部分地基于第一闪烁分布来输出用户眼睛的第一注视方向估计。
这在图4中示出，其中控制器已经估计了用户眼睛的注视方向404，并表示为远离瞳孔延伸的虚线箭头。
可以以任何合适的方式来估计用户眼睛的注视方向。在一个实施例中，可以通过将用户眼睛的闪烁分布与用户眼睛的解剖特征进行比较，从而估计用户眼睛的注视方向。例如，可以将用户眼睛的闪烁位置与用户眼睛瞳孔的中心进行比较，比方说通过图像分析检测。通常，基于眼睛表面的闪烁位置，控制器可以确定角膜相对于摄像头的位置和取向。
在一个实施例中，控制器可以另外配置为至少部分地基于第一闪烁分布来输出第一置信参数。第一置信参数可以采取任何合适的值的形式，这个值表示控制器的置信度，即其对眼睛的注视方向的估计对应于用户眼睛的实际注视方向。
作为非限制性示例，第一置信参数可以表示为0和1之间的百分比或值。第一置信参数可至少部分基于观察到的闪烁分布并以任何合适的方式计算。在一个实施例中，置信参数可以与用户眼睛的IR图像中检测到的闪烁的数量成比例，并且可以受闪烁相对于彼此的分布以及用户眼睛的解剖特征的影响。
由多个IR光发射器发射的IR光的“强度分布”既受向用户眼睛发射IR光的IR光发射器的数量的影响，同时又受来自每个单独IR光发射器发出的IR光亮度的影响。所以，根据由一个或多个IR光发射器发射的IR光的强度以及在任何给定帧期间发射IR光的发射器的总数和分布中的一个或两者，两个不同的强度分布可以不同。
返回图2，在206，至少部分地基于第一闪烁分布，控制多个IR光发射器以随后的强度分布向用户眼睛发射IR光。后续强度分布不同于参考强度分布，并且在参考帧之后出现的后续帧期间发射。
在一个实施例中，向用户眼睛发射具有后续强度分布的IR光可能比向用户眼睛发出具有参考强度分布的红外光消耗更少的电功。
控制多个IR发射器以向用户眼睛发射具有后续强度分布的IR光可以包括，相对于参考强度分布减少（或增加）由一个或多个IR光发射器发射的IR光的强度。
图5示出了近眼显示器1以及注视检测组件。控制器控制多个IR光发射器以向用户眼睛发射具有不同于参考强度分布的后续强度分布的光。
在图5的示例中，与参考强度分布相比，控制器已停用多个IR光发射器中的八个。例如，IR光发射器302A仍然向用户眼睛306发射IR光304A，但IR光发射器302不发射IR光作为后续强度分布的一部分。
可以使用任何合适的标准来确定在随后的强度分布中，多个IR光发射器中的哪个应该被停用，和/或多个IR发光器中的哪个应当改变其发射的IR光的亮度。
在一个实施例，控制器可以配置为识别第一闪烁分布的各个闪烁和多个IR光发射器中的各个IR光发射器之间的对应关系，并且去激活或降低不对应于第一闪烁分布闪烁的一个或多个IR发光器的亮度。
例如，在图3中，控制器300可以确定由参考强度分布中的IR光发射器302B发射的IR光304B不对应于图4的IR图像400中描绘的第一闪烁分布的闪烁。因此，当控制多个IR光发射器以发射具有后续强度分布的IR光时，控制器可以停用IR光发射器302B。
应当理解，控制器可以针对随后的强度分布停用一个或多个IR光发射器。类似地，控制器可以避免停用与先前闪烁分布的闪烁不对应的任何IR光发射器。例如，控制器可以识别闪烁分布中在估计注视方向方面相对不太有用的闪烁，并且因此可以停用对应于这种不太有用闪烁的IR光发射器。
类似地，控制器可以确定特定的IR光发射器如果激活，则可能在未来的IR图像中形成闪烁，并有助于在未来帧期间估计用户眼睛的注视方向，所以，可以为一个或多个未来帧激活这样的IR光发射器。
在一个实施例中，可以基于先前IR图像中检测到的多个闪烁中的一个或两个，以及与用户眼睛的之前估计的注视方向相关联的置信度参数，将IR光的强度分布从一帧改变到另一帧。
例如，至少基于检测到IR图像中的最小数量的闪烁（例如六个），控制器可以输出注视方向估计。因此，在检测到IR图像中比所述最小数量更多的闪烁时，控制器可以在下一帧停用或以其他方式降低由一个或多个IR光发射器发射的IR光的亮度。
类似地，控制器可以具有用于注视方向估计的最小置信阈值。在任一情况下，控制器依然可以输出用户眼睛的注视方向的准确估计，同时减少与IR光的发射相关联的功耗。
在一个实施例中，关于是否将发射的IR光的强度分布从一帧改变到另一帧的确定可以至少部分地基于向注视检测组件提供电力的计算设备的当前电池充电水平。
例如，在电池充电水平相对较高的情况下，计算设备可以选择使用能够更精确估计用户眼睛的注视方向的强度分布来发射IR光（代价是功耗增加）。随着设备的电池电荷水平降低，计算设备可以选择使用降低发射的IR光的亮度的强度分布，和/或停用一个或多个IR光发射器，从而节省功率。
作为另一非限制性示例，关于是否改变强度分布的确定可以至少部分地基于计算设备用户的当前活动。例如，如果用户当前正在执行需要精确眼动追踪的活动，则注视检测组件可以改变强度分布以增加发射的IR光的总体强度。类似地，如果用户当前正在执行能够容忍相对较不精确的眼动追踪的活动，则注视检测组件可以降低发射的IR光的总体强度。
相关专利：Microsoft Patent | Variable intensity distributions for gaze detection assembly
名为“Variable intensity distributions for gaze detection assembly”的微软专利申请最初在提交，并在日前由美国专利商标局公布。
