微软专利分享多组件、小尺寸的AR/VR眼动追踪解决方案
眼动追踪
（映维网Nweon 2023年04月27日）在名为“Eye tracking head mounted display device”的专利申请中，微软介绍了一种眼动追踪解决方案。其中，头显的视觉组件选择分布式设计，例如采用数量众多，同时尺寸更小的光源和检测器。例如，通过使用多对分布式组件方式来创建闪烁的照明和检测，LED和检测器可以足够小（例如小于100um），从而对人眼不可见。
图4-6示出了与眼动追踪相关的示例头显细节。眼动追踪对一系列的头显而言已是必不可少的组件。它可以用来理解用户与环境的交互，并且可以用作输入设备。另外，眼动追踪可以用来提高图像质量。
现有业内存在众多眼动追踪技术。现有最常见的解决方案之一是沿着视觉组件布置一环IR LED。IR LED表现得像点光源，并向用户的角膜发射光。角膜发出的光反射到摄像头。通过对LED的反射进行成像，可以确定角膜（以及眼睛）的位置。
角膜上的LED反射效果出色。但这种传统技术有一个主要的缺点。当摄像头和LED都在用户面前时，传统系统的性能会更好。当然，由于头显要求用户眼睛和头显光学器件之间不应该有任何遮挡，所以这十分具有挑战性。
传统的方法是将ET摄像头尽可能靠近鼻子，同时将LED接到显示光学器件（波导或折射光学器件）的边缘。这种传统的实现性能不错。然而，随着显示光学器件尺寸的增加（用于支持更大视场）和显示器变得更薄，LED移离眉毛和脸颊太近，而且摄像头需要以非常倾斜的角度看到反射。
在微软的发明中，团队提出视觉组件选择分布式设计，例如采用数量众多，同时尺寸更小的光源和检测器。例如，通过使用多对分布式组件方式来创建闪烁的照明和检测，LED和检测器可以足够小（例如小于100um），从而对人眼不可见。
在图4中，头显的视觉组件包括电层。其中一个电子部件在用户的视场（FoV）中定位在眼睛的前方。在这种情况下，电子部件是IR LED 402，其定向为直接朝向用户的眼睛发射IR光。这种配置可以实现高效率，因为所有的IR光都指向视窗。
图5示出了头显的替代配置，其中电子部件表现为位于用户的视场的IR LED 402。IR LED 402定向为发射远离用户眼睛的IR光。在这种情况下，光学层包括部分反射镜（例如热反射镜）502形式的光学部件。
部分反射镜502可以将IR光反射回用户的眼睛。部分反射镜502具有的光学形状模仿从比视觉组件到眼睛更远的虚拟点源504发射的IR光反射回用户眼睛。因此，部分反射镜502的使用允许头显定位为更靠近用户的眼睛，同时依然生成期望的眼动追踪IR图案。
所示的配置将IR光引导离开眼睛，并将来自部分反射镜的IR光反射向眼睛。尽管这种间接路线可能会降低效率（因为反射器的效率可能低于100%），但它允许创建更方便用于的虚拟源。另外，可以使用多个透镜来创建相同的虚拟源，但由多个发射器形成。这一方面如图6所示。
图6示出了一个基于图5的头显替代配置。部分反射镜502（1）和502（2）配置为与它们各自的IR LED 402（1）、402（2）一起操作，以共同创建朝向用户眼睛延伸的IR图像。
例如，每个IR LED和热镜对（例如ET照明模块）可以照明眼视窗的一部分。换言之，部分反射镜502（1）和502（2）共同创建看起来是从单个点源（例如虚拟点源504）发出的IR图像。
与用单个IR LED 402所能实现的相比，单个图像可以提供更完整的反射，并因此提供更多关于眼睛的较大部分的信息。
可替换地，两个IR照明模块可以引导到视窗的相同部分，以在所述部分产生比单独使用任一IR照明模块所能实现的更高强度的IR图像。在任何一种情况下，不需要单个ET照明模块来单独照明整个视窗。
通过将各个照明模块聚焦在视窗的各个区域，使得整个视窗可以被所需强度的IR光共同覆盖，同时可以实现更高的光强度。
可以以各种方式控制LED以实现各种功能。例如，所有LED可以同时通电和断电并用于眼动追踪照明，从而实现更高的IR强度。在其他情况下，可以单独控制LED。例如，LED可以按顺序开启和关闭。
图7A-7D共同示出了与上述发明概念相关的细节。图7A示出了另一示例性头显。图7B-7D示出了头显发射和感测的IR光的表示。
在所述配置中，多个（例如三个）IR LED 402定位在眼动追踪模块中。IR LED 402在x和y参考方向上的尺寸D可以是从10微米到200微米的任何位置，因此对用户来说是不可见。IR LED 402可以如间隙G所指示的那样紧密地定位在一起，例如相隔几十微米到几百微米。
多个IR LED 402（1）-402（3）可以顺序地或同时地接通。当依次接通时，对IR传感器（702和/或IR LED的空间响应的需求较小。当同时打开时，对IR传感器和IR LED的时间响应有更多的需求。
在一个配置中，在采样周期或周期期间，每个IR LED被激活一个子周期。可以对感测到的IR反射进行集体分析，以提供比以其他方式获得的更准确的眼睛信息。
在所述示例中，三个IR LED 402形成一个简单的三角形。通过在IR传感器702处检测三角形的形状，可以确定头显设备的其他参数。例如，参数可以包括角膜表面704和ET模块302之间的距离（例如眼睛和电子部件116之间的距离）。
所述距离信息同时可以提供关于眼睛/角膜的局部斜率的信息。尽管一个ET照明模块208本身可能不允许IR传感器702提供准确的距离、位置和/或斜率信息，但与多个ET感测模块一起分布和分配的多个ET照明模组可以提供由IR传感器702感测的信息。
图7B示出了来自IR LED 402（1）、402（2）和402（3）的顺序IR发射706的表示。图7C示出了由IR传感器702捕获的IR发射706的IR检测708的表示。图7D示出了叠加在IR发射706上的IR检测708的表示。
差异或增量710示出了形状、位置和角度取向的变化。所述变化可以由用户的眼睛引起，并且可以更高分辨率提供关于眼睛位置、形状等的有用信息。
用于获得这种更高精度的眼睛信息的一个示例技术可以利用三个顺序的IR检测708。即便单个图像的分辨率相对较低，系统都可以对检测到的图像进行去卷积以产生高分辨率图像。
去卷积可以用于改善低质量光学系统的调制传递函数（MTF）/点扩展函数（PSF）。一种这样的技术可以使用多个IR检测器而不是单个检测器。由多个检测器控制和感测的多个LED的组合将提供关于眼睛的更准确的信息。
一个这样的示例多检测器是象限检测器。象限探测器有四个有源光电二极管区域，其定义了四个象限。四个有源光电二极管区域可以感测四个象限中的对象的质心。象限检波器工作在高频，所以象限检测器可以用于检测快速的眼球运动，例如扫视。
上述相同或类似的方法可以用于减少对IR传感器702的要求。例如，通过使用例如具有10×10像素的IR传感器和（12×12）像素的IR LED阵列，可以将分辨率提高到大约20×120像素，以在眼睛位置获得更高的分辨率。
图8示出了另一示例头显，其示出了IR传感器702可以经由部分反射镜502感测视窗的一部分。在所示的配置中，部分反射镜502可以用作IR传感器的透镜。IR传感器702可以是单个IR传感器或多个IR传感器。例如，探测器可以是IR光电探测器阵列。使用协同操作的多个IR传感器可以提供比单个传感器更高分辨率的数据。
所示的IR传感器702可以感测视窗的单独部分，而其他IR传感器感测视窗的其他部分。图9示出了这一方面。
在图9中，两个IR传感器702示出为具有两个部分反射镜502之。可以调整各个部分反射镜502的方位，使得每个IR传感器和部分反射镜对感测视窗的不同部分。这种取向的差异导致IR传感器702（1）接收角度一和角度二的IR光，并且IR传感器702（2）接收角度三和角度四的IR光。可以通过集成来自各种IR传感器的数据来感测整个视窗。
图10示出了另一示例实现，其示出了使用分布式IR LED 402和IR传感器702同时实现亮瞳成像和暗瞳成像。
在所述配置中，多个IR LED可以发射在反射时由IR传感器702中感测到的光。在所示的时间点，IR LED 402（3）发射的光从用户的视网膜反射回来，由IR传感器702（3）感测，并且可以与亮瞳技术一致地进行处理。
同时，来自IR LED 402（1）的IR光可以由IR传感器702（1）感测并根据暗瞳技术进行处理。最后，来自IR LED 402（5）的IR光由IR传感器702（5）感测，并且可以与来自IR传感器702的信息一起进行集体处理。
来自分布在视觉组件104的IR LED和传感器的发射和检测组合可以确保在整个用户体验中实现精确的眼动追踪。
图11示出了另一示例性头显。在这种情况下，IR LED 402和IR传感器702在z参考方向上堆叠在电层108上。在所述配置中，IR LED 402（1）向眼睛114发射光。从眼睛反射回来的IR光被部分反射镜502（1）聚焦到IR传感器702（1）上。
类似地，IR LED 402（2）正在向眼睛114发射光。从眼睛反射回来的IR光被部分反射镜502（2）聚焦到IR传感器702（2）上。与没有电子部件的电层的区域相比，电子部件可能更倾向于阻挡来自环境的环境可见光。因此，如图11所示，堆叠电子部件倾向于增加无障碍区域与潜在或稍微有障碍的区域的比率。
以与IR LED 402可以向用户引导IR照明相同的方式，IR传感器702可以配置为对视窗的特定区域成像。由于光学的简单性（ET相机中的单个反射器与多个折射元件），IR传感器的视窗可以相对较小以减少像差。
如上所述，每个IR传感器702的视场可以小于定位在壳体上的传统传感器。这不是一个问题，因为来自多个传感器的数据可以用来共同捕获整个视窗。
在一个实施例中，可以将IR LED 402和IR传感器702的组合在单个小透镜中。这种配置可以最小化由于LED和传感器占据相同空间而引起的遮挡。由于源和探测器将在同一点，因此它也可能在几何结构方面带来一档的优势。
相关专利：Microsoft Patent | Eye tracking head mounted display device
名为“Eye tracking head mounted display device”的微软专利申请最初在 2021年9月提交，并在日前由美国专利商标局公布。
