微软专利分享：开发精确、紧凑、高效的AR/VR眼动追踪系统
眼动追踪
（映维网Nweon 2022年12月08日）眼动追踪越发成为头显的标准配置，各家厂商都在积极探索精确、轻型、紧凑和高成本效益的眼动追踪系统。但开发眼动追踪系统存在一系列的技术和实际问题。
眼动追踪系统可能会增加重量，涉及大型光学部件，并且需要额外的处理能力。对于特定的眼动追踪算法，只要眼动追踪照明源位于眼睛正前方，就可能有助于提高精度、鲁棒性和/或速度。
然而，直接照明会阻挡用户的视线。这通常不可取，特别是在透明显示器的情况下。克服这种视线障碍的一种方法是使用一个或多个部分反射镜将照明重定向到眼睛。然而，这种方法依赖于潜在的大型光学元件。
这是工程师们经常需要权衡的目标。针对这个问题， 微软在名为“Eye tracker illumination through a waveguide”的专利申请提出了一种相关的眼动追踪配置。
如图3A所示的现实世界中，来自遥远物体310到达用户115眼睛的光线305几乎平行。如图3B所示，处于光学无限远（正常视力约为6米或更远）的真实物体的光线320在到达眼睛时完全平行。来自附近真实世界物体330的光线325则以不同的、发散角更大的角度到达眼睛。
在一个实施例中，可以使用各种方法渲染具有适当发散角的虚拟图像，从而在目标焦距处显示。例如在图4中，负（凹面）透镜405可以使从传统耦合器元件接收到的准直/平行光线450发散，以产生全息虚拟图像。如图所示，从负透镜射入用户眼睛115的光线是非平行和发散的，并使用眼睛的内部透镜会聚在视网膜上形成图像，如参考数字420所示。
微软提出的技术主要是用于虚拟物体聚焦的负透镜，使用于虚拟图像的像素能够重新用作眼动追踪的虚拟闪烁源。有利的是，虚拟闪烁源可以位于用户眼前的视场之内，但不会遮挡用户对真实世界的视图。
图5显示了显示设备105的简化侧视图。在本示例中，显示设备改装为提供可由眼动追踪器使用的照明。显示设备包括至少一个配置为传播可见光的部分透明波导505。
波导505便于成像仪和眼睛之间的光传输。一个或多个波导可用于近眼显示系统，因为它们透明，并且通常体积小、重量轻。
在一个实施例中，波导505使用全内反射（TIR）原理工作，以便光可以在各种光学元件之间耦合。
用户可以通过波导505查看显示设备105真实世界一侧的真实世界对象。对于显示设备视场的虚拟部分，与虚拟图像相关联的光束510由成像仪515提供。光束通过输入耦合器520耦合到波导，并以全内反射的形式通过波导传播。
图像光通过耦合器525从波导中耦出。透明波导和耦合元件的组合可以称为混合现实光学组合器，因为它可以将真实世界和虚拟世界的图像组合成单个显示器。
负透镜530位于波导530的眼侧（眼侧由图5中的参考数字514表示）。负透镜作用于与用户眼睛115相关联的整个视窗范围内，从而从准直光线540中产生发散光线535。当操作成像仪515投射耦合到波导505中的虚拟图像时，输出发散光线以预定焦距d呈现虚拟图像。
例如，如果负透镜配置有-0.5屈光度的透光率，则d等于2米。为了确保用户对真实世界的看法不受负透镜的干扰，共轭正（即凸）透镜605位于波导的真实世界一侧，以补偿负透镜对真实世界一侧的影响，如图6所示。
在一个实施例中，负透镜的功能可能由分立的独立光学元件提供。在其他实施例中，显示设备中的一个或多个元件可以配置为将负透镜作为附加功能。例如，可以使用任何合适的技术将负透镜功能集成到显示设备的输出耦合器和/或波导中。
可以使用不同数量的透光率来提供位于其他距离的焦平面，以满足特定应用的要求。负透镜530的透光率不影响沿波导505在TIR中传播的第零衍射级数，而仅影响衍射出耦合场。另外，透明场不受负透镜的影响，因为被输出耦合器525衍射的透明场的任何部分都被波导中的TIR捕获，因此不会传输到用户眼睛115。
如图6所示，信号生成器610与成像仪515操作耦合，使其能够选择性地照亮显示设备中的像素，以提供作为虚拟闪烁源的照明。
在一个实现中，信号生成器可能是一个独立的组件，而在其他实现中，信号生成器可能完全或部分并入成像仪本身。信号发生器向成像仪提供像素照明指令，从而在预定时间控制其功能和操作。
例如，信号生成器可以指示成像仪根据需要提供眼动追踪器照明，以便以最小化对显示设备上虚拟图像渲染的影响的方式实现稳健的眼动追踪。
因此，可以通过执行非当前操作来同步执行虚拟图像投影和眼动追踪器照明的成像仪操作，其中一个操作在另一个操作开始之前完成。成像仪515通常以某个标称帧或刷新率渲染虚拟图像。因此，信号生成器610可以指示成像仪5150跨多帧为显示设备105的单个渲染帧提供眼动追踪器照明。
可以理解，信号生成器610因此可以驱动成像仪515为虚拟闪烁源和其他目的提供动态自适应照明。照明的空间、颜色和时间特性可以变化，以满足特定应用的需要，例如基于每个设备或每个用户。有利的是，虚拟照明源位于头显用户的视场中，与虚拟图像处于同一焦平面，而不会通过显示设备阻挡用户对真实世界的观察。
图9显示了使用IR源905通过波导照明的眼动追踪器的实施方案。在使用多个波导的实施方案中，IR光路可以体现在其自己的离散波导中。
或者对于RGB实现，红外光路可以使用波导作为红色组件，这可以在可用角度范围内提供令人满意的性能。在使用单个反射波导的实现中，对红外波长敏感的反射结构可用于输入耦合和/或输出耦合功能。
例如，红外源905可以包括激光器或LED，并与信号发生器610操作耦合。信号发生器可以与眼动追踪器协调操作，以驱动红外源为一个或多个像素提供红外照明，并作为眼动追踪器615的虚拟闪烁源。
如图9所示，一个或多个红外光束910由输入耦合器520耦合到波导505，并在TIR中向下传播。输出耦合器525输出准直红外光线915，负透镜530将其导入发散光线920，从而在焦点F处将虚拟红外闪烁源定位在用户眼前。
图10是用于操作近眼光学显示系统以在视场内显示虚拟图像的流程图1000。
步骤1005，在近眼光学显示系统中操作成像仪以产生光像素。步骤1010，提供了一种波导，其具有配置为耦合来自成像仪的光像素的输入耦合器，以及配置为将视场内的光像素输出耦合到近眼光学显示系统的用户的输出耦合器。
步骤1015，有选择地操作成像仪，以生成虚拟图像的光像素。其中，光像素从视场内的波导耦合出来，用于向用户呈现虚拟图像。步骤1020，选择性地操作成像仪，以生成从视场内的波导耦合出来的光像素，从而用于照明。例如，像素可用于照亮用户眼睛的特定特征，例如用于生物识别和/或认证的虹膜。
例如，近眼光学显示系统可纳入至头显设备。虹膜扫描可用于识别佩戴头显的特定用户。例如，适当的用户首选项、设置等可以自动加载到设备中。在身份验证场景中，当根据虹膜扫描结果确定用户是设备的非授权用户时，可以完全或部分禁用头显设备。
相关专利：Microsoft Patent | Eye tracker illumination through a waveguide
名为“Eye tracker illumination through a waveguide”的微软专利申请最初在2021年3月提交，并在日前由美国专利商标局公布。
