微软专利提出改善AR/VR眼动追踪的环境光反射或镜面光干扰
提供没有环境光反射或镜面光干扰的晰图像
（映维网Nweon 2023年01月12日）对于AR/VR头显的眼动追踪，从用户眼睛反射的光可以是镜面反射或散射的。镜面光的强度或大小可能会令电子器件信号饱和。在名为“Eye tracking imager with gated detectors receiving a specular reflection”的专利申请中，微软表示可以通过一种眼动追踪成像器来减轻信号饱和。
概括来说，可以从光学检测器生成检测信号、评估检测信号的信号电平、以及选择性地选通已饱和的检测信号。剩余的散射信号可以组合以获得组合信号，而组合信号可以转换成数字信号而不令电子器件饱和。然后，可以对其进行处理以形成眼睛图像。
微软指出，专利描述的技术可以提供没有环境光反射或镜面光干扰的清晰图像。
图1示出了示例性眼动追踪成像器系统100的示意图。系统100包括数字转换器101、处理器170和存储器180。
数字化仪101被配置为从物体103接收一个或多个反射光束，10–1至10-N。反射光束（10–1至10-N）可对应于物体的直接反射或物体的间接反射。间接反射可以由其他光学设备提供。在下文描述的各种示例中，作为反射源的对象可以对应于用户的眼睛。
数字转换器103可用于捕获来自对象（用户眼睛）的镜面反射和散射反射，并生成电响应。电响应可以是数字信号51，然后可以由处理器170处理以生成图像。处理器170可以经由通信总线72与存储器180交互。
在一个示例中，处理器170从数字信号51捕获图像数据，其中所捕获的图像数据被时间标记并存储在存储器180中。由于反射镜的扫描角度对应于特定的像素位置，因此捕获的图像数据可以基于时间与x，y像素位置相关。因此，可以通过基于时间戳将捕获的图像数据与对应的x，y位置相关来形成图像。
数字转换器103可用于根据从数字转换器103输出的数字信号51生成用户眼睛的初始图像。另外，可以从数字信号51生成跨越时间段的多个眼睛图像。每个单独图像的数字信号151对应于用户眼睛在特定时间点的位置。可以评估每个图像之间的差异，以确定用户的眼睛如何从一个图像移动到下一个图像，从而追踪注视方向和/或眼睛位置随时间的移动。
图1的数字转换器101包括光学滤波器110、光学检测器120、信号组合器130、模拟滤波器140、模数转换器（ADC）150和控制器电路160。
滤光器110位于光学检测器120和反射光束10–1至10-N之间。响应于反射光束12–1至12-N，光学检测器120配置为生成模拟检测信号12–1到12-N。信号组合器130配置为接收模拟检测信号12–1至12-N并生成组合的模拟信号31，其对应于模拟检测信号12-1至12-N中的一个或多个的总和。
组合的模拟信号31由模拟滤波器140接收，模拟滤波器140响应地生成滤波的模拟信号41。滤波后的模拟信号41由模数转换器150接收，模数转换器150响应地生成数字信号51。
光学滤波器110是可用于对光学检测器120接收的光学信号进行波长或空间滤波的可选装置。该滤波器可以配置为滤除波长与入射光束不同的光。
信号组合器130配置为从光学检测器120接收电信号12-1至12-N，并将信号组合成单个模拟输出、组合模拟信号31。假设非饱和信号包含有用信息，而饱和信号包含较少有用信息，则信号组合器130包括倾向于非饱和信号而非饱和信号的电路和/或逻辑。
这样，信号组合器的电路和/或逻辑配置为评估相邻的检测信号对，以确定相邻的信号对中的任一个是否已经饱和，并促进非饱和信号与其他信号求和。
在一个示例中，信号组合器130可以向处理器170提供一个或多个数字饱和检测信号32，其中数字信号32指示光学检测器120中是否发生饱和。处理器170可以捕获数字饱和检测信号32并将饱和数据存储在存储器180中。饱和度数据还可以包括可以与图像生成的其他特征相关联的时间戳。
ADC 150是模数转换器，其配置为经由来自信号组合器130的组合模拟信号31对来自光学检测器120的电响应进行采样。ADC 150可以以预定频率对组合的模拟信号31进行采样。如前所述，可选的模拟滤波器140可用于在ADC采样之前对光学传感器的电响应进行滤波，从而降低信噪比并改善ADC的输出。
另外，增益块可用于在ADC 150转换之前对信号进行增益缩放，以改善ADC的量化和/或线性。所描述的增益块可以与滤波器分离、包括在滤波器中或合并在ADC 150中。在一个示例中，可以采用多个光学检测器120，每个光学检测器具有对应的信号组合器130和ADC 150。
镜面反射的强度高于漫反射/散射反射的红外光的强度。在图1中，强度由加权线的变化厚度表示。最细的线条强度最低，而最粗的线条强度最高。
如前所述，对象（例如用户眼睛）的入射激光束将导致镜面反射和散射反射，而所述反射可以被数字转换器103捕获以产生电响应。
然而，来自用户角膜的反射很可能导致大镜面反射，其中很大百分比的入射激光功率将从对象反射并入射到光学检测器120上。这种大镜面反射可能导致光学检测器120和/或信号处理电子器件的不期望饱和。例如，由镜面反射产生的信号可以超过光学传感器或信号处理电子器件的动态范围，这导致图像出现饱和区域。饱和区域的信息基本丢失，因为饱和区域没有提供信息。
这里描述的信号组合器130配置为评估光学检测器120输出的输出，并选通可能使信号电子器件饱和的检测器信号。如本文将描述，信号组合器130包括选择逻辑，其自动保持由于镜面反射而被选通的区域中的强度水平。图像数据由处理器170捕获从ADC 150输出的数字信号31，并将采样集合存储在存储器180中。
除了检测之外，可以利用关于光学检测器120的饱和信息来辅助图像捕获和闪烁的检测。图像中闪烁的位置可以与观察到光谱反射时反射镜的位置相关。
例如，当光学检测器120在特定时间饱和时，可以识别光谱反射，所述特定时间被捕获为数字饱和检测信号32以及捕获的时间戳；并且扫描器的镜位置同时提供角度信息。
对于所述示例，图像可以通过两种方式形成：第一图像可以由数字信号51的集合和ADC 150的时间戳形成；第二图像可以由时间戳数字饱和检测信号32的集合形成。第一图像可以对应于非饱和图像的像素信息的集合（例如来自信号51）；而第二图像可以对应于饱和检测的集合（例如来自信号32）。时间戳饱和检测信号因此可以对应于掩模。两个图像的组合可用于密切追踪眼睛位置。
图2示出了另一示例成像器系统200的示意图。系统200包括光学检测器电路120–1和120–2、饱和检测器230–1和230–2、路径选择器240和240–2、加法器250和ADC 260。
光检测器电路120–1和120–2是光检测器电路，每个光检测器电路被配置为响应入射光生成模拟检测信号12–1和12–2中的相应一个。光学检测器电路120–1和120–2可以是图1中的光学检测器120的一部分，其中每个单独的光学检测器电路120-1和120-2可以对应于阵列中的一个光电检测器电路。
光学检测器电路120–1和120–2可任选地各自包括放大器210–1和210–2。取决于具体实施方式，放大器可以是电压放大器或电流放大器。因此，光检测器电路120–1和120–2中的光电检测器设备的输出可以对应于耦合到放大器210–1和210–2之一的相应输入的电信号（21–1、21–2）。
所以，光学检测器电路120–1的电气21–1耦合到放大器210–1的输入；并且光检测器电路120–2的电信号21–2耦合到放大器210–2的输入。
放大器120–1和120–2中的每一个都可以从光学检测器电路120–1与120–2中的相应光电检测器接收电信号；并生成与相应电信号成比例的模拟检测信号12–1和12–2。因此，模拟检测信号12-1与电信号21-1成比例，而模拟检测信号12-2与电信信号21-2成比例。
在一个示例中，电信号对应于从光电检测器输出的电流，而模拟检测信号对应于电压，其中跨阻抗放大器将光电检测器电流转换为模拟电压。
模拟检测信号12–1耦合到第一饱和检测器230–1的输入、第一路径选择器240–1的第一输入（路径0）和第二路径选择器240-2的第二输入（路径1）。模拟检测信号12–2耦合到第二饱和检测器230–2的输入、第一路径选择器240–1的第二输入（路径1）和第二路径选择器240-2的第一输入（路径0）。
第一饱和检测器230–1配置为生成第一选择器信号23–1，其具有基于与模拟检测信号12–1相关联的信号电平的逻辑值1或0。
当模拟检测信号12–1的幅度（或值）低于阈值（例如VREF1）时，饱和检测器230–1将第一选择器信号23–1设置为第一值（例如0）。
类似地，当模拟检测信号12–1的幅度（或值）高于阈值（例如VREF1）时，饱和检测器230–1将第一选择器信号23–1设置为第二值（例如1）。
第一路径选择器240–1将根据第一选择器信号23–1的值为信号12–1或信号12–2选择路径。当第一选择器信号23–1为第一值时，路径选择器240–1将模拟检测信号12–1作为信号24–1耦合到加法器250的第一输入端；否则，路径选择器240–1将模拟检测信号12–2作为信号24–1耦合到加法器250的第一输入。
第二饱和检测器230–1被配置为生成第二选择器信号23–2，其具有基于与模拟检测信号12–2相关联的信号电平的逻辑值1或0。当模拟检测信号12–2的幅度（或值）低于阈值（例如VREF2）时，饱和检测器230–2将第二选择器信号23–2设置为第一值（例如0）。
类似地，当模拟检测信号12–2的幅度（或值）高于阈值（例如VREF2）时，饱和检测器230–2将第二选择器信号23–2设置为第二值（例如1）。第二路径选择器240–2将根据第二选择器信号23–2的值为信号12–1或12–2选择路径。
当第二选择器信号23–2为第一值时，路径选择器240–2将模拟检测信号12–2作为信号24–2耦合到加法器250的第二输入端；否则，路径选择器240–2将模拟检测信号12–1作为信号24–2耦合到加法器250的第二输入。
信号23-1和23-2也分别对应于信号S1和S2，并且可以输出到处理器（例如，图1的处理器170）以帮助形成可以用于眼睛跟踪或其他用途的地图或图像；类似于图1的信号32。
加法器250是一个模拟信号加法器，其配置为将信号24-1和24-2组合成组合的模拟信号25。信号输入到ADC 260。ADC将组合的模拟信号25转换成数字信号26，其可由处理器进一步处理。
图3示出了又一示例成像器系统300的局部视图。系统300基本上类似于图2的系统200，并增加了示例饱和检测器电路330–1和330–2以及控制器电路310。
饱和检测器电路330-1包括耦合到模拟检测信号12-1或A1的第一输入、耦合到VREF1的第二输入和耦合到30-1或S1的输出。饱和检测器电路330–1和330–2替换了图2中的饱和检测器230–1和230–2，因此输出30–1和30–2基本上对应于图2中的23–1和23–2。
图3的示例饱和检测器电路330–1和330–2显示为比较器电路。例如，饱和检测器电路330–1配置为将模拟检测信号12–1或A1与VREF1进行比较，并响应于比较断言选择器信号30–1或S1。
类似地，饱和检测器电路330–2被配置为将模拟检测信号12–2或A2与VREF2进行比较，并响应于该比较断言选择器信号30–2或S2。信号30-1和30-2（S1和S2）可以被输出到处理器（例如，图1的处理器170）；类似于图1的信号32。
控制器电路310配置为通过调节VREF1和VREF2来调节每个比较器的阈值。
图4示出了另一示例成像器系统400的示意图。系统400包括光学检测器电路120–1和120–2饱和检测器230–1和230–2、路径选择器240–1和240–2以及加法器250。它们基本类似于图2的系统200。系统400同时包括示例性延迟电路410–1和410–2以及示例性控制器420。
图4的延迟电路410–1插入在图2的第一光检测器电路120–1和第一路径选择器240–1之间。因此，模拟检测信号12–1或A1耦合到延迟电路410–1的输入，并且延迟电路410-1的输出信号41–1或A1D耦合到第一路径选择器240–1的第一输入（路径0）和第二路径选择器240-2的第二输入（路径1）。
图4的延迟电路410–2插入在图2的第二光检测器电路120–2和第二路径选择器240–2之间。因此，模拟检测信号12–2或A2耦合到延迟电路410–2的输入，并且延迟电路410-2的输出信号41–2或A2D耦合到第一路径选择器240–1的第二输入（路径1）和第二路径选择器240-2的第一输入（路径0）。
在操作上，延迟电路410–1和410–2被配置为在饱和检测器评估信号之前延迟路径选择器的输入信号的变化。这保证了饱和检测器将在路径选择器将其选择的路径耦合到加法器250的输入之前选择路径。
例如，如果饱和检测器230–2通过模拟检测信号12–2或A2超过阈值信号（例如，A2＞VREF2）检测到镜面反射，则路径选择器240–2将在模拟检测信号12-2或A2到达延迟410–2的输出信号41–2之前从路径0变为路径1，从而防止信号转换耦合到加法器B2的输入。
响应于来自控制器电路420的一个或多个控制信号D1或D2，延迟电路310–1和410–2可以可选地调整延迟量。可能需要调整延迟时间，以确保在没有任何过度延迟的情况下进行适当的性能。此外，一个方向上的延迟时间（例如，从0->1转变）可以不同于另一方向上的时间（例如从1->0转变）。
如放大器210–1和210–2所示，光学检测器电路120–1和120–2中可能包含放大器。放大器可以可选地响应于来自控制器电路420的一个或多个控制信号G1或G2来调整增益量。通过校准每个光学检测器电路120–1和120–2的信号增益，可能需要调整增益以确保适当的性能。
图5示出了例如图4的系统400的示例性眼睛跟踪成像器系统中的示例性信号500的曲线图。示例图显示了信号A1、A1D、A2、A2D、B1、S1和S2。
如图所示，来自饱和检测器的选择信号S1和S2最初值较低，信号B1最初对应于信号A1，信号A1是光学检测器电路120–1的输出12–1。在时间t0，信号A1超过阈值电压（A1＞VREF1），这表明信号A1由于镜面反射而饱和。然而，此时信号A2低于饱和检测阈值（A22），这表明信号A2没有饱和。
在从时间t0起的小延迟时间（x）之后，选择器信号S1从低信号（逻辑0）转变为高信号（逻辑1），第一路径选择器240-1将所选路径从路径0改变为路径1。一旦选择了路径1，光检测器电路120–2的输出端12–2或A2通过路径选择器240–1耦合到加法器150的输入端的信号B1。
然而，信号A1和A2被延迟电路410–1和410–2延迟了第一个量（即，Delay1＞x，t1＝t0+Delay1），因此，到路径1的切换路径路径0在时间t1之前完成，因此到加法器150的输入B1没有达到饱和，并且保持了信号完整性。
在时间t2，信号A1下降到阈值电压VREF1以下用于饱和检测，并且在另一延迟（y）之后，选择器信号S1从高信号（逻辑1）转变回低信号（逻辑0）。在该示例中，阈值跨越（A11）之后的延迟再次长于将路径从路径1切换回路径0的延迟（即，延迟2＞y，并且t3＝t2+延迟2）。
图6示出了又一示例成像器系统600的局部视图。系统600包括光学检测器电路120–1和饱和检测器230–1；它们基本上类似于针对图1至图4描述的系统。然而，系统600示出了具有N个光学检测器电路210–1:N（每个显示为具有可选放大器210–1:N），以及N个饱和检测器230–1:N的阵列实现；并产生模拟检测信号12–1:N和N个选择信号S1:N。
图6同时包括信号组合器610，其包括解码器逻辑611、2-1多路复用器612的阵列和加法器613。2-1复用器612中的每一个配置为从两个不同的光学检测器电路接收一对输入，如图2中所示。所有多路复用器的输出由加法器613组合。
多路复用器612中的每一个的第一输入耦合到光学检测器电路120–1:N中的相应一个的输出。
例如，第一光学检测器电路120-1的输出耦合到多路复用器612中的第一个的第一输入，第二光学检测器电路120–2的输出耦合至多路复用器614中的第二个的第一输出，并且第N光学检测器电路1201-N的输出耦合耦合到多路转换器612中第N个的第一个输入。
多路复用器612中的每一个的第二输入耦合到其他光学检测器电路中的一个。例如，第一多路复用器的第二输入可以对应于光学检测器电路120–2:N之一的输出；而第二多路复用器的第二输入可以对应于光学检测器电路120–1、120–3:N之一的输出。
多路复用器的第一和第二输入的选择可以优选地是合理接近的光学检测器电路，因为相邻光学检测器之间的信号电平在总体幅度上可能更接近。
考虑到扫描极不可能发生一次以上的镜面反射，相邻对应该能够提供改进的信号电平，因为镜面反射将被饱和检测器拒绝。解码器逻辑从饱和检测器S1:N接收各种输入，并为每个多路复用器612产生控制信号。因此，来自每个多路复用器的路径将基于优选低于相应饱和检测器的饱和阈值的信号来选择，从而促进来自光学检测器电路（120–1:N）的非饱和信号由加法器613求和。
加法器613的输出可以再次耦合到ADC电路，或者可选地耦合到滤波器620和/或增益级630。如前所述，可以利用来自加法器的输出信号的增益和/或滤波来改善ADC的信号的信噪比。
通过上述方式，专利描述的眼动追踪成像器可以减轻饱和。
相关专利：Microsoft Patent | Eye tracking imager with gated detectors receiving a specular reflection
名为“Eye tracking imager with gated detectors receiving a specular reflection”的微软专利申请最初在2021年6月提交，并在日前由美国专利商标局公布。
