微软专利为AR眼镜各种眼部追踪提出透镜阵列摄像头组合
包含透镜阵列的摄像头
（映维网Nweon 2023年11月01日）眼成像摄像头可用于智能眼镜和其他头戴式设备，并支持眼动追踪，虹膜识别和眼睛定位等目的。眼动追踪可作为用户输入方式，虹膜识别可用于用户身份识别和认证。眼睛定位可用于显示校准。眼睛成像摄像头可以利用包括一个或多个透镜的折射透镜系统将眼睛的图像聚焦到图像传感器。但由于透镜系统的焦距，眼成像摄像头可能会十分笨重，难以集成到近眼设备。
减少眼睛成像摄像头体积的一个潜在解决方案是利用紧密排列在一起的多个小型摄像头。来自多个摄像头的图像可以通过处理进行组合。所以在名为“Camera comprising lens array”的专利申请中，微软提出了一种相关的摄像头系统。
所述摄像头使用包含多个透镜的透镜阵列，每个透镜配置为将眼睛的图像聚焦在图像传感器的不同区域，而在图像传感器形成的所得图像包括子图像阵列。
与具有传统透镜系统的眼成像摄像头相比，透镜阵列可以允许更短的焦距，从而提供缩小的摄像头尺寸。尺寸的减小可能支持眼成像摄像头更容易集成到更小的近眼设备中。
在一个实施例中，透镜阵列的透镜可包括超材料透镜和/或超表面透镜。超材料透镜可以具有薄而扁平的外形，所以更容易容纳到更小的外形设备中。另外，与单个折射透镜阵列相比，超材料透镜提供更严格的轴视公差，允许可操纵的视场，并且可以适应广泛的optical power。
图2示出近眼设备。近眼设备包括眼动追踪摄像头200A、200B和虹膜识别摄像头202A、202B。
眼动追踪摄像头200A、200B和虹膜成像摄像头202A、202B位于近眼设备的鼻梁附近。如上所述，每个摄像头200A、200B、202A、202B可以利用提供比传统透镜系统更短的焦距和更紧凑的外形的透镜阵列，从而帮助眼成像摄像头更容易地适应所描述的形状参数。
图3A和3B示示出了包括传统透镜系统的眼成像摄像头与包括透镜阵列的眼成像摄像头的尺寸比较。
包括传统透镜系统的照摄像头如图3A的302所示。透镜系统302包括一个或多个垂直堆叠的透镜，并在图像传感器304形成单个图像。透镜系统302具有相对较长的焦距，占用相对较多的空间。另外，透镜系统302的物理尺寸相对不那么紧凑。
包含透镜阵列的照摄像头则如图3B的306所示。在摄像头306中，透镜阵列308的每个透镜309A、309B将相应的图像聚焦到图像传感器310的不同区域。如上所述，透镜309A、309B可以在公差范围内对齐，并且每个透镜可以产生类似的图像。
然而，图像之间的轻微角度变化允许从每个图像中提取更高频率混叠的亚像素信息，所以与传统的单个全透镜相比，这可以恢复一定的分辨率损失。
在其他示例中，透镜阵列308可以将视场分解为较小的单个视场。所述视场略有重叠，使得每个单独透镜309A, 309B的有效分辨率性能接近传统的单个全透镜。
透镜阵列308的透镜309A、309B可具有比透镜系统302更短的工作焦距，所以适合于更紧凑的形状参数。同样，透镜阵列308可以具有比透镜系统302相对更紧凑的尺寸，从而提供额外的空间节省。在所描述的实施例中，透镜阵列可以包括2×2透镜阵列，其中两个在图3的侧视图中可见。所述透镜阵列在图像传感器形成子图像2×2阵列。在其他实施例中，透镜阵列308可具有任何其他合适数量的透镜。
图4示出了眼成像摄像头系统400的框图。所述系统包括配置为照亮眼睛404的照明级402和配置为将眼睛404的多个图像聚焦到图像传感器408的透镜阵列406。
如上所述，其中透镜阵列406的透镜的内径彼此对齐，透镜阵列406中的每个透镜可以将几乎相同的图像聚焦到图像传感器408的不同区域。在各种示例中，图像传感器408的不同区域可以至少部分重叠，或者可以完全分离。
在每一帧图像数据中捕获的由透镜阵列406聚焦在图像传感器的多个不同部分的多个图像可以以任何合适的方式处理。图像处理表示在410。
在一个实施例中，可能需要单个输出图像。在这样的示例中，单个图像可以在412进行计算组合以形成单个组合图像。相同或类似视场的多个不同图像的使用可允许所述组合图像具有比由所述透镜阵列的每个透镜聚焦的单个图像更高的分辨率。
可以使用任何合适的图像组合算法。示例包括超分辨率算法，它利用多个较低分辨率的图像并在图像中进行轻微的移位来形成较高分辨率的图像。
在对虹膜进行成像以进行虹膜识别413的示例中，可以将来自图像传感器的不同部分的不同图像的计算组合所产生的图像与以类似方式获得和处理的存储虹膜图像进行比较。同样，可使用任何合适的注视点追踪方法，并使用计算组合的图像来追踪注视点，如414所示。
在其它示例中，可以单独处理在图像传感器的不同部分捕获的单个图像。例如，对于注视点追踪，可以对由透镜阵列的每个透镜聚焦的每个图像确定注视点方向，然后将所得到的多个注视点方向组合以产生用于输出的最终注视点方向。
同样，对于虹膜成像，可以将来自透镜阵列的虹膜的多个图像与存储在用户配置文件中的相应的多个虹膜图像进行比较。
在进一步的示例中，可以使用机器学习方法处理在图像传感器的不同部分捕获的单个图像。例如，可使用经过训练的机器学习函数416从图像数据帧中捕获的多个图像识别注视方向。
图像捕获到的眼睛不同视角可以进一步提供深度信息。与使用传统透镜系统（例如透镜系统302）相比，这种深度透视可以减少用于眼动追踪的闪烁光源的数量，因为在执行注视点追踪时，有时需要使用更多数量的闪烁光源来获得更深度的透视。
另外，眼睛的不同视角可以带来较少的LED遮挡，从而允许使用相对较少的LED进行准确的注视追踪。
如上所述，透镜阵列可以包括超材料透镜。图5A从顶视图显示了设置在2×2阵列中的超材料透镜502的示例阵列500，图5B显示了形成在基板504的超材料透镜502阵列的侧面视图。
超材料透镜可能比屈光透镜具有更低的轮廓，所以可以更容易地安装在更小尺寸的近眼设备中。
图6示出了一种眼成像摄像头600，它包括包含四个透镜的超材料透镜阵列602，其中一个如图603所示。每个透镜配置为将类似视场604的图像聚焦到图像传感器606，但由于透镜阵列602的每个透镜的不同位置，可以从稍微偏移的角度进行聚焦。
超材料可以设计成具有各种光学特性以用于近眼显示系统。作为一个例子，超材料透镜可以设计成具有视场中心的角度偏移于图像传感器平面的法线。这可以允许超材料透镜阵列直接对眼睛成像。
在一个实施例中，可以设计一组超材料透镜阵列，使其在保持平面轮廓的同时将图像传感器的视场引导到期望的方向。图7示意性地示出了一种示例性眼成像摄像头700，其中超材料透镜702阵列配置为使图像传感器706的视场704从垂直于图像传感器706的平面的方向偏移。
因此，超材料透镜阵列的使用可以允许以不导致摄像头以一定角度突出的方式放置和定向摄像头，同时依然允许对用户的眼睛进行成像。
在一个实施例中，透镜阵列中的每个子透镜可以包含不同的景深DOF范围。图8示出了包括图像传感器802和具有任意数目N个透镜的透镜阵列804的示例性眼成像摄像头800。透镜阵列804的每个透镜配置为具有不同的DOF范围，以实现扩展的景深EDOF。
图9示出在近眼显示系统上对眼睛成像的示例方法900。在902处，方法900包括从光源向眼睛发射光。在眼睛成像摄像头的情况下，光可以从配置为在眼睛的图像中产生反射的闪烁光源发射。在虹膜成像摄像头的情况下，所发射的光可以配置为照亮虹膜以允许进行虹膜识别。
所以，通过使用配置为将眼睛的图像聚焦到图像传感器的不同区域的透镜阵列，与使用传统折射透镜系统的摄像头相比，眼睛成像摄像头可以具有更小的尺寸。这可能使眼成像摄像头更容易集成到小型设备中。
名为“Camera comprising lens array”的微软专利申请最初在2022年4月提交，并在日前由美国专利商标局公布。
