微软AR/VR专利提出在眼成像系统中使用可切换热镜阵列
获得比单个热镜更紧凑的设计
(映维网Nweon 2023年11月08日)在头显设备定位眼成像摄像头可能带来挑战,尤其是采用透明显示器的MR头显,因为将眼成像摄像头放置在用户眼睛前面可能会遮挡真实世界环境的视图。另一方面,若是以倾斜角度布置,则会提供用户眼睛的斜视视图,从而令对特定注视方向追踪变得更具挑战性。
尽管可以为每只眼睛使用两个或更多的摄像头,并从不同的角度对眼睛进行成像,但多个摄像头的使用增加了设备的成本和复杂性。
作为另一种解决方案,可以在眼睛前面放置一个热镜,以将红外光反射到斜向眼睛的摄像头。热镜是一种二色反射器,它反射一个或多个波长的红外光而对可见光透明。
在这样的配置中,热镜和摄像头对用户而言不可见,但对于摄像头图像传感器形成的图像,其看起来就好像它直接来自用户眼前的摄像头。
不过,传统的单个热镜设计会造成光合并器的放置复杂化,影响器件设计和增加器件重量。所以在名为“Eye-imaging system with switchable hot mirrors”的专利申请中,微软就提出在眼成像系统中使用可切换热镜阵列,从而获得比单个热镜更紧凑的设计。
每个可切换的热镜可以以相对于眼睛的角度设置,并且可以将眼睛的图像的一部分指向眼睛成像摄像头。当对眼睛成像时,每个可切换热镜可打开一段时间以将图像的相应部分引导到摄像头,然后关闭以避免阻挡由位于离摄像头较远的可切换镜反射的图像。
在一个实施例中,可切换热镜可以按顺序打开。入射到当前打开的反射镜上的红外光反射到摄像头上,并沿着通往关闭的摄像头的路径穿过其他热反射镜。
与传统热镜系统相比,可切换热镜提供了更紧凑的设计优势。通过在阵列中安排几个较小的、可切换的反射镜,与使用单个热反射镜相比,可以在不牺牲摄像头视场的情况下减小显示设备的尺寸。
图3示出了眼成像系统300,所述系统包括可安装在框架的眼成像摄像头302和对眼306成像的热镜304。图3可以表示眼睛306的顶视图或侧视图,使得热镜304相对于眼睛306成角度以将光反射到眼睛成像摄像头302。
热镜304可以在眼睛306向外的一个维度具有显著的深度。这是为了提供足够的视场,以确保眼成像系统300可以完全成像具有不同面部几何形状的用户群体的眼睛。但考虑到热镜304的尺寸,眼成像系统300可能很难安装到小尺寸设备,比如眼镜和其他头戴式设备。
相比之下,图4A-4D示出的眼成像系统400采用了对眼402成像的可切换热镜阵列405。眼成像系统400包括眼成像摄像头404,可切换热镜阵列405,包括可切换热镜406、408、410和412。控制器414配置为控制可切换热镜406、408、410、412的反射率和操作眼成像摄像头404。
可切换热镜406、408、410、412设置在可见透明支架416中。在其他示例中,可切换热镜406、408、410、412可以有任何其他合适的布置。例如,可切换热镜阵列可在可见透明菲涅耳棱镜阵列的表面之上形成。作为另一示例,可切换热镜阵列可布置在自由空间中,使得每个可切换热镜位于薄衬底之上。
图4A-4D可以表示眼睛402的俯视图或侧视图,使得可切换热镜406、408、410、412向上或向眼成像摄像头404侧面反射光线。
图4A示出打开可切换热镜406以向眼成像摄像头404反射红外光,并关闭可切换热镜408、410和412以允许红外光通过。图4B所示为打开可切换热镜408以将红外光反射到眼成像摄像头404,并关闭可切换热镜410和412。
图4C显示可切换热镜410处于打开状态,而可切换热镜412处于关闭状态。在所述配置中,可切换热镜406和408可能处于开启或关闭状态。图4D为开启的可切换热镜412,开启或关闭的可切换热镜406、408、410。这种模式可以重复以捕获额外的眼成像数据帧。
在一个实施例中,可切换热镜406、408、410、412可以配置为主动驱动到反射状态和传输状态。在两个方向上驱动镜像切换可以提供更快的切换时间。在其他示例中,可切换热镜406、408、410、412可以在一个方向驱动,并允许在另一个方向被动放松。这种操作功耗较低,但放松时间可能比驱动开关时间长。在这样的实例中,可切换热镜406、408、410、412可以配置为使得在眼成像摄像头404的一帧眼成像数据的曝光时间内放松。
如图4A-4D所示,可切换热镜406、408、410、412从离眼成像仪404最远的可切换热镜开始开启,依次将每个次近的热镜切换到眼成像仪404。在其他示例中,可切换热镜可以按任何其他合适的顺序打开。在其他实施例中,一次可以打开多个热镜。
在一个实施例中,可以在至少一定的成像帧中捕获眼睛的一部分而不是整个眼睛的图像。例如,可能希望在瞳孔和虹膜附近对用户的眼睛成像,而不是在眼睛的其他区域成像。在这样的示例中,眼动追踪数据可用于确定瞳孔位置,并且可以控制一个或多个可切换热镜406、408、410、412的子集来成像瞳孔,而不成像眼睛的其他部分。
这可以通过在特定成像帧中只切换可切换热镜406、408、410、412的子集来节省电力。在这样的例子中,通过基于瞳孔位置切换适当的可切换热镜,可以基于不断更新的瞳孔位置来操纵眼睛成像。同样,一个或多个可切换热镜406、408、410、412的子集可以控制为与其他热镜相比保持更长或更短的时间,而不是控制为处于相同的持续时间。
类似地,可以使用最近确定的瞳孔位置来确定要读取的眼成像摄像头404的像素子集。这可以通过为眼睛图像数据帧读取摄像头像素的子集而不是所有像素来提供省电。
由于每个可切换热镜的光路长度可能不同,眼成像摄像头404可能会经历一定的模糊,这取决于眼成像摄像头404使用的镜头系统和光圈。因此,可切换热镜406、408、410、412中的一个或多个可以具有弯曲形状。每个可切换热镜406、408、410、412的optical power可以配置为减轻这种模糊效果。
5A-5D说明了制造这种可切换热镜阵列的示例过程。首先,图5A显示了可见透明衬底500。衬底500可以由适当的塑料或玻璃制成,其对目标可见光和红外波长足够透明,以获得所需的成像性能。
接下来,图5B显示了应用于衬底500顶部的可切换热镜结构502。可切换热镜结构502可包括各种电极层、介电层和液晶层等。
其次,图5C示出了通过包含热镜结构502的衬底500进行的对角线切割,从而形成多个切割部分504、506、508和510。每个切割部分均包含热镜段。
然后,图5D显示了堆叠并连接在一起的切割部分504、506、508和510,以形成包含嵌入式可切换热镜阵列520的可见透明支撑512。图5D同时示出了连接到热镜阵列520的每个可切换热镜的电走线522。
电迹线522将每个可切换热镜的电极层连接到控制器524,并在526接地。电迹522可以由任何合适的材料形成,包括透明导电氧化物,例如铟锡氧化物和掺氟锡氧化物。
作为另一示例制造工艺,可通过模塑单个衬底段,在每个衬底段的表面形成热镜结构,将衬底段堆叠并连接在一起,然后形成与每个热镜结构的电气连接来形成嵌入式可切换热镜阵列可见透明支撑。
可切换热镜阵列可以具有任意合适的镜像数量和大小。可切换热镜阵列可以是1-2毫米厚,并且可以包括5-15个镜子,以成像约40毫米宽和30毫米高的视窗。在其他示例中,可以配置任何其他合适的可切换镜像阵列来成像任何其他合适尺寸的视窗。
如上所述,在其他示例中,可切换热镜阵列可布置在自由空间中,而每个可切换镜像之间具有气隙。在所述实施例中,可切换热镜可由设置在每个可切换热镜两侧的支撑结构支撑。
在上面的例子中,可切换热镜通常是彼此平行的。图6示出的眼成像系统600可切换热镜阵列602的可切换热镜具有逐渐不同的角度。在一个这样的实例中,每个可切换热镜可以配置为将光引导到眼成像摄像头606,摄像头606包括行扫描摄像头或其他摄像头,所述摄像头配置为一次对图像的行或列像素的子集进行成像。
因此,每个可切换热镜反射的图像部分在空间上与图像传感器处的其他图像部分重叠,但在不同的时间段内反射到眼成像摄像头606。
泛光照明可替代或除闪烁光源外使用,以照亮眼睛进行眼睛成像。例如,泛光照明可用于明亮瞳孔跟踪。在这样的实例中,可切换热镜阵列可用于眼睛照明以及将光从眼睛引导到眼睛成像摄像头。
图7示出的眼成像系统700包括可切换热镜阵列702,所述阵列包括对眼706成像的眼成像摄像头704。眼706由泛光光源708照射。光源708可靠近眼成像摄像头704,或与眼成像摄像头704同轴,因此可利用可切换热镜阵列702将光照直射至眼睛。
图8示出了眼镜形式的头戴式显示设备800,其包括左眼成像摄像头802和右眼成像摄像头804。头戴式显示设备800包括用于眼成像摄像头802的多个闪烁光源806A-D和用于眼成像摄像头804的多个闪烁光源808A-D。
头戴式显示设备同时包括左眼可切换热镜阵列810和右眼可切换热镜阵列812。如图示箭头所示,左眼可切换热镜阵列810配置为可控制地将来自用户眼睛的红外光反射到左眼成像摄像头802。同样,右眼可切换热镜阵列812配置为可控制地将来自用户眼睛的红外光反射到左眼成像摄像头804。
相关专利:Microsoft Patent | Eye-imaging system with switchable hot mirrors
名为“Eye-imaging system with switchable hot mirrors”的微软专利申请最初在2022年4月提交,并在日前由美国专利商标局公布。