微软专利为AR设备不同元器件的图像输出提出对齐解决方案
促进图像对齐
（映维网Nweon 2023年08月21日）大多数AR系统包括用于各自眼睛的单独显示元件。为了创造逼真的沉浸式体验，独立显示元件显示的图像输出应该同步并空间对齐。然而，诸多因素可能会导致同一AR系统内不同显示元件显示的图像输出不一致，例如制造差异，温差，因振动/冲击而导致的机械变化等。
促进AR系统中不同显示元件之间的对齐存在众多挑战。在名为“Image sampling in diffraction grating-based display system for alignment control”的专利申请中，微软提出了一种促进图像对齐的方法。
图1示出了可示例性系统100，而系统100描述为头戴式显示器114。系统100可以包含或与传感器106通信。传感器106可包括用于捕获或测量代表可感知现象的数据的任何装置。
另外，系统100可以包含或与I/O系统108通信。I/O系统108可以包括任何类型的输入或输出设备。例如，系统100的I/O系统108可以包括表面浮雕光栅SRG显示器116A和116B，其配置用于显示供用户眼睛查看的图像。所述SRG显示器116A和116B各可包括一个或多个玻璃板，所述玻璃板包括设置在其上的衍射光学元件。
SRG显示器116A和116B可以配置为接收来自投影系统的光，其中所述光描绘供用户眼睛118A和118B查看的图像。SRG显示器116A和116B可以扩展视场FOV，以允许用户的眼睛118A和118B通过SRG显示器116A和116B的大部分来查看图像内容。
图2A描绘了波导202，其可以构成SRG显示器的至少一部分。图2A显示，波导202可以包括各种光栅，例如耦入光栅204、膨胀光栅206和耦出光栅208。耦入光栅204可以配置为接收输入光216并衍射输入光216以便在波导202内传播。
输入光216可由投影系统214产生。投影系统驱动器212可以根据图像输入驱动投影系统214，使由投影系统214产生的输入光216描绘或表示图像210。
输入光216经耦入光栅204衍射后，再经膨胀光栅206和耦出光栅208衍射。耦出光栅208可从波导202向外衍射图像210的至少一部分的扩展表示218，以供用户220的眼睛查看。通过波导202的各种光栅的输入光216的衍射导致输入光216的复制扩展，其可致使形成图像210的图像像素通过耦出光栅208的多个位置可见。
图2B显示了波导202的俯视图，图2C显示了波导202的前切面视图，图2D显示了波导202的侧面切面视图。
图2B显示了从耦入光栅204衍射到波导202的膨胀光栅206的输入光216。图2C进一步显示，耦入光栅204以引起输入光216在波导202内的全内反射的方式衍射输入光216。所述输入光216传播到所述膨胀光栅206的各个部分。因此，所述扩展光栅206允许所述输入光216在一个方向/维度上扩展。
如图2D所示，膨胀光栅206对输入光216进行衍射，使输入光216继续在波导202内向耦出光栅208的各个部分传播，从而允许输入光在另一个方向/维度上进一步扩展。在这方面，耦出光栅208可促进在所述波导202内的输入光216的扩展。
耦出光栅208配置为将输入光216从波导202向外衍射，如图2D所示，通过从波导202向外衍射的扩展表示218。如上所述，扩展的表示形式218可以由用户的眼睛从各种视角查看。
如图3A和3B所示，波导302A、302B和302C各包括各自的耦入光栅304A、304B和304C，各自的膨胀光栅306A、306B和306B，以及各自的耦出光栅308A、308B和308C。
如图3A所示，输入光310的不同部分通过不同的耦入光栅304A、304B和304C进行耦合。例如，输入光310的部分310A通过耦入光栅304A进行耦合，以便通过波导302A向膨胀光栅306A传播。
类似地，输入光310的部分310B通过耦入光栅304B进行耦合，以便通过波导302B向膨胀光栅306B传播。另外，输入光310的部分310C通过耦入光栅304C进行耦合，以便通过波导302C向膨胀光栅306C传播。
所述输入光的不同部分310A、310B和310C可对应于不同的颜色通道(例如，红、绿、蓝)和/或不同的图像区域。
如图3B所示，膨胀光栅306A将输入光310的部分310A衍射至耦出光栅308A，造成扩展表示312A的外耦。类似地，膨胀光栅306B将输入光310的部分310B向耦出光栅308B衍射，以引起扩展表示312B的耦出。
另外，膨胀光栅306C将输入光310的部分310C向耦出光栅308C衍射，以引起扩展表示312C的耦出。不同的扩展部分312A、312B和312C可由用户同时查看并视为输入图像的描述。
波导(或波导堆栈)可以与另一个波导(或波导堆栈)组合使用，以向用户提供输入图像的双目表示。根据微软提出的发明，可以实施对齐组件以确保通过不同波导(或不同波导堆栈)显示的图像对齐，以提供输入图像的逼真表示。
图4示出了示例波导402的示意图。所述波导402除了耦入光栅404、扩展光栅406和耦出光栅408之外，进一步包括采样光栅410。
采样光栅410与耦入光栅404、膨胀光栅406和/或耦出光栅设置在波导402的同一侧。采样光栅410具有与耦入光栅404相同的光栅周期和/或光栅方向。
采样光栅410从波导402向外衍射光。然而，采样光栅410不同于耦出光栅408，并且可以具有与耦出光栅408不同的光栅周期和/或光栅方向。
如图4所示的实施例所示，耦入光栅404配置成耦合输入光412到波导402，以便通过波导402进行传播。在图4的实施例中，输入光412包括显示部分416和采样部分。所述耦入光栅404致使所述输入光的显示部分416在波导402内向所述膨胀光栅406传播，以便通过所述膨胀光栅406向所述耦出光栅408衍射。
耦入光栅404致使采样部分414以避免被扩展光栅406衍射的方式在波导402内传播，从而允许采样部分414到达采样光栅410而不被扩展光栅406降低强度。
例如，可将扩展光栅406和采样光栅410置于波导402上，以接收由耦入光栅404衍射的输入光412的不同部分。
如上所述，采样光栅410将输入光412的采样部分414从波导402向外衍射，例如朝向图像传感器，以便图像传感器检测校准图像。输入光的采样部分414可以描述输入图像的一部分。可以分析对齐图像以检测对齐标记的畸变和/或非期望变换，并且可以将补偿性变换/修改应用于后续图像以校正检测到的图像畸变。
在一个实施例中，当配置为向一个用户眼睛显示图像的波导402与配置为向另一个用户眼睛显示相应图像的另一个波导一起操作时，这种对准功能是有利的。
对于图1中的每个SRG显示器116A和116B，耦入光栅可将输入光的采样部分衍射到用于向图像传感器耦出的采样光栅。图像传感器可以捕获采样部分，并且可以将转换/修改应用于后续图像，以提供输入图像的空间精确和/或未失真视图。
图5示出了光通过波导传播的示例k矢量图，波导包括耦入光栅、扩展光栅、耦出光栅和采样光栅。图5所示图的外边界的半径与材料（通常为玻璃，在图5所示的示例中折射率为1.7）的折射率相对应。位于图中外边界(折射率为1.7)和半径为1的内圆之间的区域的光可视为在波导内传播。
图5中实线所示的区域502可以表示投射到波导中的像光被限制在其内部的边界。图像的每个像素对应于由区域502内的一个点表示的某一方向光。当光通过耦入光栅衍射时，光通过耦合光栅的光栅矢量在k矢量表示中平移。
图5中的区域504为耦合光栅衍射后的光。如图5所示，部分输入像光可能会定向到外部边界之外。在图中的这些位置，光不能在波导中传播，因此这部分像不会被耦入光栅衍射。
如上所述，耦入光通过膨胀光栅传播，并由膨胀光栅向耦出光栅衍射。经膨胀光栅衍射后的光如图5中506区域所示。
如图5所示，区域506被外部边界进一步切割(半径为1.7)。从区域504的内部面积切下的面积不能被膨胀光栅衍射，因此它保持在原方向上，不偏转地穿过膨胀光栅。区域504内部的虚线表示由膨胀光栅衍射的光与未由膨胀光栅衍射的光之间的边界。
如图5所示，耦出光栅将光从波导向外衍射。由于部分图像没有完全衍射通过波导，因此传输的视场可能受到限制。区域502内的虚线表示这一点。
根据微软提出的发明，未被扩展光栅衍射的图像内容部分可用于通过采样光栅进行采。这样的配置可以促进采样图像的更高强度。另外，采样图像中的强度变化可以得到避免。
在一个实施例中，采样区域可以对应于显示器实际图像之外的视场部分。采样区域可以包括图像内容，并且图像内容可以通过波导的不同耦合和扩展光栅传输到耦出光栅。
波导堆栈的每个波导可包括各自的耦入光栅、各自的扩展光栅和各自的耦出光栅。投影系统可以配置成将输入光指向波导堆栈的每个各自的耦入光栅。
对于每个波导，各自的耦入光栅可以配置为使至少一部分输入光在波导内向各自的膨胀光栅传播。可将相应的扩展光栅配置为使至少部分输入光向相应的耦出光栅衍射，以产生供用户眼睛查看的图像的扩展视场表示。
所述多个波导中的至少一个波导同时包括采样光栅。对于所述波导，所述各自的耦入光栅配置为使所述输入光的采样部分在波导内向所述采样光栅传播。同时，波导的采样光栅配置成将所述输入光的采样部分从所述波导向外衍射。
在一个实施例中，波导堆栈的每个波导包括相应的采样光栅，其配置为接收由相应的耦入光栅衍射的输入光的相应采样部分，并从波导堆栈向外衍射相应的采样部分。
在一个实施例中，波导堆栈的每个波导都与各自的颜色通道相关联。所述输入光可通过所述波导堆栈的一个或多个波导传输，以到达所述波导堆栈的一个或多个其他波导的各自耦入光栅。
图6示出了一个示例流程图600，其描述了与促进图像输出的对齐控制相关的行为。
在602，通过图像传感器检测对准图像，而对准图像至少部分捕获由输入光的采样部分描绘的对准标记，输入光的采样部分通过波导的采样光栅向图像传感器衍射，输入光的采样部分通过波导的耦入光栅向采样光栅衍射。
所述波导的耦入光栅配置为接收来自投影系统的输入光，并将所述输入光的采样部分向所述采样光栅衍射，同时将所述输入光的显示部分向所述波导的膨胀光栅衍射，以便通过所述膨胀光栅向所述波导的耦出光栅衍射，从而通过所述耦出光栅进一步进行膨胀和衍射。
在604，通过第二图像传感器检测第二对准图像，所述第二对准图像至少部分捕获由第二输入光的第二采样部分描绘的第二对准标记，第二输入光的第二采样部分通过第二波导的第二采样光栅向第二图像传感器衍射。
第二输入光的第二采样部分通过第二波导的第二耦入光栅向第二采样光栅衍射。第二波导的第二耦入光栅配置为接收来自第二投影系统的第二输入光，并且将第二输入光的第二采样部分向第二采样光栅衍射，同时将第二输入光的第二显示部分向第二波导的第二扩展光栅衍射，以便通过第二扩展光栅向第二的第二耦出光栅进行扩展和衍射波导，从而用于通过第二耦出栅进一步扩展和衍射。
在606，基于所述对齐图像或所述第二对齐图像修改所述图像或所述第二图像。
相关专利：Microsoft Patent | Image sampling in diffraction grating-based display system for alignment control
名为“Image sampling in diffraction grating-based display system for alignment control”的微软专利申请最初在2022年1月提交，并在日前由美国专利商标局公布。
