微软AR/VR专利提出利用波导组合器来校准左右眼图像对齐
利用波导组合器来校准显示器
（映维网Nweon 2023年08月31日）头显设备可以通过投射包含用于用户左眼和右眼的独立图像的立体图像对来显示VR内容和/或AR内容。单独的图像可以通过单独的图像投影仪生成。然而，单独的图像投影仪之间的不对齐可能导致立体图像对的图像不对齐，从而影响用户体验。
避免立体图像显示错位问题的一个解决方案是为头显设备使用高度刚性的框架，将左眼和右眼投影仪安装在固定位置。刚性框架可以帮助在独立的图像投影仪之间保持已知的对齐。然而，这样一个刚性的型抓鬼呢参数可能过于笨重。但对于较小的形状参数，温度变化、物理冲击、物理应力和/或其他因素都可能导致其弯曲，从而造成图像投影仪之间的不对准。
在名为“Calibration of stereoscopic display using waveguide combiner”的专利申请中，微软提出可以利用波导组合器来校准显示器。
在一个实施例中，光学校准系统包括波导组合器，其中第一光路和第二光路合并为共享光路。简而言之，第一光路指示第一图像投影仪的对准，第二光路指示第二图像投影仪的对准。所述第一图像投影仪配置为投射所述立体图像对的第一图像，所述第二图像投影仪配置为投射所述立体图像对的第二图像。
视轴传感器可以检测沿通过共享光路传递的第一光路和第二光路分别传输的第一校准图像和第二校准图像。在其他示例中，第一轴视传感器可检测沿第一光路从共享光路传输的校准图像，第二轴视传感器可检测沿第二光路从共享光路传输的校准图像。
另外，可以将控制器配置为至少部分地基于一个或多个轴视传感器的输出来调整所述立体图像对的第一图像和所述立体图像对的第二图像中的一个或多个。波导组合器可以使用比棱镜更小的器件尺寸，从而允许在具有紧凑形状参数的头显中维持立体显示系统校准。
图1示出配置为一副眼镜的示例头显设备100。头显设备100包括第一图像投影仪102、第二图像投影仪104、第一图像投影波导106、第二图像投影波导108和光学校准系统109。系统包括波导组合器110和轴视传感器。
第一图像投影仪102配置为投射立体图像对的第一图像，第二图像投影仪104配置为投射立体图像对的第二图像。第一图像投影波导106配置为传输和输出立体图像对的第一图像，第二图像投影波导108配置为传输和输出立体图像对的第二图像以。
在所描述的示例中，波导组合器110位于头显设备100的鼻梁位置。波导组合器110可以具有比棱镜更紧凑的形状参数，因此可以比棱镜更容易地适应所描述的形状参数。
光学校准系统109可包括位于112处的第一校准光源、位于114处的第二校准光源和位于116处的用于检测校准图像光的视轴传感器。
在其他示例中，光学校准系统109可包括位于116处的校准光源、位于112处的用于检测校准图像光的第一轴视传感器和位于114处的用于检测校准图像光的第二轴视传感器。每个校准光源可配置为输出校准图像。
图2示出示例头显设备200的框图。头显设备200包括第一图像投影仪202、第二图像投影仪204、光学校准系统和控制器206。光学校准系统包括第一校准图像源208、第二校准图像源210、第一光路212、第二光路214、波导组合器216和轴视传感器218。
在本例中，第一校准图像源208和第二校准图像源210与第一图像投影仪202和第二图像投影仪204集成。因此，来自第一校准图像源208和第二校准图像源210的校准图像的对齐表示第一图像投影仪202和第二图像投影仪204的对齐。
第一图像投影仪202配置为投射立体图像对的第一图像。第二图像投影仪204被配置成投射所述立体图像对的第二图像。第一校准图像源208配置为沿第一光路212输出第一校准图像。
类似地，第二校准图像源210配置成沿第二光路214输出第二校准图像。第一光路212在第一校准图像源208和轴视传感器218之间延伸。类似地，第二光路214在第二校准图像源210和轴视传感器218之间延伸。
在一个实施例中，可以将第一校准图像源208和第二校准图像源210配置为输出红外光。使用红外光可能有助于避免第一校准图像和第二校准图像被用户注意到的任何风险。
在其它示例中，第一校准图像源208和第二校准图像源210可输出可见光。可以使用各种策略来帮助防止第一和第二校准图像被用户注意到。例如，第一校准图像源208和第二校准图像源210都可以以时间复用的方式输出用于用户内容的校准图像和立体图像。
在这样的例子中，每个校准图像可以分配2- 10%的显示时间，而用户内容(立体图像)可以分配90- 98%的投影仪时间。校准图像可能看起来比立体用户内容具有更低的亮度，因此不太明显。额外地，第一校准图像和第二校准图像均可位于用户视场的外围或外部。在其他示例中，可通过空间分离的光路传输校准图像和内容图像。
第一校准图像源208和第二校准图像源210均可采用任何合适的形式。第一校准图像源208包括第一图像投影仪202的校准图像输出220，第二校准图像源包括第二图像投影仪204的校准图像输出222。
第一光路212和第二光路214在波导组合器216中合并成共享光路。轴视传感器218配置为检测作为共享光路输出的第一校准图像和第二校准图像。控制器206配置为至少部分地基于轴视传感器218的输出来调整所述立体图像对的第一图像或所述立体图像对的第二图像中的一个或多个。
这样的配置可以帮助维持所述立体像对的第一像和所述立体像对的第二像之间的对齐。控制器206可以配置为检测第一校准图像或第二校准图像与预期位置的相对差异。第一校准图像和第二校准图像可以配置为空间重叠图像，并且控制器206可以确定第一校准图像和第二校准图像的感测位置之间的相对差异。
另外，控制器206可以确定第一光路212和第二光路214相对于原厂校准的绝对角偏差和/或第一光路212和第二光路214之间的相对角差，并且可以以任何合适的频率更新第一光路212和第二光路214之间的对准，以帮助在头显设备200操作期间保持稳定的相对角度。
第一校准图像和第二校准图像可以以任何合适的方式呈现，以便彼此可区分。例如，第一校准图像和第二校准图像可以在空间上分离、在时间上分离和/或包含不同的外观。在第一校准图像和第二校准图像暂时分离的示例中，控制器206可以配置为以时间复用的方式控制第一校准图像和第二校准图像的投影。
图3示出另一示例头显设备300的框图。头显设备300包括第一图像投影仪302、第二图像投影仪304、控制器306和光学校准系统308，该系统包括第一光路310、第二光路312、波导组合器314和轴视传感器316。光
学校准系统308还包括类似于第一校准图像源208的第一校准图像源318和类似于第二校准图像源210的第二校准图像源320。
然而与头显设备200相反，第一校准图像源318与第一图像投影仪302分开，第二校准图像源320与第二图像投影仪304分开。
与头显设备200相比，这样的配置可以降低第一图像投影仪302和/或第二图像投影仪304的复杂性。第一校准图像源318可与第一图像投影仪302安全耦合，第二校准图像源320可与第二图像投影仪304安全耦合，从而有助于确保所检测到的第一和第二校准图像指示第一图像投影仪302和第二图像投影仪304的对齐。
图4示出另一头显设备400的框图。与头显设备200类似，头显设备400包括第一图像投影仪402、第二图像投影仪404和控制器406。然而与头显设备200相反，头显设备400包括包括校准图像源410的光学校准系统408，校准图像源410配置为通过共享光路将校准图像输出到波导组合器412。
波导组合器412分别沿着第一光路414和第二光路416将校准图像指向配置为检测来自第一光路414的输出的校准图像的第一轴视传感器418和配置为检测来自第二光路416的输出的校准图像的第二轴视传感器420。
在本例中，第一轴视传感器418可与第一图像投影仪402安全耦合，第二轴视传感器420可与第二图像投影仪404安全耦合，从而有助于确保沿第一光路414和第二光路416行进的校准图像的感测位置指示第一图像投影仪402和第二图像投影仪404的对齐。
可以将控制器406配置为至少部分地基于第一轴视传感器418和第二轴视传感器420的一个或多个的输出来调整立体图像对的第一图像和立体图像对的第二图像中的一个或多个。
图5在顶视图中描述了示例光学校准系统500。例如，头显设备100、头显设备200和头显设备300可以利用光学校准系统500。光学校准系统500包括第一校准图像源502、第二校准图像源504、第一光路506、第二光路508、波导组合器510和轴视传感器512。
第一校准图像源502配置成沿第一光路506输出第一校准图像。类似地，第二校准图像源504配置成沿第二光路508输出第二校准图像。
在所描述的示例中，第一光路506的一部分位于第一图像投影波导514内，第二光路508的一部分位于第二图像投影波导516内。第一图像投影波导514包括光学耦合到第一校准图像源502的耦入器518和光学耦合到波导组合器510的第一耦入器522的耦出器520。
第二图像投影波导516包括光学耦合到第二校准图像源504的耦入器524和光学耦合到波导组合器510的第二耦入器528的耦出器526。沿着第一光路506行进的第一校准图像通过第一图像投影波导514内的全内反射传播。类似地，沿着第二光路508行进的第二校准图像通过第二图像投影波导516内的全内反射传播。
第一光路506和第二光路508在波导组合器510中组合成共享光路。例如，波导组合器510包括公共耦出器530，其配置为将沿着共享光路行进的第一校准和第二校准图像指向轴视传感器512。轴视传感器512可提供基于检测到的第一校准图像和检测到的第二校准图像的输出。
图6描述了利用光学校准系统500的示例头显设备600。头显设备100、头显设备200和头显设备300是头显设备600的示例。头显设备600包括第一图像投影仪602、第二图像投影仪604和上述光学校准系统500的各种组件。
第一图像投影仪602配置为输出立体图像对的第一图像，第二图像投影仪604配置为输出立体图像对的第二图像。
如前所述，第一校准图像源502和第二校准图像源504可以与第一图像投影仪602和第二图像投影仪604集成，或者可以分别与第一图像投影仪602和第二图像投影仪604安全耦合。
这样，第一光路506指示第一图像投影仪602的对准，第二光路508指示第二图像投影仪604的对准。在所描述的示例中，波导组合器510位于头显设备600的鼻梁位置。如上所述，波导组合器510可以具有比棱镜更紧凑的形状参数。
当立体图像和可见光校准图像通过图像投影波导共享至少一部分光路时，可能存在校准图像对用户可见的风险。因此，图像投影波导可包括用于校准图像和立体图像的单独路径。
图7描述了一个示例头显器件700，其包括用于立体图像和校准图像的图像传输波导内的独立光路。头显设备100、头显设备200和头显设备600可以是头显设备700的示例。
头显设备700包括第一图像投影仪702、第二图像投影仪704、第一图像投影波导706、第二图像投影波导708和光学校准系统。光学校准系统包括第一校准图像源709、第二校准图像源711、第一光路710、第二光路712、波导组合器714和轴视传感器716。
第一光路710和第二光路712在波导组合器714内组合成共享光路。轴视传感器716配置为通过公共输出耦合器717检测从波导组合器714输出的第一校准图像和第二校准图像。
第一图像投影仪702包括立体图像输出718和校准图像输出720。同样，第二图像投影仪704包括立体图像输出722和校准图像输出724。第一光路710的一部分位于第一图像投影波导706内，第二光路712的一部分位于第二图像投影波导708内。
第一图像投影波导706包括光学耦合到校准图像输出720的第一耦入器725，以及光学耦合到波导组合器714的第一耦入器728的第一耦出器726。第一图像投影波导706同时包括光学耦合到立体图像输出718的第二耦入器729、转动光栅730和第二耦出器732。第二耦出器732配置为从第一图像投影波导706输出立体图像对的第一图像。
类似地，第二图像投影波导708包括与校准图像输出724光学耦合的第一耦入器733、与波导组合器714的第二耦入器734光学耦合的第一耦出器736、与立体图像输出722光学耦合的第二耦入器737、转动光栅738和第二耦出器740。第二耦出器740配置为从第二图像投影波导708输出立体图像对的第二图像。
第一校准图像源709配置成沿第一光路710输出第一校准图像。同样，第二校准图像源711配置成沿第二光路712输出第二校准图像。通过第一图像投影仪702输出的立体图像沿着第三光路742传输，通过第二图像投影仪704输出的立体图像沿着第四光路744传输。
在所描述的实施例中，第一光路710在空间上与第三光路742和第二耦出器732分离。同样，第二光路712在空间上与第四光路744和第二耦出器740分离。这有助于避免第一校准图像和第二校准图像被用户注意到。
如前所述，眼镜形态的弯曲可能导致校准图像在轴视传感器的位置发生变化。图8示意性地描述了这种变化。
当第一图像投影仪和第二图像投影仪对齐时，校准图像光802以第一角度耦合到波导组合器804中，并从波导组合器804耦合到轴视传感器806。在所描述的实施例中，视轴传感器806表示为包括图像传感器808和透镜810的摄像头。透镜810配置为将校准图像聚焦到图像传感器808上的位置812。
如果第一和第二图像投影仪不对准，则校准图像光802A耦合到波导组合器804的角度发生变化。结果，图像传感器808的校准图像的位置移位到移位的位置812A。这种变化可能是由于热效应、物理冲击、物理应力和/或其他因素导致的头显设备弯曲造成。从图像传感器808接收数据的控制器可以检测校准图像的位置变化。
图10描述了描述在头显设备操作光学校准系统的示例方法1000的框图。
在1002，沿第一光路投射第一校准图像。第一光路指示头显设备的第一图像投影仪的对准。
在1004，使用红外光投影第一校准图像。在其它示例中，可以使用可见光投影第一校准图像。
在1006，沿第二光路投射第二校准图像。所述第二光路指示对所述头显设备的第二图像投影仪。
在1008，使用红外光投射第二校准图像。在其它示例中，第二校准图像可以使用可见光投影。
在1010，以时间复用的方式投射第一校准图像和第二校准图像。
在1012，将第一校准图像和第二校准图像指向波导组合器，其中第一光路和第二光路组合成共享光路。
在1014处，通过轴视传感器检测波导组合器的共享光路的输出。
在1016，调整至少部分基于所述轴视传感器的输出的所述立体图像对的第一图像和所述立体图像对的第二图像中的一个或多个。在其他示例中，校准图像可以沿着波导组合器的共享光路投射，并且波导组合器可以沿第一光路和第二光路分别指向第一轴视传感器和第二轴视传感器引导校准图像。
相关专利：Microsoft Patent | Calibration of stereoscopic display using waveguide combiner
名为“Calibration of stereoscopic display using waveguide combiner”的微软专利申请最初在 提交，并在日前由美国专利商标局公布。
