微软专利分享如何调整AR/VR头显的光学路径性能
调整包括多个光源的照明光束路径和包括选择性反射成像装置的光学成像路径的性能
（映维网Nweon 2023年11月21日）LED对温度非常敏感。除非实现纠正反馈系统，否则输出功率可能会随使用时间而漂移，输出波长可能会随温度和电流设置而漂移。空间光调制器的反射率同样容易由于温度而漂移，从而导致次优的性能特征。
如果佩戴近眼显示系统的用户从一个环境温度移动到另一个环境温度，或显示系统在操作时间内变热，或显示系统老化，或电池电量下降，保持相同的性能配置文件可能导致输出图像的变化。
所以在名为“Methods for adjusting display engine performance profiles”的专利申请中，微软就介绍了一种在制造过程中不会增加大量校准时间的精确LED功率反馈方法。具体来说，这家公司提出的方法用于调整包括多个光源的照明光束路径和包括选择性反射成像装置的光学成像路径的性能。
可以定位一个或多个光电二极管，以便捕获从选择性反射成像装置反射的光。通过命令选择性反射成像装置以预定的反射率工作，并命令每个光源发射光脉冲，可以根据光电二极管的读出来确定光源的输出功率和选择性反射成像装置的反射率。然后，可以相应地调整所述光源和选择性反射成像装置的性能配置文件。
图2示出包括显示引擎201和投影光学元件202的示例近眼显示系统200。显示引擎201包括照明光束路径205和光学成像路径210。控制器215可以操作耦合到照明光束路径205和光学成像路径210的有源组件。例如，控制器215可以提供适当的控制信号，以形成所需的显示图像。
照明光束路径205可包括包含一个或多个光源的光源簇225。照明光束路径205可进一步包括光学元件235，光学元件235可配置为对包含在光学成像路径210中的选择性反射成像装置240产生均匀照明。
反射和/或折射光学元件可用于允许以非远心方式定位照明光束路径205和光学成像路径210。这既可以减少由于反射和眩光引起的问题，又可以实现容纳其他组件的功能配置。
光学成像路径210配置为形成显示图像并通过出瞳245释放所述显示图像。选择性反射成像装置240可以是反射性LCOS或DMD装置，或其他可选择性调节反射率角度的合适装置。
作为示例，在像素的完全打开状态下，反射元件可以偏转，使得入射到该元件上的光被反射到出瞳245中。在完全关闭状态下，反射元件可以偏转，使得入射光从出瞳245反射出去，例如反射回照明光束路径205。
在一个实施例中，可以利用LCOS阵列，其中偏振旋转液晶位于钝化的高反射像素元素的矩形阵列之上。。LCOS阵列是一种规则的二维液晶元件阵列。元件可以共享光学透明的前电极，同时为每个元件提供单独可寻址的反射后电极。
在其他例子中，两个电极对每个像素都是可寻址。施加到阵列的元件的电偏置改变其中的液晶的对准，使元件能够对从后电极反射的照明起偏振滤光器的作用。
以这种方式，受控偏振状态的光从每个像素元中出现。不需要的偏振分量可以移除，因为它通过一个共同的前偏振片阵列的所有元素。这个动作将来自每个元件的光的编码偏振状态转换为来自元件的相应反射强度。合适的阵列驱动器提供控制数据，以确定每个元件的偏置水平，从而定义从阵列反射的图像。
在实施DMD阵列的实施例中，可以为显示图像的每个像素提供单独可偏转的镜像元件。在其他实施例中，选择性反射成像器件240可以采取具有降低极化状态切换延迟的FLCOS阵列或全息空间光调制器SLM的形式。
光学成像路径210可以与近眼显示系统200的用户的视场相偏移。图3示出了显示引擎300，其包括照明光束路径301和光学成像路径303。
照明光束路径301包括光源簇305，光源簇305包括由控制器309控制的绿色光源306、蓝色光源307和红色光源308。来自绿色光源306的绿光通过光学器件310、311和312至光束组合器314。
同样，来自蓝色光源307和红色光源308的光通过光学器件316、318、320至光束组合器314。光束组合器314将红光、绿光和蓝光组合成一束，并将光束引导到微透镜阵列MLA 322。
微透镜阵列322使单光束均匀化，并且至少部分地塑造光束以更均匀地向下游光学元件提供照明并去除伪影。微透镜阵列322将所述光输出至棱镜324，棱镜324将所述光引导至透镜326。
棱镜324允许光学成像路径303的非远心照明，使照明源的输出倾斜。预偏振器327可以光学地位于光学成像路径303的偏振分束器PBS 328的前面，使得进入PBS 328的光被偏振。然后PBS 328将所述光指向选择性反射成像装置332，所述装置由控制器309控制以形成图像。
透镜可任选地位于PBS 328和选择性反射成像装置332之间。来自选择性反射成像装置332的像光通过透镜330和偏振分束器328返回，从反射镜334反射，然后从四分之一波片336射出。然后，从四分之一波片336引导的光穿过透镜340，朝向其他投影光学元件342以显示。
可以在照明光束路径301中包括另外一个传感器，例如光电二极管，以表征显示引擎300中所包括的一个或多个光学元件的当前方面。作为示例，PD 350被定位为捕获从选择性反射成像设备332反射回照明光束路径301的光。
例如，当选择性反射成像器件332关闭时，由于光没有以通过偏振光分束器328的方式被偏振，因此大量的光返回到照明光束路径301。当选择性反射成像器件332打开时，由于选择性反射成像器件332的有效性小于100%，大多数反射光通过偏振光分束器328，但不是全部。
光电二极管PD 351的定位是捕获来自光束组合器314的残余光，由于其涂层，这使得它对波长移动非常敏感。
在一个实施例中，一个或多个光电二极管包括两个或多个具有不同波长滤波器的光电二极管。因此，可以将控制器配置为在命令每个光源发射光脉冲时，基于具有不同波长滤波器的两个或多个光电二极管的读出来确定每个光源的波长。
一个或多个温度传感器可以位于光源簇305中。因此，可以将控制器配置为基于一个或多个温度传感器的读数和LED电流设置来确定每个光源的波长。
图4示出用于显示引擎400的备用配置，其包括与光学成像路径403偏移的照明光束路径401。照明光束路径401包括光源簇405，光源簇405包括绿色光源406、蓝色光源407和红色光源408，由控制器409控制。
来自绿色光源406的绿光通过光学器件410、411和412到达光束组合器414，而来自蓝色光源407和红色光源408的光通过光学器件416、418、420到达光束组合器414。
光束组合器414将红光、绿光和蓝光组合成一束，并将光束引导到折叠镜421，折叠镜421将单光束反射到MLA 422。MLA 422将光输出到透镜426。然后，透镜426将所述光引导至光学成像通路403。
通过使用折叠镜，可以将光学成像通路403与照明光束通路401偏移。预偏振器427位于光学成像路径303的偏振分束器428的光学前方，使进入PBS 328的光发生偏振。光学成像通路403的PBS 428将所述光通过可选透镜430引导至选择性反射成像装置432，所述选择性反射成像装置由控制器409控制以形成图像。
根据光学成像路径303，光学成像路径403进一步包括反射镜434、四分之一波片436和透镜340，其将光聚焦到投影光学元件442以进行显示。
光电二极管可以包括在照明光束路径401中，以表征显示引擎300中所包括的一个或多个光学元件的当前方面。
作为示例，光电二极管PD 450定位为捕获从选择性反射成像设备332反射回照明光束路径301的光。附加的光电二极管452可以光学地定位在折叠镜421的后面。光电二极管452的输出可以对折叠镜421的涂层以及对由光源406、407和408的光输出的波长的任何移位敏感。
通过将光电二极管PD 452朝向透镜426定位，可以捕获来自光源的光和从选择性反射成像装置432反射的光。一个或多个温度传感器可以位于光源簇405中。
所述光电二极管和温度传感器可用于表征和调整显示引擎的光源和选择性反射成像装置的性能特征。
图5示出用于校准近眼显示设备的示例方法500。
在510，方法500包括命令选择性反射成像装置以预定的反射率操作。所述预定反射率可以是相对于一个或多个光电二极管的反射率。换句话说，基于每个光电二极管的相对定位，可以命令所述选择性反射成像装置的第一预定反射率，以便将光反射出所述光电二极管。
在520，方法500包括在选择性反射成像装置以预定反射率操作时命令光源发射光脉冲。在530，在选择性反射成像装置以预定反射率操作时读出一个或多个光电二极管。
在540处，调整一个或多个光源和基于一个或多个光电二极管的读出的选择性反射成像装置的性能配置文件。例如，可以调整光源的驱动功率。通过这种方式，可以校准光源的指定波长和强度。另外或可选地，可以调整所述选择性反射图像形成装置的驱动信号和/或一个或多个附加操作参数。
任选地在550，当每个光源被命令发射光脉冲时，基于一个或多个传感器的读数确定每个光源的波长。例如，一个或多个温度传感器可位于光源簇内或近端。控制器可以进一步配置为在命令每个光源发射光脉冲时，基于一个或多个温度传感器的读数来估计、推断和/或确定每个光源的波长。
图7示意性地示出用于至少基于光电二极管的读数来确定LED波长的工作流程700。
白平衡模型705可以包括LED电压预测器720，其配置为基于LED驱动电流710和光源簇温度712近似LED的电压。
光电二极管读出器708可用作光电二极管计数到optical power计算器723的输入。723可以通过任何合适的方法直接从光电二极管读出708确定optical power。然后可以将计算的optical power输出为LED optical power714。
然后可以将所述LEDoptical power、所述确定的LED电功率和所述光源簇温度712用作LED效率计算器724的输入。LEDoptical power可以允许精确地确定LED效率计算器724，而不是通过基于先前计算的估计来确定，因为热功率等于电功率减去optical power。然后可使用LED效率来确定LED热功率和LEDoptical power。
可以输出确定的optical power。然后可以将所确定的LED热功率和光源簇温度712用作LED外壳温度预测器726的输入。外壳温度可以通过任何合适的方法来确定，例如使用福斯特热模型来模拟通过半导体的热传递。
然后可以将预测的LED外壳温度和LED热功率用作结温计算器728的输入。这种结温可以根据经验确定每种LED类型，并包含在LED的规格数据表中。结温可以存储在查找表中。然后可以将所确定的LED结温用作主导波长移位计算器730的输入。
接下来，主导波长位移计算器730可以确定LED的主导波长，例如通过对先前测量的数据进行回归。确定的波长可作为主导LED波长716输出。
图8示出用于校准一个或多个LED的optical power的方法800。通过精确校准每个LED，可以在显示器显示更准确的颜色。
方法800可由控制器执行。方法800可响应于执行第一校准步骤的指示而执行。例如，执行第一校准步骤的指示可包括在近眼显示设备的预热阶段执行第一校准步骤的指示。可选地，执行第一校准步骤的指示可包括在近眼显示设备的操作阶段响应环境温度的阈值变化执行第一校准步骤的指示。
另外，执行第一校准步骤的指示包括响应于近眼显示设备操作期间超过阈值运行时间而执行第一校准步骤的指令。这样，由于外部温度、环境温度、电池充电、定期维护等因素的变化，LED电源可以实现校准。
在810，命令LCOS面板显示黑色帧，LCOS面板位于光学成像路径内。例如，LCOS面板可能会在预先确定的持续时间内关闭电源，例如显示内容的单个帧。在关闭构造中，LCOS面板可以将大部分光反射回照明光束路径，很少光会指向近眼显示的投影光学。
因此，当用户正在查看虚拟图像时，可以命令LCOS面板显示黑色帧，而这对用户体验的影响不大。由于图像光可以集成在数帧上，用户可能只感知到短暂的轻微显示变暗，而不是长时间的黑色图像。
在820，命令一个或多个LED发出光脉冲，同时命令LCOS面板显示黑色帧，LED位于配置为产生LCOS面板的均匀照明的照明光束路径内。通过这种方式，可以直接测量从LCOS面板反射回照明光束路径的LED功率，从而测量入射到LCOS面板的光量。
在830，读出一个或多个光电二极管，以便捕获从LCOS面板反射的光。由于LED结温随环境温度、LED电流或LED占空比的变化，LED的波长可以在任何方向上移动几纳米。然而，光电二极管的响应可以设置为有效地独立于LED输出波长在几个纳米的位移。因此，光电二极管可以高精度地测量实际optical power。
在840，当命令LCOS面板显示黑色帧时，基于一个或多个光电二极管的读出，确定一个或多个LED的optical power。optical power可以通过经验和/或通过光电二极管读数和环境条件的查找表来确定。这种用于LED功率确定的方法直接基于入射光的数量，从而反射出LCOS面板，因此与显示校准高度相关。
在850，方法800包括根据所确定的optical power调整LED的输出功率。例如，可以增加或减少一个或多个LED的输出功率，以平衡光团的输出，从而按要求生成显示图像的亮度和着色。
所述校准程序可用于不同的LED占空比设置，例如范围或占空比设置或跨两个或多个离散的占空比设置。例如，可以命令光源在占空比模式上发射光脉冲。
在占空比模式下，每个占空比可以读出一个或多个光电二极管。光源的输出功率可以根据在占空比模式中每个占空比的一个或多个光电二极管的读出来调整。在校准阶段之间，可以利用输出功率和占空比的梯度来调整一个或多个LED的输出功率。
图9示出了当选择性反射成像设备332关闭时用于显示引擎300的示例场景900。
从一个或多个光源发射的光在光束组合器314中组合，然后通过微透镜阵列322定向到棱镜324。如箭头902所示，棱镜324发出的光经透镜326和预偏振器327定向到偏振分束器336，预偏振器327反射到选择性反射成像装置332，如箭头904所示。
当选择性反射成像装置332关闭时，光不会重新极化。相反，它反射回偏振分束器336，如箭头906所示。光不是通过偏振分束器336，而是反射回照明光束路径，如箭头908所示。因此，光电二极管350处于检测这种反射光的位置。然后，光电二极管350的读数可用于评估optical power，反射率和/或其他参数。
如上所述，当选择性反射成像装置关闭电源时所进行的测量可以与当选择性反射成像装置通电时所进行的测量相结合，以确定显示引擎性能的更完整的图像。
图10示出用于校准选择性反射图像形成装置的反射率的示例方法1000。方法1000可响应于执行第二校准步骤的指示而执行。例如，第二校准步骤可以在第一校准步骤之后执行，例如方法800。执行第二校准步骤的指示包括响应于近眼显示设备预热期间、响应于环境温度变化、响应于设备温度或操作时间等执行第二校准步骤的指示。
在1010，方法1000包括命令LCOS面板显示白色帧，LCOS面板位于光学成像路径内。当LCOS通电并显示白色帧时，光通过投影光学元件发送给用户。然而，并不是100%的光被发送给用户，还有相当一部分光被反射回照明模块。
在1020，命令一个或多个LED发出光脉冲，同时命令LCOS面板显示白色帧，位于照明光束路径内的LED配置为产生LCOS面板的均匀照明。由于光脉冲将被定向到投影光学，用户很可能会注意到这个校准步骤。
因此，方法1000可以在预热期间和/或在向用户提供校准警告之后进行。然而，如果校准是作为单帧进行，用户可能只会体验到背景亮度的短暂增加，因此可能不需要提前警告。
在1030，方读出一个或多个光电二极管，以便捕获从LCOS面板反射的光。在理想的情况下，当LCOS打开时，所有的光线都进入出瞳，没有光线反射回照明光束路径。在实际应用中，LCOS并不能实现完美的反射，并且会有一定的光入射到光电二极管上。
当通电时，由于LCOS的非完美反射率，预计大约10-50%的入射光将反射回照明模块。党LCOS关闭时，大约90%或更多的光被反射回照明光束路径并入射到光电二极管上。
在1040，当命令LCOS面板显示白色帧时，基于一个或多个光电二极管的读出，确定LCOS面板的反射率。
在1050时，根据确定的反射率调整LCOS面板的驱动参数。确定的反射率可以允许调整LCOS驱动参数，以最大限度地提高显示效率，例如，在不浪费额外电池功率的情况下最佳地反射光。
相关专利：Microsoft Patent | Methods for adjusting display engine performance profiles
名为“Methods for adjusting display engine performance profiles”的微软专利申请最初在2022年4月提交，并在日前由美国专利商标局公布。
