微软专利介绍动态控制HoloLens波导视窗的方法
动态控制波导视窗
（映维网Nweon 2023年08月15日）AR头显利用透明波导将图像从图像源传输到用户的眼睛。这种波导可以直接布置在用户每只眼睛的前面。为了扩大显示图像的视场，可以通过波导内的一个或多个光栅多次复制显示图像的视场。复制显示图像的视场可以允许用户保持所呈现图像的视图。然而，这样的复制同时会导致输出诸多未被看到的光，从而低效地消耗能量。
所以在名为“Dynamic control of waveguide eye box”的专利申请中，微软就介绍了一种旨在动态控制波导视窗的方法。
具体来说，发明描述了与包括耦出器的波导相关的示例。波导包括包含多个区域的耦出器，每个区域包括动态可控的耦出元件。耦出器的区域可以根据眼动追踪和图像数据可控地激活或停用。这允许生产相对较小的可移动视窗，并比使用较大固定位置视窗实现更高的光效率。
另外，视窗尺寸的减小和耦出器的分割可以改善图像质量。
图1示出一个示例近眼显示设备100。显示设备100包括右眼和左眼近眼显示系统102R和102L。右眼和左眼近眼显示系统102R、102L的每一个都包括图像显示组件。图像显示组件包括一个或多个波导，波导配置为将计算机生成的虚拟图像投射到显示设备100佩戴者的左眼和右眼。
图2A-2C显示了通过复制显示图像的视场，并且图解地说明了相对较大视窗的产生。
这种技术可称为瞳孔复制。首先参考图2A，近眼显示设备200A包括通信耦合到并配置为控制图像源204的控制器202。图像源204可包括用于形成图像的任何合适组件。
来自像源204的光通过一个或多个透镜转，并通过耦入器210输入到波导208A。耦入器210可包括将光耦合到波导208A的任何合适结构。用于耦入器210的示例结构包括各种衍射结构，例如表面浮雕光栅、偏振光栅、体全息图和/或其他合适的光栅结构。在其它示例中，耦入器210可包括折射或反射结构，例如一个或多个棱镜。
来自图像源204的每个像素的耦合光对应于一组小角度或一束角度，其角度范围与像素的大小成比例。来自像源204的光通过耦出器212A输出波导208A。耦出器212A配置成将光引导到近眼显示设备200A的视窗214A。在这个位置，眼睛216看到的视场是基于从不同方向进入瞳孔的光线220A。
在没有瞳孔复制的情况下，视窗214A可能相对较小。因此，如果眼睛216位于位置218，则瞳孔位于视窗214A的外部。在这个位置，220A光线和投影图像对用户来说不可见。
为了适应不同的眼睛位置，可以配置波导的旋转结构和解耦结构，使得整个视场通过瞳孔复制多次耦出，其中每个副本在空间中略有移动。
图2B显示了在近眼显示系统200B的波导208B中复制三次的来自图像源204的光线。复制的光线由耦出器212B作为光线220B输出。用于复制光线的光栅的效率可以在波导的空间范围内逐渐减小。
由于在靠近图像源处存在更多的光能，因此可以在靠近图像源处使用效率较低的光栅，并且可以在远离图像源处使用效率较高的光栅，以在视窗实现适当的一致亮度。
当瞳孔复制足够密集时（复制间距小于用户的瞳孔大小），可形成较大的视窗214B。
波导可以设计成旋转结构和/或解耦结构，从而为更大的视窗产生更多的重复。参考图2C的近眼显示器件200C。
波导208C将来自像源204的光线多次复制，通过耦出器212C输出一个更大的视窗214C。视窗214C可容纳大范围的眼睛位置。然而，无论眼睛216位于何处，光都在不断地传递到大体积的空间。
由于眼睛216一次只在视窗214C内的一个地方，因此大部分发射的光被浪费在产生视窗214C中没有眼睛注视216的区域。另外，特定光会引导到视窗214C外的边缘区域222、224。边缘区域222,224不产生一个完整的视场，而是一个剪辑或部分视图的图像。因此，如图所示的视窗214C的生成可能是低效的。
为了帮助解决此类问题，近眼显示设备可包括配置为允许动态调整视窗位置的耦出器。这样，图像光的视场可以可控地输出到一个较小的、动态移动的视窗，而不是输出到一个较大的、静态的视窗，如图2C。这可能有助于减少输出的未观察图像光和节省电力。
图3示出的近眼显示设备300配置为基于用户瞳孔的位置动态调整视窗的位置。
近眼显示设备300包括控制器302、图像源304、一个或多个透镜306、配置为复制来自图像源304的图像的视场的波导308、用于波导308的耦入器310、用于波导308的耦出器312和配置为跟踪用户眼睛316的眼动跟踪系统315。
近眼显示设备300显示为将光引导到单个眼睛316，但可以配置为引导到两只眼睛或耦合为一对近眼显示设备的一半，每个设备将光引导到用户的一只眼睛。
耦出器312配置成与图2C的视窗214C相比，将光输出到相对中等大小的视窗(例如视窗314A)。耦出器312包括多个区域，每个区域包括动态可控的耦出元件。
耦出器312的区域由控制器302控制，以至少基于眼睛316相对于近眼显示设备300的确定位置来定位视窗。例如，眼动追踪系统315确定，当眼316位于位置322时，图像光投射到视窗314A，当眼316位于位置324时，图像光投射到视窗314B。
与图2C的视窗214C相比，视窗314A和314B的尺寸更小，这使得视窗316可以从与视窗214C相似的位置范围内看到完整的投影视场，比视窗214C浪费的光更少。
通过这种方式，与产生图2C中较大的静态视窗214C相比，可以在相对较低的功率下维持投影图像的完整视场。
眼动追踪系统315可以以任何合适的方式确定眼316的位置。例如，眼动追踪系统315可以包括将光投射到眼睛316上的一个或多个光源317，以及捕获来自光源的瞳孔图像和反射的图像传感器319。
图像中的反射和瞳孔的位置可用于确定眼睛316相对于近眼显示设备300的位置。眼动追踪系统315进一步配置为向控制器302提供确定的眼睛位置。
控制器302可以使用所确定的眼睛位置，通过控制图像源304来定位视场内的投影虚拟图像，并控制动态可控耦出器312将投影虚拟图像输出到合适的视窗位置。在这种情况下，眼动追踪可能不需要执行特别高的准确性，只要延迟适当低。
可以使用基于眼动追踪数据的选择性生成视窗的任何合适的机制。例如，静态耦出器光栅的全部或部分可以用多个动态可控的耦出器元件替换或增强，其中每个都可以控制为输出光或不输出光。
图4A和4B示意性地示出具有这种耦出器的示例近眼显示设备400。近眼显示设备400是近眼显示设备300的一个实例。
近眼显示设备400包括控制器402、图像源404、透镜406、波导408、耦入器410、耦出器412和眼动追踪系统414。
动态可控耦出器412包括多个单独可控区域420、422、424、426、428、430、432和434。每个单独可控区域包括一个动态可控的耦出元件，如可切换光栅。
每个单独的可控区域可以控制为选择性地发射/开启，这样光就会解耦，或者不发射这样光就不会解耦。在图4A和4B，区域内的交叉孵化图案表示失活/不发射状态。
在一个实施例中，一个或多个区域中的每个区域的动态可控耦出元件是偏置的，亦即在没有控制信号的情况下不发射。
每个单独可控区域可以是离散的，在各自的波导位置上具有有限的边界，或者可以在波导408上具有完全可控边界的模拟梯度上连续。或者是可变的，从而在波导408的表面上逐渐变化。
类似地，每个单独可控区的效率可以沿着波导408逐渐增加。位于物理上更靠近耦入器410的区域可以具有较低的效率，以便一些光沿着耦出器412传输，从而允许一个或多个其他区域同时被激活。
物理上位于耦入器410远端的区域可以具有更高的效率。通过这种方法，可以在波导408上实现均匀的亮度。所述锥度可以是跨耦出器412的渐进/模拟锥度，或者可以随着与耦入器410的距离减小而逐区离散递减，又或者是一种组合，其中每个区域具有其自己的内部锥度。
每个区域的发射可以用二进制开/关的方式来控制。这样，物理上位于远离耦入器410的区域可以在0%和x%效率之间切换，而物理上位于更靠近耦入器410的区域可以在0%和y%效率之间切换，其中x>y。
耦出器412由控制器402控制，以根据眼动追踪系统414确定的眼418的检测位置定位视窗416。在图4A中，激活区域422、426和430，共同发射一组光线440A，形成视窗416A。
在图4B中，根据眼睛418的不同位置，激活424、428和432区域，发射一组光线440B，形成视窗416B。
在一个实施例中，控制耦出器412以减少定向通过外围区域的光量。另外，指向波导408外围的一个或多个区域可以配置为偏置关闭，而位于中心的区域配置为偏置打开。
通过这种方式，如果用户可能只是偶尔激活特定区域，例如外围区域，则所述区域可以被偏置，这样就不会花费精力提供去激活信号来维持去激活状态。
在一个实施例中，中心视窗区域可以具有始终发光的不可切换光栅。相反，外围区域可以是可切换的。这种可切换的外围区域可以在合适的时候通过眼动追踪激活，例如当用户的瞳孔旋转到由外围区域产生的视窗中，或者用户的瞳孔间距相对较小或较大，将其置于中心视窗之外时。
在图4A-4B，耦出器412包括沿一维布置的可控耦出器元件。图5A示意性地示出了示例耦出器500，耦出器500包括设置在二维网格中的可控耦出区502，其中每个区域包括动态可控耦出元件。控制器可以同时激活一个或多个区域。
通过一个或多个激活区域502发射的光线504可以组合形成视窗506。耦出器500示出20个连续的502激活区域。激活的区域可以在眼睛接收用于图像帧的光的持续时间内同时、顺序、随机或以任何其他合适的方式激活。
在其它示例中，可以根据所显示的图像和/或眼508的位置激活非连续区域以发光以形成视窗506。
在其他例子中，可以使用两组可控的一维光栅而不是单个二维可控耦出器。图5B示意性地示出包含两个一维光栅的示例波导。波导520包括耦入器522、转动光栅524，其配置为折叠光路并沿第一维扩展光瞳，以及耦出器526，其配置为沿第二维扩展光瞳。
转动光栅534和耦出光栅536中的一个或两个可包括可切换光栅。这样，转动光栅534和耦出光栅536中的一个或两个可以包括多个动态可控的衍射区，以选择性地将光衍射到耦出器的相应位置以进行发射。
图5B示意性地描绘了光栅524的动态可控衍射区530A和530B，以及光栅526的动态可控衍射区532A和532B。每个动态可控衍射区可包括可切换偏振光栅。
其中转动光栅524包括动态可控的衍射区，每个衍射区可被控制以选择性地将光指向耦出器526。同样地，其中耦出器526包括动态可控的衍射区，每个区可被控制以选择性地对光进行外耦。其中转动光栅524和耦出526都是可控的，可以实现二维区域控制。
在一个实施例中，转动光栅534和耦出光栅536中只有一个可以切换。为了清晰起见，图5B图解地描绘了旋转光栅524和耦出器526的两个区域，每个区域都可以具有任意合适数量的动态可控衍射区域。
在一个实施例中，区域530A, 530B, 532A和532B可能具有复杂的形状，甚至对于波导内的每个角度具有不同的形状和位置。例如，从眼睛到图像源的向后光线追踪可用于确定每个角度的每个区域的合适形状和位置。
可采用任何合适的可控光栅结构构成耦出器412和500的动态可控耦出元件。例如，可切换耦出元件可包括可切换偏振光栅，比方说可切换布拉格光栅。
可切换的布拉格光栅可以包含双折射分子，双折射分子可以通过放置在双折射分子附近的电极施加电场而选择性地旋转。基于双折射分子的取向，可切换布拉格光栅可以选择性地形成具有周期性折射率变化的区域，或者具有无周期性特征的折射率匹配结构。
在失活状态下，控制动态可控耦出元件呈现折射率匹配状态，从而保持全内反射，而在激活状态下，控制动态可控耦出元件呈现周期性折射率，从而使光解耦。
可切换布拉格光栅的衍射效率可以通过控制光栅的开关占空比来改变，因为光栅处于周期性配置的时间越长，通过的光子越多。
诱导双折射分子的旋转需要有限的时间。因此，激活和失活时间可以由控制器映射，以帮助产生所需的调制响应。控制每个区域的效率可允许多个单独可控的耦出元件被控制以基于到图像源的距离显示端到端的渐变光栅效率。
除衍射可控耦出元件外，可在动态可控耦出元件中使用可控折射或反射耦出元件。
在图4A和4B中，图像源404可在眼整合周期的持续时间内输出完整图像，耦出器412的多个区域可在眼整合周期的持续时间内以静态方式激活/不激活。
在其他示例中，可以通过使用以扫描模式激活的可控耦出元件来实现更有效和适应性更强的图像显示。例如，可以将图像源配置为选择性地照亮已打开的区域，而不照亮一个或多个其他区域。
这允许在显示图像的同时，在任何特定实例中只输出图像源的一部分像素。因此，与在相似光强下为每个眼睛积分周期输出整个图像相比，这样的示例可以提供更高的效率，并且可以允许在相同功率水平下生成更高强度的图像，或者在不降低总体强度的情况下降低功率。
另外，这可能会限制光线从图像源到眼睛的光路，从而阻止杂散光和噪点射线，从而提高图像对比度。
图6A-6E说明了投影图像的示例显示。
首先，在图6A中，通过图像源602激活区域622以及第一图像部分的投影。它引导光线640射向视窗616。
在图6B中，激活区域624，将与第二图像部分相对应的光线642指向视窗616。
在图6C中，区域626与图像部分624A的投影一起激活，将与第三图像部分相对应的光线644指向视窗616。
在图6D中，激活区域628，其对应于第四图像部分。它将光线引导到视窗616。
在图6E中，激活对应于第五图像部分的区域630，并将光线648引导至视窗616。在本例中，区域622、624、626、628和630可按眼618整合时间内显示的顺序依次激活，或可按任何其他合适的顺序激活。
如图6F所示，通过眼睛618实现组合光线650，从而感知从像源604投射的图像。为了清晰起见，图6F省略了输入光线。这样，光线在眼睛积分时间内以时间复用的方式从给定眼睛位置的不同角度和不同区域射入视窗616。
在一个实施例中，单个区域的激活可以与相应图像源的扫描模式和频率协调。例如，在具有快速和慢镜扫描方向的谐振MEMS显示器件中，慢镜扫描方向可以在120 Hz数量级工作。因此，图像帧的单独可控区域的激活可以在该频率周期内进行时间复用。
延伸阅读：Microsoft Patent | Dynamic control of waveguide eye box
名为“Dynamic control of waveguide eye box”的微软专利申请最初在2022年1月提交，并在日前由美国专利商标局公布。
