微软专利为AR/VR光线投影校准干扰提出监控光源解决方案
监控投影仪的位置和方向
（映维网Nweon 2023年08月24日）XR设备通常包括耦合到左光束路径的左投影仪和耦合到右光束路径的右投影仪。左投影仪配置为生成左图像，然后将左图像通过左光束路径传播到用户的左眼。正确的投影仪被配置为生成正确的图像，然后正确的图像通过正确的光束路径传播到用户的右眼。
这种XR设备的结构可能会因常规使用、温度变化和/或冲击而发生变化。当R设备的结构发生变化时，图像可能会失去视轴，无法正确对准。这个问题在眼镜形态的设备中可能会变得严重。
有XR设备配置为投射校准图像，并使用校准图像来确定显示器是否正确定位。由于校准图像对用户可见，所以用户体验经常受到校准/校正操作的干扰。
在名为“Monitoring position and orientation of a projector”的专利申请中，微软提出使用监控光源（如激光二极管或激光二极管阵列）产生监控光束来监控投影仪的位置和方向，从而解决上述问题。
投影仪具有反射空间光调制器。监控光束引导到监控摄像头中，以获得直接反馈，然后可用于纠正XR设备的轴视变化。在一个实施例中，配置单个摄像头以组合来自左眼和右眼投影仪的图像并减少该测量中的误差。
在一个实施例中，监视器光源可以是一个或多个边缘发射器二极管或一个或多个具有非常窄波长带的垂直外腔表面发射激光VECSEL二极管。在一个实施例中，监视器光源是一组边缘发射器二极管或VECSEL二极管，其配置为投射一组点。
使用波长带非常窄的激光光束作为监测光束是有利的，因为这样的激光波长带可以选择为对用户不可见，或者不同于照明光束(可见光束)，使得监测光束可以从照明光束中过滤出来。另外，激光光功率可以设置为大于照明光本身，从而克服监控摄像头的信噪比问题。同时，如此窄的波长带可以用于基于相位透镜的非常紧凑的监控摄像头。
在一个实施例中，所述监视器光束在通过所述监视器光束路径传播以产生所述监视器图像之前，由所述投影仪的反射空间光调制器调制。或者，在通过所述监视器光束路径传播以生成监视器图像之前，所述监视器光束不被所述投影仪的反射空间光调制器调制，并且所述监视器摄像头可以包括象限二极管检测器、摄像头和/或无透镜摄像头。
在一个实施例中，监视器光束在光束路径中被定向到与投影仪不同的路径，这进一步改善了监视器摄像头处的信号对噪点。另外，与投影仪信号分离的监视器信号的专用光束路径为最终用户提供了激光安全性，因为没有将其指向用户眼睛的路径。
监控摄像头可以测量左右图像的姿势或两个图像的变化，并监控应用的校正。投影仪可以使用多种不同的投影仪设计。所述监控光束和所述照明光束的集成可以来自同侧，或可以来自不同侧，并通过光束组合器组合，例如二向色光束组合器。
图1A示出了实现本文所述原理的投影系统100A的示例架构。所述投影系统100A包括照明光源110、监视器光源120和投影仪140。所述照明光源110配置为向所述投影仪140发射照明光束112A，所述监控光源120配置为向所述投影仪140发射监控光束122A。
在一个实施例中，投影仪140包括反射空间光调制器142，其配置为调制光束112A和122A以产生投影仪140的输出144A。投影仪140的输出144A为投影组合光束144A，其中包含投影照明光束1441和投影监控光束144M。
随后，将所述投射的照明光束1441指向指向用户眼睛160的照明光束路径152，使所述用户眼睛160看到与所述照明光束112A对应的显示图像。
所述投射的监控光束144M指向所述监控摄像头170，使所述监控摄像头170捕获与所述监控光束122A相对应的监控图像。
由于所述照明光束112A和所述监控光束122A均通过所述投影仪140投射，因此所述监控摄像头170捕获的监控图像可用于确定所述监控图像的方向或位置。
在一个实施例中，照明光源110配置成发射第一波长波段的光束，例如可见红绿蓝(RGB)光束，包括红光光束、绿光光束、蓝光光束或其组合。所述监控光源120配置成发射第二波长波段的光束，例如不可见光，使得所述监控光源产生的图像仅对所述监控摄像头170可检测到，而对人眼不可见。
在一个实施例中，照明光束路径152配置为在第一波长带中传播光，并且监视器光束路径154配置为在第二波长带中传播光。这样，所述投射的组合光束144A被分割成所述照明光束路径152和所述监控光束路径154。
在一个实施例中，在照明光束路径152之前设置滤光片以滤出第二波长的光束，使得只有第一波长波段的光束在照明光束路径152上传播。另外，在监视器光束路径154之前设置滤光片以滤出第一波长的光束，使得仅在第二波长波段的监视器光束在监视器光束路径154上传播。
由于所述监控光束112A被引导到与所述照明光束不同的路径上，因此它进一步提高了所述监控摄像头170处的信噪比。在一个实施例中，所述监控光束的功率大于所述照明光束的功率，使得所述信噪比进一步得到改善，以允许在所述摄像头170处识别所述监控图像。
在一个实施例中，所述照明光源110配置为向第一方向发射照明光束，监控光源120配置为向与所述第一方向相交的第二方向发射监控光束。所述照明光束和所述监控光束在所述投影仪的第一位置相交，并在所述投影仪的两个独立位置，即第二位置和第三位置输出。
然后输出光束在不同的方向上传播。所述投射的照明光束沿第一方向向用户的眼睛传播，所述投射的监视器光束沿第二方向向监视器摄像头传播。
或者在一个实施例中，光束组合器可用于将照明光和监视器光组合成指向投影仪140的组合光束。
图1B示出了投影系统100B的示例结构。所述投影系统100B包括光束组合器130，其配置为将照明光112B和监视光束122B组合成指向投影仪140的组合光束132。所述投影仪140配置为将所述组合光束132投射到所述投影组合光束144B中。与图1A中的投影组合光束144A类似，投影组合光束144B分割并在两个不同的光束路径152、154上传播。
如图1A或1B所示的投影系统100A或100B可在便携式投影仪和/或头戴式设备(例如VR/AR设备)中实现，允许便携式投影仪和/或头戴式设备自我监控和/或调整其轴视对准。值得注意的是，当在头戴式设备中实现时，可以实现两个这样的投影系统，一个用于左眼，另一个用于右眼。
图2A和2B示出了实现左投影系统200L和右投影系统200R的示例头戴式设备200的前视图和顶视图，其中每一个都对应于图1A或1B的投影系统100A或100B。如图所示，左投影系统200L包括照明光源210L和监控光源220。在一个实施例中，左投影系统200L还包括波束合并器230L。
参考图2B，所述照明光源210L配置为发出照明光束212L，所述监控光源220L配置为发出监控光束222L。光束组合器230L配置为将照明光束212L与监控光束222L组合成组合光束232L，再由投影仪240L投射成投影组合光束242L。
参考图2A，头戴式设备200同时包括照明光束路径252L(对应图1A或1B的照明光束路径152)和监控光束路径254L(对应图1A或1B的监控光束路径154)。
所述投射组合光束的第一部分通过照明光束路径252L向用户的眼睛传播(未示出)，所述投射组合光束的第二部分通过所述监视器光束路径254L向所述摄像头270传播。
所述投射组合光束的第一部分包含由所述投影仪240L投射的照明光束的至少一部分，使用户的眼睛看到与所述照明光束相对应的显示图像。所述投影组合光束的第二部分包含由所述投影仪240L投影的所述第一监视器光束的至少一部分。
再次参考图2B，两个监控波束路径254L和256L包括波束组合器260，其配置为将两个监控波束组合成组合的监控波束262。然后将组合的监控波束262传播到监控摄像头270中。
所述监控摄像头270配置为接收所述投射的组合光束的第二部分，并捕获与所述投影仪240L投射的所述监控光束相对应的监控图像。
然后，分析监视器图像以确定监视器图像的方向或位置。在确定监视器图像方向或位置不正确的情况下，调整投影仪240L的方向或位置。例如在一个实施例中，转换与所述照明图像相关联的图像数据，以使所述照明图像基于所述监视器图像的方向旋转特定角度。
作为另一个示例，可以变换与所述照明图像相关联的图像数据以使所述照明图像移动、放大和/或缩小。
在一个实施例中，照明光源210L配置为发射第一波长波段的光束，例如可见光，而监控光源220L配置为发射第二波长波段的光束，例如不可见光，使得由监控光源产生的图像仅对监控摄像头270可见，而对用户不可见。
在一个实施例中，所述监控光束的功率大于所述照明光束的功率，使得所述监控摄像头270捕获的所述监控图像具有足够的信噪比以允许识别所述监控图像。
在一个实施例中，所述照明光束路径252L被配置为在第一波长波段传播光，所述监视器光束路径254L配置为在第二波长波段传播光。因此，所述投射的组合光束分为照明光束路252L和监控光束路254L。
在一个实施例中，在照明光束路径252L之前设置滤光片以滤出第二波长的光束，使得只有第一波长波段的光束在照明光束路径252L上传播。另外，在监视器光束路径254L之前设置滤光片以滤出第一波长的光束，使得仅在第二波长波段的监视器光束在监视器光束路径254L上传播。
在一个实施例中，所述监视器图像包括一组预定的点或线。图3A和3B举例说明由监控摄像头270捕获的监控图像的示例。
如图3A所示，监控图像300A包括由四个点302A、304A、306A、308A组成的网格，所述网格可通过滤除第一波长带中的光束和/或使用配置为传播第二波长带中的光束的监控光束路径254L来实现。
在一个实施例中，将所述监控图像300A与所述监控摄像头270的轴视310A进行比较，以确定所述监控图像330A是否正确定向或定位。
如图3B所示，监控图像300B包括与显示图像320B叠加的由四个点302B、304B、306B、308B组成的网格，其可通过不滤除第一波长带中的光束，或使用配置为传播第一波长带和第二波长带中的光束的光束路径造成。
另外，可以将所述监控图像300B与所述监控摄像头270的内径310B进行比较，以确定所述监控图像300B是否正确定向或定位。在一个实施例中，监控光束222L、222R的功率大于(或显著大于)照明光束212L、212R的功率，从而进一步提高信噪比以允许识别监控图像。
回到图2A-2B中，头戴式设备200同时包括第二照明光源210R、第二监视器光源220R、第二光束组合器230R、第二照明光束路径252R和第二监视器光束路径254R、第一监视器光源220L、第一光束组合器230L、第一照明光束路径252L和第一监视器光束路径254L。第一组元件210L、220L、230L、240L和第二组元件210R、220R、230R、240R对称地设置在头戴式设备200的左右两侧。
第一组组件210L、220L、230L、240L配置为在用户的第一只眼睛上投射第一图像，第二组组件210R、220R、230R、240R配置为在用户的第二只眼睛上投射第二图像。
在一个实施例中，监控摄像头270配置为接收来自第一监控光束路径254L的第一投射组合光束的一部分和/或来自第二监控光束路径254R的第二投射组合光束的一部分。所述监控摄像头270配置为基于从所述第一监控光束路径254L接收到的第一光束捕获第一监控图像，和/或基于从所述第二监控光束路径254R接收到的第二光束捕获第二监控图像。
在一个实施例中，分别分析第一监控图像或第二监控图像以确定第一监控图像或第二监控图像中的每一个是否正确定向或定位。监控摄像头270配置为捕获相互覆盖的第一监控图像和第二监控图像。将第一监视器图像与第二监视器图像进行比较，以确定两只眼睛的相对内视是否对齐。
在一个实施例中，为每个投影系统实现单独的监控摄像头。例如，头戴式设备包括配置为从第一投影仪捕获第一监控图像的第一监控摄像头，以及配置为从第二投影仪捕获第二监控图像的第二监控摄像头。然后可以将所捕获的第一监控图像和第二监控图像与第一摄像头和第二摄像头的各自内径进行比较，或者相互比较以确定彼此的相对内径。
图4A和4B说明了由监控摄像头270捕获的图像400A、400B的示例，其中第一监控图像(从第一监控波束路径254L接收)和第二监控图像(从第二监控波束路径254R接收)彼此叠加。
如图4A所示，由监控摄像头270捕获的图像400A包括具有四个点402A、404A、406A、408A的第一网格的第一监控图像。第二监视器图像具有由四个点412A、414A、416A、418A组成的第二网格。所述第一监控图像与所述第二监控图像相互叠加。
如图4A所示，第一格点402A、404A、406A、408A与第二格点412A、414A、416A、418A未对齐，说明与两眼的相对视轴未对齐。
在一个实施例中，为了确定两个眼睛的相对轴视不对齐，将头戴式设备200配置为调整第一投影仪或第二投影仪(或第一照明图像和/或第二照明图像)中至少一个的方向或位置，以使相对轴视对齐。
图4B示出由监控摄像头270捕获的图像400B的示例，包括第一显示图像410B、具有四个点402B、404B、406B、408B的第一网格的第一监控图像、第二显示图像420B和具有四个点412B、414B、416B、418B的第二网格的第二监控图像。
所述第一显示图像410B、第一监控图像、第二显示图像420B、第二监控图像相互叠加。在一个实施例中，进一步处理叠加图像400B以提取第一监控图像和/或第二监控图像。然后分析所提取的第一监控图像和/或第二监控图像，以确定监控图像和/或第二监控图像是否正确定向或定位。
图8示出了在头戴式设备实现的示例方法800的流程图。所述方法800包括从第一投影仪捕获第一监控图像(act810)和从第二投影仪捕获第二监控图像(act820)。
act810，从第一投影仪获第一监视器图像由第一投影系统执行，而投影系统包括第一照明光源、第一监视器光源、第一光束路径、第二光束路径和摄像头。
act810，从第一照明光源发射第一照明光束(法案710)，从第一监控光源发射第一监控光束(法案720)，以及通过第一投影仪将照明光束和监控光束投射到第一投影光束中。在一个实施例中，第一照明光源和第一监视器光源被配置成向彼此感兴趣的不同方向发射光，并且将第一照明光束和第一监视器光束组合成指向第一投影仪的第一组合光束。
act810同时包括将第一投射组合光束的第一部分通过第一光束路径向用户的第一眼睛传播，并将第二投射光束的第二部分通过第二光束路径向摄像头传播，然后通过摄像头捕获监控图像。
act820，类似地，从第二投影仪捕获第二监视器图像由第二投影系统执行，而投影系统包括第二照明光源、第二监视器光源、第三光束路径、第四光束路径和摄像头。
在一个实施例中，第一投影系统和第二投影系统共享同一摄像头。第一投影系统包括第一摄像头，第二投影系统包括第二摄像头。第一监控图像和第二监控图像被捕获为彼此叠加。在一个实施例中，分别捕获第一监控图像和第二监控图像。
act830，然后，将第一监控图像和第二监控图像相互比较，以确定第一投影仪和第二投影仪的相对内视是否彼此对齐。
act840，作为对确定相对轴距未对齐的响应，调整第一或第二投影仪中至少一个的方向或位置。在一个实施例中，为响应于确定相对轴视是否对齐，投影系统可以基于用户输入，在预定时间和/或以预定频率再次重复动作810-830。
在一个实施例中，照明光束和监视光束不组合或平行。照明光束和监控光束在投影仪内部相交，并在两个独立的位置出来。这样的实施例使得将照明光束发送到用户的眼睛和将监控光束发送到监控摄像头变得容易。
相关专利：Microsoft Patent | Monitoring position and orientation of a projector
名为“Monitoring position and orientation of a projector”的微软专利申请最初在2022年1月提交，并在日前由美国专利商标局公布。
