微软AR/VR专利分享为MR透视视图提供更多外围视觉
视觉控制系统
（映维网Nweon 2024年07月24日）VR允许用户完全沉浸在虚拟体验中。但有时候需要提供关于现实世界的视图，例如用户想要接听重要电话或与周围人互动。在配备前置视觉系统的VR头显中，这意味着暂停VR体验，并提供相关的透视视频。
然而，由于配置近眼显示器视场或前置视觉系统的限制，透视视频解决方案可能并不完美，缺乏与用户自然周边视觉全范围对应的高角度内容。
在日前由美国专利商标局公布的一份专利申请中，微软就介绍了一种相关的解决方案，并提供了进一步的优点。
在一个实施例中，发明主要介绍了一种视觉控制系统，每个视觉控制系统都包括一个电致变色的插件，它位于近眼显示框的相对外围两侧。电致变色插件在无电状态时不透明。然而，电致变色插件耦合到控制电路，并可根据合适的控制信号增加光学透光率。在与透视视频的连接中，控制信号可以根据任何所需的触发条件进行控制。
图1示出示例视觉控制系统102的各个方面。所述视觉控制系统配置为由用户佩戴，并对所述用户接收的视觉图像施加主动控制。以这种方式，视觉控制系统可以为用户呈现和/或编组沉浸式虚拟现实。在图1所示的示例中，视觉控制系统102包括耦合到头戴式框架106的近眼显示系统104。
近眼显示系统102配置用于双眼图像显示。所以，所述近眼显示系统包括在用户右眼前呈现右侧显示图像116R的右侧单目系统114R，以及在用户左眼前呈现左侧显示图像116L的左侧单目系统114L。对于立体显示，可以将右侧和左侧显示图像配置为适合显示三维主体或场景的立体视差。
图2示出示例单目系统214的各方面。所述单目系统包括配置成形成显示图像216的显示投影仪218。显示投影仪包括一个高分辨率空间光调制器SLM220。在单目系统214中，显示投影仪218发出的显示光通过一个有限尺寸的物理孔径。显示投影仪的下游光学元件将显示光聚焦到用户的右或左瞳孔。
扩展光学元件224配置为从显示投影仪218接收显示图像216，并向光瞳位置226释放显示图像的扩展形式216’。在所述实施例中，所述扩展光学器件包括光波导228、入口光栅230和出口光栅232。扩展光学器件同时可以包括图2中未示出的其它光栅。
入口光栅230是衍射结构，配置为接收显示图像216并将显示图像的光耦合到光波导228中。在耦合到光波导后，显示光从光波导的正面和背面以全内反射TIR的方式通过光波导传播。出口光栅232是衍射结构，其配置为从光波导向光瞳位置226方向可控地释放所述传播的显示光。
所以，出口光栅包括沿显示光通过光波导的传播方向由弱到强排列的一系列光提取特征，从而允许显示光在出口光栅的长度上以均匀的强度释放。这样，扩展光学224可以配置为扩展显示投影仪218的出射光瞳。
现在回到图1。当用户佩戴框架106时，每个侧护罩都配置为阻止环境光到达用户的眼睛。遮光功能对于提供沉浸式VR体验非常重要，尤其是在呈现相对较低亮度的虚拟图像时。在单目系统114基本不透明的例子中，侧护罩134主要阻挡来自周边方向的环境光。
视觉控制系统102包括耦合到框架106并配置为向近眼显示系统104提供透视视频的视觉系统138。视觉系统138包括至少一个面向世界的摄像头140，配置为获取视觉控制系统前方场景的视频。具体地说，面向世界的摄像头可以具有朝向前方的光轴和相对于光轴跨越约±50水平度和约±40垂直度的视场。更宽和更窄的视场同样值得考虑。
视觉系统138包括视频混合引擎142。视频混合引擎配置为将来自前置摄像头的视频与来自计算机108的全息图引擎144的虚拟图像混合。通过这种方式，视觉系统配置为模拟AR体验，基于前置摄像头的透视视频，并通过全息图引擎的虚拟图像进行增强。
视觉系统138包括配置成感测头戴式框架106周围的运动的运动感测引擎146。所述运动感引擎接收来自惯性测量单元IMU 148的输入。IMU包括一个线性加速度计、一个电子陀螺仪和一个电子罗盘。运动感觉引擎根据框架方向的同步变化，周期性地评估前置摄像头140获得的图像的演变。
在一个实施例中，视觉控制系统102包括配置为以手指触摸或轻拍的形式接收用户输入的触控板150。这种形式的输入可以在视觉控制系统中发挥各种功能，但有时候，它可以特别表明用户想要暂停沉浸式VR体验，并查看物理世界场景。
所以，可以将触控板配置为根据检测到手指触碰或轻拍而发出适当的控制信号。在其它示例中，可以使用机械开关或拨号盘代替触摸板。在另一些示例中，用户的位置可以用作意图保持沉浸或退出VR体验的指示。
视觉控制系统102包括音频输入系统152。在所示的示例中，音频输入系统包括麦克风154、音频放大器156和语音识别引擎158。所述音频放大器配置为放大来自所述麦克风的音频信号。可以在语音识别引擎158中接收放大的音频信号，语音识别引擎158配置为识别来自用户的语音命令。
在一个例子中，音频输入系统在检测到任何大于预定阈值的声音时发出控制信号。在其他示例中，音频输入系统在检测到已识别的语音命令时发出控制信号，例如“我想看看现实世界”。
视觉控制系统102包括控制电路160。控制电路配置为接收来自一个或多个视觉控制系统组件的控制信号。根据接收控制信号，控制电路致使视频混合引擎142增加透视视频对近眼显示104的比例，并降低全息内容的比例。在这种情况下，用户无需摘除头显就能够通过视觉系统138立即看到尽可能多的真实世界。
如上所述，这个解决方案中的问题是，近眼显示器104和/或前置摄像头140的视场可能相对于用户的生理视场有限。换句话说，仅接收透视视频的用户，当请求或需要世界视图时，其可能缺乏足够的周边视觉。当世界视图出乎意料地呈现时，周边视觉的减弱可能会令用户感到特别不安。
为了解决这一问题并提供进一步的优势，可以将左电致变色插件162L设置在头戴式框架106的左侧，并且将右电致变色插件设置在右侧。
在具有侧护罩134的配置中，每个电致变色插件可以配置为接收到相应的侧护罩中。电致变色插件可包括相对透明电极和设置在相对透明电极之间的聚合物膜结构。
图3示出示例电致变色插件362的其他方面。在电致变色插件362中，聚合物薄膜结构364夹在透明电极366和366之间。第一电致变色导电层370与第一透明电极366相邻，第二电致变色导电层370’与第二透明电极366相邻。离子传导层372设置在第一和第二电致变色传导层之间。
在一个实施例中，每个电致变色传导层包括氧化还原活性材料薄膜。所述薄膜可具有沿厚度方向延伸的离子导电和/或离子多孔结构，从而提供以电子方式耦合到相邻透明电极的高面密度的氧化还原活性位点。离子传导层372可包括负载有可交换反离子的聚电解质。离子传导层可以在一定程度上穿透电致变色导电层，使得离子传导层的可交换反离子可以进入两个电致变色导电层的氧化还原活性位点。
当其中一层电致变色导电层被氧化而另一层还原时，这一机制提供了局部电荷平衡。离子传导层同时作为防止第一和第二电致变色传导层之间直接电子耦合的屏障。
在典型实施例中，第一电致变色导电层的氧化还原活性材料不同于第二电致变色导电层的氧化还原活性材料，其中至少一个电致变色导电层包括其透光率随氧化态变化的材料。所述材料可以是过渡金属氧化物(或过渡金属氧化物的混合物。当在透明电极施加瞬态电偏置时，其中一层电致变色导电层被氧化而另一层被还原，从而导致聚合物薄膜结构364上的光学透射率的净变化。
值得一提的是，团队同样设想了基于其他物理化学效应的电致变色插件。例如，在特定电致变色插件中，聚合物薄膜结构可以包括夹在相对透明电极之间的聚合物分散液晶层。在没有施加电偏压的情况下，随机排列的液晶分子会使穿过薄膜的光散射，从而降低光学透射率。然而，当施加电偏置时，电极之间的电场可能使液晶分子与光轴对齐，从而减小散射截面，增加光学透射率。
为了支持电致变色插件362的可逆退色，将控制电路360电耦合到外围触点368和368’，并配置为根据控制信号向外围触点施加电压。当电极366和366′不偏置时，电致变色插件362松弛到低透光率状态。当透明电极366和366之间的电压增加时，电致变色插入变得更具有透射性，与施加电压的大小相称。
所以，控制电路提供了控制电致变色插入的光学透射率的重要效果，从而可以可控地阻挡从左右两侧到达用户眼睛的光。
图4是电致变色插件的光学透射率作为施加电压的函数的假设图。一般来说，电致变色插件的光学透射率随施加于其透明电极的电偏置而变化。通常，透射率的变化基本上与可见光谱上的波长无关。
图5示出另一电致变色插件562的各方面。电致变色插件562包括公共透明电极566 ‘和一系列相对的透明电极566A至566D，与公共电极平行堆叠。在这种结构中，每个相对电极通过相应的外围触点568独立偏置。在所示的示例中，电致变色层570和570 ‘以及离子传导层572在配准中与一系列相对的透明电极分段。
图6显示了另一种电致变色插件662L的各个方面。电致变色插件662L从头戴式框架606的左侧到底部弯曲，从而可以可控地阻挡来自设备下方的光线。在视觉控制系统602中，侧护罩634L包括一个不透明的边框673，围绕着电致变色插入暴露的窗口。一般地，视觉控制系统可以包括位于头戴式框架一个或多个不同位置的任意数量的电致变色插件。
图7示出用于操作视觉控制系统的示例方法700。如上所述，视觉控制系统包括设置在近眼显示系统的头戴式框架一侧的电致变色插件。
方法700包括检查用户输入的操作，这可能表明用户想要或需要看到真实世界。例如在774A，视觉控制系统检查触控板的手指触摸，如果检测到手指触摸，则在774B发出控制信号。在774C时，视觉控制系统检查来自音频输入系统麦克风的声音，如果声音大于预定阈值，则发出控制信号。
在774D处，视觉控制系统的运动传感器检查在头戴框架周围感知到的运动。如果检测到超过预定阈值的运动，则视觉控制系统发出控制信号。
在774E，视觉控制系统的视频混合系统根据接收到的控制信号，将前置摄像头的视频传送到近眼显示系统。在774F处，电致变色插件的控制电路根据接收到的控制信号，偏置至少两个电耦合到电致变色插件的至少两个透明电极的外围触点，从而增加电致变色插件的光学透射率，并相应地增加用户对真实世界的外围视觉。
在图1所示的实施例中，近眼显示系统104完全集成到视觉控制系统102中。
类似的结构如图8所示，其中侧护罩834可与头戴式框架806和电致变色插件862分离。可拆卸侧护罩提供了重要的效果。在其他例子中，视觉控制系统可能是近眼显示系统的附加组件。这种方法允许视觉控制系统能够在售后市场提供给兼容的近眼显示系统所有者。另外，它支持视觉控制和近眼显示系统的组件分别清洁、维修和/或更换。
图9显示了另一视觉控制系统902的各个方面。视觉控制系统902包括电致变色插件962，其配置用于布置在近眼显示系统的头戴框架906的左侧。如上所述，电致变色插件包括至少两个透明电极，其至少两个外围触点968和968′分别延伸至至少两个透明电极。
视觉控制系统902包括侧护罩934，侧护罩配置为连接到头戴式框架的左侧。在图9所示的实施例中，侧护罩可从头戴式框架906拆卸。外围触点968和968 ‘配置为可拆卸地与头戴式框架的相应触点976和976 ‘匹配。设置在头戴框架中的控制电路通过相应的触点电耦合到外围触点。在本例中，外围触点延伸到侧护罩934的外围边缘979。
图10示出另一视觉控制系统1002的各个方面。视觉控制系统1002包括电致变色插件1062，其配置用于布置在近眼显示系统的头戴框架1006的左侧。如上所述，电致变色插件包括至少两个透明电极，其至少两个外围触点1068和1068′分别延伸至至少两个透明电极。
视觉控制系统1002包括侧护罩1034，侧护罩1034配置用于连接到头戴式框架的左侧。在图10所示的实施例中，侧护罩1034可从所述头戴框架拆卸。外围触点1068和1068 ‘配置为可拆卸地与头戴式框架的相应触点1076和1076 ‘匹配。
设置在头戴框架中的控制电路通过相应的触点电耦合到外围触点。外围触点设置在电致变色插件的外围边缘1079。在这里，电致变色插件可从侧屏蔽1034拆卸，并且配置为连接到头戴式显示框的侧面。
相关专利：Microsoft Patent | Vision-control system for near-eye display
名为“Vision-control system for near-eye display”的微软专利申请最初在2023年1月提交，并在日前由美国专利商标局公布。
