微软AR/VR专利在物理显示屏、3D虚拟屏间的实现鼠标迁移，为XR混合办公提供技术支持
3D空间和物理平面显示器之间的迁移
（映维网Nweon 2023年12月12日）办公是头显的一个重要用例。通过头显，系统可以呈现远大于物理显示屏的显示空间。然而，这种用例涉及相关数字内容从3D虚拟空间移回物理显示屏，或者从物理显示屏移到3D虚拟空间的情况，例如用户控制鼠标指针/鼠标提示符从3D空间回到物理显示屏或者从物理显示屏移到3D空间。
名为“Mouse cursor and content migration between 3d space and physical flat displays”的微软专利申请就介绍了一种相关的方法，尤其是鼠标提示符和内容从3D空间到物理平面显示器的迁移。
图3示出了一种增强现实环境。场景呈现为用户可见的真实世界对象，例如具有有界显示区域322的显示屏320。用户可以通过基于鼠标330的鼠标提示符326与不同应用程序交互。
图3B示出了一个类似的场景，其中用户将鼠标提示符326移出显示屏的有界显示区域的边缘。由于鼠标提示符是真实世界的对象实例或交互控制对象的表示，所以不能将其物理移动到真实世界显示屏的有界显示区域之外。
所以根据从用户接收到的方向输入，鼠标提示符显示为仅移动到显示区域内可能的最远点。
但对于可以通过数字形式扩大显示空间的增强现实，可以通过在显示屏的有界显示区域之外的增强现实环境中生成和呈现鼠标提示符的虚拟对象实例来表示鼠标提示符在显示区域之外与用户输入相称的移动。例如，图3C和3D就显示了这种情况。
在一个实例中，一旦接收和/或处理用于将交互式控制元素（鼠标提示符）移动到有界显示区域之外的输入，就生成鼠标提示符327的虚拟对象实例。
在其他情况下，仅为响应检测和/或处理用户输入而生成鼠标提示符327的虚拟对象实例，例如根据用户输入指向或足以将交互式控制元素的预定百分比或阈值百分比移动到有界显示区域之外。预定百分比可以大于或小于交互式控制元素的50%，以容纳不同的用户体验，并为用户意外提供的非预期用户输入提供缓冲。
在本例中，鼠标提示符326的真实世界对象实例与鼠标提示符327的虚拟对象实例同时显示。但在其他实施例中，系统将终止真实世界鼠标提示326的显示，以响应于呈现鼠标提示327的虚拟对象实例。
例如在图3E示出的场景中，终止真实世界的鼠标提示326的显示，并且只显示鼠标提示327的虚拟对象实例。
图3E同时说明了鼠标提示符327的虚拟对象实例如何可以作为应用程序的交互控制对象操作，以与增强现实场景中的一个或多个虚拟对象进行交互。
鼠标提示符327的虚拟对象实例同时可以作为应用程序的交互式控制对象进行操作，并用于与应用程序界面的虚拟对象显示实例352的一个或多个元素进行交互。
根据不同的状态，可以通过修改相应虚拟和/或现实对象实例的一个或多个显示属性，以相同或不同的表示格式呈现不同的交互式控件对象。
如图3F所示，应用程序界面的虚拟对象实例352通过至少呈现一组不同的显示元素，以不同的呈现样式呈现真实世界对象实例324。额外的项目专门对应于与虚拟对象交互的功能，与现实世界的对象无关。
在一个实施例中，应用程序界面的虚拟对象实例352至少部分缩放，例如相对于真实世界对象实例324的大小放大，从而促进不同菜单图标的可见性和可用性。这将允许用户在低分辨率头显的虚拟环境中更容易看到相关对象。
图4a-4c示出了用户提供用于控制移动和选择的输入。为了帮助管理和组织多个不同的虚拟对象和/或现实世界的显示对象，系统同时配置为在场景中以相对深度呈现不同的对象。
图5A-5E举例说明了使用手500作为控制器来与虚拟对象实例350的元素进行交互的实施例。为响应用户将虚拟对象实例350所表示的交互控制对象从第一位置移动到第二位置的输入，系统将自动将交互控制对象完全呈现在有界显示区域322内。这样，交互控制对象的任何部分都不会在限定的显示区域之外呈。
当系统将交互控制对象完全呈现在有界显示区域322内时，交互控制对象可以呈现为虚拟对象实例，或可以呈现为现实世界对象实例，并基于系统使用状态数据对是否生成和呈现现实世界对象实例的判断。
图6示出了与用于促进在增强现实场景中呈现可控界面对象的的流程图600。
如图6所示，首先将可控界面对象呈现为位于物理现实世界显示屏的有界显示区域之外的第一位置的虚拟对象。然后，响应旨在将可控界面对象移动到第二位置的用户输入。随后，可控界面对象响应地完全呈现在限定的显示区域内。
如前所述，头显显示器通常以低于物理屏幕的分辨率呈现虚拟对象。因此，可以增大虚拟对象的显示尺寸以增加清晰度。不同大小的表示可以方便用户选择对象元素并与之交互。
图7示出了用于促进在增强现实场景中呈现可控界面对象的流程图700。在本实施例中，首先将可控界面对象呈现为在增强现实场景中可见的物理真实世界显示屏的有界显示区域内的真实世界对象实例。
然后，为响应检测用于在物理真实世界显示的有界显示区域之外呈现所述可控界面对象的用户输入。随后，将所述可控界面对象至少部分地呈现在所述有界显示区域之外，并作为所述可控界面对象的虚拟对象实例。
值得注意的是，用于在物理现实世界显示器的有界显示区域之外呈现可控界面对象的用户输入包括用于将可控界面对象的现实世界对象实例从至少在有界显示区域内的第一位置选择，并移动到至少部分位于物理现实世界显示器的有界显示区域之外的第二位置的用户输入。
实施例同时包括配置计算系统，使可控制界面对象的真实世界对象实例呈现在一个或多个不同于第一和第二位置的位置，完全位于和/或邻近物理真实世界显示器的有界显示区域的边缘。并且响应于检测用户输入，用于在物理真实世界显示器的有界显示区域内选择并移动所述可控界面对象的真实世界对象实例从第一位置到第二位置。
这个配置使可控制界面对象从第一个位置移动到第二个位置时的动画。这包括在有界的显示区域内，沿着显示区域的边缘留下可控界面对象的表示，同时在显示区域外呈现相应的虚拟对象实例。
当在有界显示区域之外用可控制界面对象的虚拟实例呈现可控制界面对象的第一部分，同时在有界显示区域内的第二个位置用真实对象实例呈现可控制界面对象的剩余部分时，所述配置特别有用。
以这样的方式使所述可控界面对象的第一部分和第二部分作为所述可控界面对象的集成版本连接在一起。呈现的每个对象实例的部分将动态更改，以反映可控制界面对象的相对移动。可以理解的是，这可以通过使可控制界面对象的动画运动来更加无缝来增强用户体验。
在一个实施例中，通过在增强现实环境中以相对深度呈现可控界面的不同对象实例，所述配置有利于增强用户体验。当对象相对于用户沿同一视线或方向轴定位时，这尤其有用。
另外，可以动态地切换不同对象的表示模式，以响应不断变化的环境和状态数据。例如，系统进一步配置为以第一呈现模式呈现所述交互式虚拟对象实例，随后以第二呈现模式显示所述可控界面对象的虚拟对象实例。
相关专利：Microsoft Patent | Mouse cursor and content migration between 3d space and physical flat displays
名为“Mouse cursor and content migration between 3d space and physical flat displays”的微软专利申请最初在2022年5月提交，并在日前由美国专利商标局公布。
需要注意的是，一般来说，美国专利申请接收审查后，自申请日或优先权日起18个月自动公布或根据申请人要求在申请日起18个月内进行公开。注意，专利申请公开不代表专利获批。在专利申请后，美国专利商标局需要进行实际审查，时间可能在1年至3年不等。
