微软专利分享元宇宙远程会议中2D与3D的无缝过渡方法
2D和3D无缝过渡
（映维网Nweon 2023年12月26日）远程会议的发展正在促进元宇宙的普及。然而，当前在线会议应用使用元环境的其中一个主要问题是，并非会议的所有参与者都拥有相同类型的设备。例如，特定用户操作PC，而其他用户操作VR头显。
桌面设备用户有时处于不利地位，因为他们无法导航或与虚拟环境中的所有用户进行交互。当计算机提供3D环境的2D视图时，计算机在如何接收用户导航或与3D环境交互的输入手势方面受到限制。
可以说，目前的技术并不能给VR头显用户和PC用户带来相同的体验。另外，即便用户想要从VR头显过渡到桌面设备，或者反之亦然，现有系统都并不总是在聚会或公司会议等活动中提供无缝过渡。
在名为“2d and 3d transitions for renderings of users participating in communication sessions”的专利申请中，微软就介绍了一种相关的2D和3D无缝过渡方法。
图1A和1B说明了当用户参与通信会话时，用户界面安排从用户的二维图像的显示到用户的三维表示的呈现的转换。
所述通信会话可由由若干台计算机11组成的系统100来管理，每台计算机11对应于若干用户10。在本例中，第三用户10C的呈现将经历从2D模式到3D模式的转换。
为了开始转换，系统可以接收一个输入，以引起特定用户的二维图像呈现的显示转换。在本例中，输入标识第三个用户10C。所述输入同时可以提供允许所述系统访问为所述第三用户10C的三维表示定义位置和方向的3D模型的许可。所述位置和方向可包括用于在本文也称为虚拟环境200的3D环境200内表示的矢量和坐标。
作为对接收输入的响应，系统100的一台或多台计算机可以对用户界面101进行修改，以删除如图1A所示的用户10C的图像151C的渲染，并添加如图1B所示的用户10C的3D表示251C的渲染。根据在3D模型中定义的坐标和/或向量，可以在3D环境中定位和定向用户10C的3D表示251C的呈现。
在本例中，删除了用户10C的2D图像的渲染，然后可以用其他渲染代替。例如，将图1A所示的第三用户10C的2D图像渲染在UI中替换为图1B所示的另一用户第四用户10D的另一2D图像。
这种转换使用户能够使用不同的模式与计算设备进行交互。例如，在本例中，如果所选用户10C希望从通信会话中的实时视频流转换到允许该用户与3D环境中的其他用户交互的另一种操作模式，则系统将用户从允许其与一般内容、文档、电子表格和幻灯片交互的一种模式转换到允许其与3D对象交互的另一种模式。
通信会话期间的这种转换允许所选用户在每个环境中使用适合不同内容类型的编辑工具。例如，如果视频流中的一个人希望离开使用2D图像向用户显示的2D模式，并进入3D环境向其他用户展示如何在特定位置移动对象或塑造特定的3D对象，则一旦用户能够在通信会话中进行转换，他们就可以更容易地做到这一点。
用户可以使用台式PC完成这种转换，而无需使用任何类型的XR头显。使用桌面的这种转换使用户能够使用桌面计算机进入与3D计算环境交互的3D模式，这可能更适合于编辑或查看特定类型的内容。
微软指出，其中一个技术优势是，系统可以允许用户在通信会话的3D模式和2D模式之间切换，而不管他们与什么硬件进行交互。
发明所述技术同时适用于头显。在这样的实施例中，用户在将交互模型从3D计算环境转换到2D计算环境时，可以保持仅使用一个计算设备，例如头显。所以，用户可以在3D计算环境中启动，并通过3D表示251C的呈现来表示，例如图1B所示的表示。
然后，响应一个或多个输入，例如用户开始编辑具有特定文件类型的内容，或基于指示执行UI转换意图的输入，系统可以转换UI以删除3D表示251C的呈现，如图1B所示，并生成用户的2D图像151C的呈现，例如图1A所示的表示。这允许用户在不实际使用使用平面屏幕显示和键盘的桌面设备的情况下过渡到2D环境。
图2A和2B说明了当用户参与通信会话时，用户界面从具有用户的二维图像的显示到用户的三维表示的呈现的转换的另一个示例。
在本例中，用户界面201是基于3D模型的3D环境的呈现。用户界面201以第一用户10A的表示251A的3D呈现和第二用户10B的表示251B的3D呈现开始。每个表示的3D渲染都有一个位置和一个方向，由存储在3D模型中的虚拟对象属性决定。
3D环境同时包括虚拟对象275，其形式为安装在虚拟环境墙壁的虚拟平面电视。虚拟对象275具有显示虚拟用户界面的显示表面，虚拟用户界面显示第三个用户10C的2D渲染151C和第四个用户10D的2D渲染151D。
图3A和3B说明了第三用户转换的另一个方面。在本例中，第三用户10C的呈现经历了从2D模式到3D模式的转换。
如图3A所示，用户界面301首先显示杰思敏、劳伦斯和麦克的二维图像，分别显示为图像151A、151B和151D的效果图。用户界面同时包括具有其他用户的两个3D表示251A和251B的3D环境200的呈现。
为了响应本文所述的输入数据，系统执行转换。在第三用户的过渡中，第三用户10C的第三计算机11C从图3A所示的用户界面过渡到图3B所示的用户界面。
如图3B所示，在转换之后，夏洛特的计算机11C显示修改后的用户界面301。系统维护每个用户的状态，例如图3A中所示的两个用户作为三维表示251A和251B，同时维护为图3B中所示的三维表示251A和251B。
同样如图3B所示，修改后的用户界面301包括虚拟对象275，虚拟对象275在本例中为虚拟显示设备，其显示最初以2D图像显示的其他用户的2D渲染，例如图3A中的杰思敏和劳伦斯。
这个修改后的301用户界面现在显示夏洛特的视角，就好像她从2D环境传送到3D环境一样。与其他例子类似，在这种传送中，系统可以根据一个或多个因素确定夏洛特Avatar的位置和方向。
在这样一个例子中，夏洛特可能正在操作一个设备，比如PC。然后，响应本文所述的一个或多个输入，系统可以在继续使用桌面PC的同时从图3A的用户界面过渡到图3B的用户界面。即使不使用传统上用于查看3D渲染的头显，都可以实现这个示例的过渡。
在另一个例子中，过渡可以涉及夏洛特从图3B的用户界面开始，然后过渡到图3A的用户界面的过程。在这样一个例子中，夏洛特可能正在操作单个设备，例如头戴式显示器。她首先查看图3B所示的3D环境，然后响应本文所述的一个或多个输入，系统可以从图3B的用户界面过渡到图3A的用户界面，同时继续使用头显。即使不使用传统上用于查看2D图像的计算机，都可以实现这个示例的转换。
图4A说明了UI转换的其他特性。当接收用于致使UI从用户10C的2D图像的呈现转换到用户10C的3D表示的呈现的输入时，系统可以确定用户10C的3D表示的位置和方向。
例如，如果一个虚拟环境200的模型开始时只有两个代表用户的虚拟对象351A和351B，则系统可以确定新增加的代表用户的虚拟对象351C的位置和方向。在本例中，当输入表明特定用户，例如第三用户10C时，系统可以根据虚拟环境200中其他用户的位置和/或共享内容的位置，确定表示第三用户10C的虚拟对象351C的位置和方向。
在一个说明性示例中，如果系统确定用于表示第三个用户10C的虚拟对象351C将添加到虚拟环境200中，则系统可以以一种方式定位虚拟对象351C，使得虚拟对象351C呈现出用户的Avatar正在查看与用户10C共享的内容。
在另一个例子中，如果系统确定用于代表第三个用户10C的虚拟对象351C将添加到虚拟环境200中，则系统可以以一种方式定位虚拟对象351C，使虚拟对象351C看起来像是用户的Avatar正在看着与用户10C交谈的用户的Avatar。
在一个实施例中，每个虚拟对象351的放置可以基于团队成员、用户组和/或由单个用户或用户组建立的策略的分布。例如，如果一个人是公司团队的一部分，当其中一个人在转换用户界面的输入中识别时，他们对应的Avatar将被定位在其他团队成员的阈值距离内。
图4B示出系统的两种操作模式，以及每种操作模式如何改变参与通信会话的个体的权限。在图4B的上半部分的第一种操作模式中，当3D模型中不包含用户的表示时，权限可以允许系统使用图像文件来显示用户的2D图像。
在这种情况下，3D模型数据处于第一状态320A，其中所选用户在3D环境200中没有表示该用户的虚拟对象。当3D模型处于这种状态时，所选用户在3D环境中没有表示该用户的虚拟对象，与该用户关联的权限数据315配置为允许系统和其他用户访问该用户的图像数据310。这意味着所述系统和每个远程用户的客户端可以使用所述图像数据310生成该用户的呈现，或者所述系统可以编辑所述图像数据310。
当系统检测到3D模型数据处于第二状态，例如，模型数据320B包括代表所选用户的虚拟对象351C时，系统修改权限以限制该特定用户对图像数据的使用。如图所示，修改权限数据315以限制系统读取图像数据310以显示该特定用户的2D图像。在这种操作模式下，将权限配置为限制所有用户访问图像数据，从而阻止所有客户端访问或显示2D图像文件。
图5A和图5B示出了配置为在相对于共享内容的3D环境200中定位用户的表示的系统的特征。
图5A示出了用于第一用户351A和第二用户351B的Avatar定向为在3D环境中查看共享内容的场景。它们共享的内容可以显示在虚拟对象上，例如虚拟显示屏。当系统检测到有一定数量的用户正在查看共享内容时，系统会为拥有Avatar的第三个用户生成进入3D环境的方向。
特征的一个示例如图5B所示。在本例中，将第三用户351C的Avatar添加到虚拟环境中。第三用户351C的Avatar指向共享内容，以响应系统检测到其他用户在其视场内具有共享内容。系统同时可以确定每个人视场的几何形状，并确定第三个用户的Avatar的位置，使得第三个用户的Avatar不会阻挡其他用户的视场。
图6A和图6B示出了配置为相对于其他用户在3D环境200中定位。图6A示出了一种场景，其中第一用户和第二用户的Avatar定向成用户在虚拟环境中相互看着。
在一个特定的团队或预先确定的群体中，当系统确定有一定数量的人在相互注视时，系统可以定位进入环境的第三个用户的Avatar，这样Avatar的位置就可以看向其他用户。图6A显示了在视场内具有至少三个具有其他组成员的用户的若干虚拟形象。当系统确定某个阈值数量的虚拟角色在视场内拥有其他组成员时，如图6B所示，系统可以允许新的组成员加入具有允许该用户查看其他组成员的位置和方向的虚拟环境。
名为“2d and 3d transitions for renderings of users participating in communication sessions”的微软专利申请最初在2022年5月提交，并在日前由美国专利商标局公布。
需要注意的是，一般来说，美国专利申请接收审查后，自申请日或优先权日起18个月自动公布或根据申请人要求在申请日起18个月内进行公开。注意，专利申请公开不代表专利获批。在专利申请后，美国专利商标局需要进行实际审查，时间可能在1年至3年不等。
