微软专利介绍不同位置用户共享虚拟内容的MR协作方法
MR协作
（映维网 2021年12月20日）对于混合现实，一个重要的用例是远程协作。但是，如果远程位置的人们通过MR头显来共享内容并与内容交互，真实空间和/或虚拟对象之间的差异可能会带来挑战。在名为“Remote collaborations with volumetric space indications”的专利申请中，微软介绍了一种相关的MR协作方法。
以图1和2为例，起居室108和公寓118中的真实世界对象不同，并且布置在不同的位置，所以与两个空间中共享的全息图协作可能会带来挑战。例如，如果女性用户104共享全息图，并将其显示在男性用户114的公寓118中靠近壁挂式显示器126的地板，则男性用户114的全息图视图可能会被桌子130遮挡。
另外，桌子130可能会对男性用户114接近全息图和/或与全息图交互造成物理障碍，并且可能会造成碰撞危险。在其他示例中，两个或多个用户希望以协作方式共享虚拟图像，因此在不同环境中显示图像具有挑战性。
微软的发明主要介绍了用于支持不同位置用户共享虚拟内容的方法。简单来说，当两台通信设备判断两面用户前方的空间都不存在任何物理和虚拟对象时，则可在前方空间显示协作全息内容。
在一个示例中，计算设备接收第一环境的第一空间映射和第二环境的第二空间映射。计算设备确定第一环境中的第一体三维空间满足至少一个协作标准，并且第二环境中的第二体三维空间满足协作标准。基于确定所述第一体三维空间和所述第二体三维空间各自满足所述至少一个协作准则，所述计算设备使得所述第一体三维空间的指示由所述第一环境中的第一显示设备显示，以及第二体三维空间的指示由第二环境中的第二显示设备显示。
再次参考图1A和1B，在一个示例中，女性用户104的头显设备110可以接收其起居室108的第一空间映射。头显设备110中的一个或多个图像传感器可以收集图像数据（深度数据和/或可见光数据）。使用所述数据，头显设备110可以生成三维空间映射，所述三维空间映射包括起居室108中真实世界表面的表面重建和/或其他深度映射。
例如，空间映射可以包括众多空间曲面，表示为附加到世界锁定的空间坐标系的三角形网格。在其他示例中，起居室108的图像数据可以由一个或多个其他图像传感器收集，例如安装在房间中固定位置的摄像头。在这些示例中，头显设备110经由网络直接从图像传感器和/或中间计算设备（例如边缘计算设备）接收图像数据。
使用起居室108的三维空间映射，头显设备110确定起居室内适于与另一远程用户协作的体三维空间。在一个示例中，头显设备110确定候选体三维空间是否满足一个或多个协作标准。在一个示例中，协作标准包括确定候选体三维空间中不存在对象。换言之，头显设备110确定候选体三维空间是否没有任何真实世界和/或显示的虚拟对象。如果确定体三维空间满足协作标准，则头显设备110向用户显示第一体三维空间的指示。
回到图1A，在这个示例中，头显设备110确定包含在虚线勾勒的矩形体积内的体积空间134满足候选体三维空间中没有对象的协作准则。所以，头显设备110可以向女性用户104显示体三维空间的轮廓138，从而提供体三维空间134的指示。在其他示例中，可显示体三维空间134的任何其他适当指示，例如通过略微着色或高亮显示体积等等。另外在其他示例中，可使用体三维空间的任何适当形状或几何体，包括其他平面，弯曲和/或不规则表面。
通过这种方式，虚拟内容（例如从另一个用户共享并在体三维空间134内显示的全息图）不会被起居室108中的任何物理或虚拟对象遮挡。另外，在与另一远程用户协作期间，女性用户104可以在体三维空间134周围自由移动，而不用担心撞到任何物理对象。体三维空间134的轮廓138同时可以显示在相对于起居室108的固定位置。以这种方式，系统可以为与远程用户的协作提供一致且固定的空间量。
下面可以以类似方式参考图1B，男性用户114的头显设备122确定包含在虚线勾勒的矩形体积内的体三维空间142满足空间内没有对象的协作标准。所以，他的头显设备122以空间轮廓146的形式向其显示体三维空间142的指示。以这种方式，可以容易且方便地生成无障碍物体三维空间，从而促进他们与虚拟内容的协作共享和交互。
在一个示例中，参考图2A和2B，女性用户104的头显设备110可以在体三维空间134内显示全息图150。头显设备110生成空间坐标系，例如笛卡尔坐标系，以对客厅108中的真实世界对象和渲染虚拟内容的位置和方向进行推理。这样的坐标系建立3个垂直的X、Y和Z轴，其用于定位和定位对象。
在图2A中，全息图150显示在相对于由X-Y-Z轴指示的空间坐标系的原点154的指定位置。尽管在本示例中原点154位于体三维空间134内，但在其他示例中，原点可位于房间108的其他位置。
转到图2B，男性用户114的头显设备122生成具有原点160的空间坐标系，以定位和定向公寓118中的真实世界对象和渲染的虚拟内容。在一个示例中，在与女性用户104的头显设备110建立协作关系时，与头显设备110相关联的原点154和与头显设备122相关联的原点160可用作公共原点，共享全息图由每个头显设备在相对于各自原点的相同指定位置显示。
在一个示例中，当女性用户104的头显设备110在其房间内相对于原点154的指定位置显示邪恶香蕉全息图150，且女性用户与男性用户共享全息图时，男性用户114的头显设备122会在其公寓118中相对于原点160的相同指定位置自动显示所述全息图。在所述示例中，同时在每个体三维空间中显示远程用户的虚拟化身。在图2A中，男性用户的虚拟化身158显示在相对于原点154的位置，所述位置与男性用户在其公寓118中相对于原点160的真实世界位置相同。
类似地，在图2B中，女性用户的虚拟化身162显示在相对于原点160的位置，所述位置与其在其起居室108中相对于原点154的真实世界位置相同。以这种方式，女性用户104和男性用户114都可以在各自的真实世界环境中移动，同时实时准确地感知另一个人的虚拟化身相对于共享全息图150的相应移动。
在图2A和2B中，体三维空间134和142各自具有基本相同的体积。以这种方式，女性用户104和男性用户114都可以在公共空间内体验协作。在其他示例中，不同位置的不同体三维空间在协作期间可以具有不同的体积。
在上述示例中，用于确定、生成和显示体三维空间和虚拟内容的技术和过程由通过网络通信耦合的头显设备110和122本地执行。在一个示例中，所述功能中的一个或多个可由一个或多个其他计算设备通过云服务或使用其他合适的计算设备来执行，例如一个或多个独立或边缘计算设备。
通过这种方式，可以轻松方便地生成并向男性用户显示没有虚拟对象和其他虚拟障碍物的体三维空间。女性用户104现在可以与男性用户共享协作香蕉全息图150，并且所述全息图由男性用户的头显设备在体三维空间204内显示。
相关专利：Microsoft Patent | Remote collaborations with volumetric space indications
名为“Remote collaborations with volumetric space indications”的微软专利申请最初在2021年8月提交，并在日前由美国专利商标局公布。
