微软AR/VR专利提出基于VR技术的运动员视角比赛广播系统
在终端设备已经获取并存储了目标对象的参考外观特征的情况下，大多数时候只需要将具有少量数据的目标对象的几何特征传输到终端设备。这样可以显著减少数据的传输量，提高传输速度，降低传输延迟。
（映维网Nweon 2024年08月28日）VR可以提供第一人称视角的身临其境感，而这可以为体育赛事等用例带来全新的体验。尽管现在已经存在基于图像的三维场景重建技术。其中，它们主要是通过服务器采集多个预部署摄像头拍摄的多幅原始图像，然后将采集到的多幅原始图像传输到终端设备，并用于重建3D场景。
通常，为了获得更好的3D场景重建效果，传统的方法需要部署大量高成像质量的摄像头。相应地，拍摄的原始图像所携带的数据量十分巨大，所以将原始图像传输到终端设备的过程需要大量的带宽资源。
在名为“A athletes perspective sports game broadcast system based on vr technology”的专利申请中，微软提出了一种基于VR技术的运动员视角比赛广播系统。其中，发明提出了用于3D场景重建的图像传输改进方法，涉及将用于3D场景重建的图像信息从服务器传输到执行3D场景重建的接收设备的过程。
在一个实施例，发明提出将目标图像的几何特征和外观特征从原始图像中分离出来，并根据基于几何特征和参考外观特征重构的图像是否满足质量要求，确定如何将目标图像的信息传输到终端设备。
目标图像可以是与从原始图像的前景图像中提取的目标对象相关联的图像，其中目标对象可以广义地指存在于客观世界中的各种实体，例如人和物等。
以基于篮球比赛直播的三维场景重建为例，目标对象可以是赛场中的篮球运动员和比赛中使用的篮球等。
几何特征可以是指从目标图像中分离出来的用于描述目标对象的形状、姿态、动作等的信息集，这种信息集可以用少量数据表示。外观特征则可以是指从目标图像中分离出来的用于描述目标对象的纹理、皮肤、颜色、亮度等的信息集，而这种信息集可能需要相对大量的数据来表示。
当基于几何特征和与几何特征相关联的与同一目标对象的参考外观特征重构的图像满足质量要求时，仅将几何特征传输到终端设备。当图像不满足质量要求时，可至少基于所述外观特征更新所述参考外观特征，并可将所述几何特征和更新后的参考外观特征传输至所述终端设备。参考外观特征描述了目标物体的纹理、皮肤、颜色、亮度等，因为所述特征在一定时间内通常变化不大，所以基于几何特征和参考外观特征重构的图像在大多数情况下都能满足质量要求。
换句话说，在终端设备已经获取并存储了目标对象的参考外观特征的情况下，大多数时候只需要将具有少量数据的目标对象的几何特征传输到终端设备。这样可以显著减少数据的传输量，提高传输速度，降低传输延迟。这在基于直播的3D场景重建的情况下尤其有益。
图1示出了用于3D场景重建的示例性方法100。
在110，可以通过服务器收集由一组摄像头拍摄的一组原始图像112。这组摄像头可以预先部署在实际场景中。以体育比赛场景为例，可以在体育场、礼堂、通道等不同位置部署多个摄像头，使得摄像头可以从不同的拍摄角度拍摄图像。
在120，可以通过服务器从所收集的原始图像集112中的每个原始图像中获得一个或多个目标图像，从而获得一组目标图像122。例如，可以通过诸如前景和背景分割、抠图等已知方法将前景图像从原始图像中分割出来，并且可以从前景图像中提取一个或多个目标图像。另外，可以预先确定原始图像集112中每个原始图像的背景图像，并且可以预先将背景图像传输到终端设备，
在130，可以通过服务器对所获得的目标图像集122中的每个目标图像执行特征解纠缠。例如，可以从每个目标图像中解除几何特征和外观特征的纠缠。
在140，可以通过服务器将每个目标图像的至少一部分信息传输到终端设备。从目标图像解纠缠的几何特征可以确定性地传输到终端设备，并且所述外观特征选择性地用于更新存储在具有目标图像的相同目标对象关联的服务器的参考外观特征。在更新参考外观特征的情况下，可以将更新后的参考外观特征与几何特征一起传输到终端设备。
在150，可以通过终端设备进行图像重建。在服务器仅传输目标图像的几何特征的情况下，终端设备可以接收几何特征，并基于几何特征及其存储的与目标图像相同的目标对象关联的参考外观特征进行图像重建。在服务器传输所述几何特征和更新后的参考外观特征的情况下，终端设备可以接收所述几何特征和更新后的参考外观特征，并基于所述几何特征和更新后的参考外观特征进行图像重建。
由于重构图像是基于与目标图像解纠缠的几何特征，或者是基于几何特征和参考外观特征重构的，所以重构图像只包含目标图像中的信息。
如上所述，目标图像是从摄像头拍摄的原始图像中分割出来的前景图像中提取出来，所以目标图像只包含前景图像中的信息。相应地，重构图像只包含前景图像中的信息。
在160，终端设备可以使用重构图像作为前景图像与其相应的背景图像组合。例如，与从原始图像中提取的一个或多个目标图像对应的一个或多个重构图像可以用作前景图像，以与与原始图像对应的背景图像组合。对于每一重构图像，可根据重构图像对应的目标图像在前景图像中的位置来确定重构图像在前景图像中的位置。另外，通过图像合成获得的图像可称为合成图像。可以对重构图像集152中的每个重构图像执行步骤160，从而获得一组复合图像162。
在170，可以至少基于所述一组合成图像162进行3D场景重建，以获得3D场景172。例如，可以基于所述合成图像集162和所述拍摄所述原始图像集112的所述摄像头集的摄像头参数重构所述3D场景。
图2示出了用于图像传输和图像重建的示例性过程200。通过过程200，可将目标图像202的信息从所述服务器传输到所述终端设备，并可在所述终端设备上重构与所述目标图像202相对应的重构图像282。
可将目标图像202提供给服务器的解缠模型210。解缠模型210可以是基于神经网络的模型。解纠缠模型210可从目标图像202解纠缠几何特征212和外观特征214。
以与作为人的目标图像202相关联的目标对象为例，从目标图像202解耦的几何特征212可以是用于表示人体骨架结构的信息集。
图3示出人体关键点的示例性位置和连接关系的示意图300。
图300说明了从人体骨架结构中提取的18个关键点，包括:头部302、颈部304、右肩306、右肘308、右腕310、右手312、左肩314、左肘316、左腕318、左手320、右臀322、右膝324、右踝326、右脚328、左臀330、左膝332、左踝334和左脚336。
回顾图2，继续以与目标图像202为人相关联的目标对象为例，从目标图像202解出的外观特征214可以是用于表示人的皮肤、肤色、服装等的一组信息。与几何特征212相比，可能需要相对大量的数据来表示外观特征214。
服务器可以存储与目标图像202的目标对象相关联的参考外观特征216。参考外观特征216可以与特定的摄像头相关联。例如，参考外观特征216可以与拍摄与目标图像202相对应的原始图像的摄像头相关联。在这种情况下，参考外观特征216可以是与来自该特定摄像头的先前目标图像解纠缠的外观特征。
根据实施例，可以根据基于几何特征212和参考外观特征216重建的图像是否满足质量要求来确定如何将目标图像202的信息传输到终端设备。当基于所述几何特征212和所述参考外观特征216重构的图像满足质量要求时，仅将所述几何特征212传输到所述终端设备。
当基于所述几何特征212和所述参考外观特征216重构的图像不满足质量要求时，可至少基于所述外观特征214更新所述参考外观特征216，且可将所述几何特征212和所述更新的所述参考外观特征传输至所述终端设备。
在220，可以基于所述几何特征212和所述参考外观特征216通过所述服务器进行图像重建，以获得中间图像222。在这里，可以将基于几何特征和参考外观特征在服务器上重构的图像称为中间图像。
在对中间图像222进行重构后，可以确定中间图像222的质量是否满足预定要求。在一个实施例中，可以通过确定中间图像222与目标图像202之间的差值是否低于预定阈值来确定中间图像222的质量是否满足预定要求。
在230，可以确定中间图像222与目标图像202之间的差值以获得差值232。在确定差值232之后，240可以确定差值232是否低于预定阈值。
如果在240确定所述差值232低于所述预定阈值，则所述过程200可继续到250，其中仅可将从所述目标图像202解纠缠的几何特征212传输到所述终端设备。
如果在240确定所述差值232不低于所述预定阈值，则所述过程200可继续到260，其中可更新参考外观特征216以获得更新的参考外观特征262。然后，可将所述参考外观特征216更新为所述综合外观特征，即更新后的所述参考外观特征262可为所述综合外观特征。
在270，可以将从目标图像202解纠缠的几何特征212和更新的参考外观特征262传输到终端设备。在280，终端设备在接收到所述几何特征212和所述更新的参考外观特征262后，可基于所述接收到的所述几何特征212和所述更新的参考外观特征262进行图像重构，以获得所述重构图像282。另外，终端设备的参考外观特征216同样可以更新为更新后的参考外观特征262。
图4示出了训练解缠模型的示例性过程400。所述过程400可以用训练图像集402训练解纠缠模型410，以便在实际部署时，所述训练的解纠缠模型410可以从输入图像中解纠缠几何特征和外观特征。
可以将训练图像404提供给解纠缠模型410。解缠模型410可从训练图像404解缠训练几何特征412和训练外观特征414。
在420，可以基于训练几何特征412和训练外观特征414进行图像重建，以获得训练中间图像422。在430，可以确定训练中间图像422与训练图像404之间的差值，以获得差值432。可通过最小化差异432来优化解缠模型410。可以对训练图像集402中的每个训练图像执行处理400，从而可以持续优化解纠缠模型410。
图5示出了用于图像投影的示例性方法500。所述过程500可由与用户相关联的终端设备执行。通过所述过程500，可以将与目标视角相对应的投影图像与3D场景进行投影，并且可以将所述投影图像呈现给用户。
在510，可以确定一个目标人。以基于体育赛事直播的3D场景为例，目标人可以是赛场的运动员、裁判等；以基于音乐会直播的3D场景为例，目标人物可以是舞台上的歌手、主持人等。
在520，可以获得与目标人物相关联的目标视角522。目标视角522可以以类似于摄像头参数的方式表示。其中，目标人物可以佩戴一种便携式设备以实时获取他或她的视角。
在530，可以执行图像投影处理。例如，可以通过经过训练的场景重建网络，用重构的3D场景532生成与目标透视522对应的投影图像534。然后可以将投影图像534呈现给用户。
通过上述方式，用户可以从目标人的角度近距离观看比赛或表演，从而获得更丰富、更生动的观看体验。例如在基于体育赛事直播的3D场景重建中，用户可以从赛场上的运动员的角度近距离观看比赛，例如，可以看到附近运动员的表情和动作，甚至可以通过观看快速切换的屏幕来感受运动员的快速运动，从而亲身体验比赛的激烈程度和兴奋程度。
图6是根用于3D场景重建的图像传输的示例性方法600。
在610处，可以获得目标图像。
在620，可以从目标图像中解除几何特征和外观特征的纠缠。
在630，可以基于所述几何特征和参考外观特征重构中间图像。
在640，可以确定中间图像和目标图像之间的差值。
在650，可以响应于确定所述差异低于预定阈值，将所述几何特征传输到用于3D场景重建的接收设备。
在实施例，目标图像和参考外观特征可以与相同的目标对象相关联。获取目标图像可包括接收由摄像头拍摄的原始图像，并从原始图像中提取目标图像。从原始图像中提取目标图像包括从原始图像中分割前景图像，并从前景图像中提取目标图像。
所述方法600可以进一步包括，将预定的背景图像发送到所述接收设备。
图7示出了用于3D场景重建的图像传输的示例性设备700。
所述设备700可包括：用于获取目标图像的目标图像获取模块710；用于从目标图像解纠缠几何特征和外观特征的特征解纠缠模块720；用于基于所述几何特征和参考外观特征重构中间图像的中间图像重构模块730；用于确定中间图像与目标图像之间的差异的差异确定模块740；用于响应于确定所述差异低于预定阈值，以将所述几何特征发送至接收设备以进行3D场景重建的特征发送模块750。
相关专利：Microsoft Patent | A athletes perspective sports game broadcast system based on vr technology
名为“A athletes perspective sports game broadcast system based on vr technology”的微软专利申请最初在2022年1月提交，并在日前由美国专利商标局公布。
