详解Microsoft Mesh技术组件和功能特性，推动多终端共享协作式MR体验
将继续改进SDK以支持更多的引擎和框架
（映维网 2021年03月04日）微软昨天正式发布了Microsoft Mesh。这个以Microsoft Azure作为基础的新平台旨在支持开发者构建多用户的和跨平台的沉浸式混合现实应用。
Microsoft Mesh允许用户以身临其境的方式进行联结、并实现跨空间共享和协作。无需考虑物理物质，大家就如同是亲临现场一样。客户可以利用Mesh来增强虚拟会议、设计会话、远程协作、虚拟学习、以及社交聚会等等。
在今天这篇博文中，微软MR团队将介绍Microsoft Mesh平台的构成要素。但首先，我们先来看看为什么需要这样一个平台。
微软指出：“混合现实是后计算机领域继大型机、个人电脑和智能手机之的第四次浪潮。能够将屏幕体验释放到你的空间之中的混合现实正在成为消费者和商业世界的主流。全世界有上亿的Niantic玩家曾利用口袋里的设备体验过混合现实。当我们无法进行面对面的社交时，像音乐会和健身训练这样的会话正在走向虚拟世界。为提高企业的实质投资回报率，超过50%的财富500强企业部署了HoloLens和其他混合现实解决方案。”考虑到这样庞大的数字，我们不难会假设今天已有成百上千的混合现实体验开发出来。但事实并非如此。有一系列潜在的困难问题阻碍着开发者创建沉浸式体验，特别是：
- 用适当的真实感来代表MR人像需要大量的时间和资源。
- 在不同的时间和设备类型下，保持全息图在共享MR空间中的稳定性是一个非常重要的问题。
- 很难将高保真3D模型引入MR以支持客户所拥有的文件格式。
- 在跨地理MR会话中同步人物的动作和表达非常复杂。
所述挑战阻碍了开发者为多用户场景提供MR体验。Microsoft Mesh正是这一问题的答案。Mesh为开发者提供了一个允许其设计沉浸式多用户MR应用，而不必担心复杂技术问题的平台。
下面是Microsoft Mesh平台的核心组件：
- 多设备支持：首先，Mesh可以满足广泛用户的需求。从能够提供三维立体体验的全沉浸式头戴式显示器（微软HoloLens、惠普Reverb G2或Oculus Quest 2），提供三维立体体验，再到iOS或Android的智能手机和平板电脑，Mesh可以支持一系列的设备。
- 开发者平台：接下来，Mesh可以实现一个完成的开发者平台和工具，而核心则是Azure。通过像Azure Active Directory和Microsoft Accounuts这样的认证服务，它能够把经过正式身份验证和授权的用户带入一个安全可信的会话中。Microsoft Graph则继续跟随用户，允许其向商业和消费者空间引入关系、内容和偏好。而且，作为一名开发者，您不需要担心音频/视频传输和底层实时状态管理功能等核心基础设施。
除了核心平台之外，微软同时提供了关键的人工智能功能，从而允许Mesh解决复杂的技术挑战，并实现混合现实的大规模多用户在线场景。其中包括：沉浸式临在，空间映射，全息渲染，以及多用户同步。
1. 沉浸式临在感：多用户场景的一个基本方面是，能够根据参与者加入的设备以不同的形式表示参与者。Mesh通过设备的内向外传感器来提供具有代表性的虚拟化身。Mesh平台配备了一个avatar rig和一个定制studio，以便你可以使用开箱即用的虚拟化身。所述平台同时能够通过基于人工智能的运动模型来驱动虚拟化身，从而捕捉与用户动作一致的精确运动和表情。
除了虚拟化身，Mesh同时能够通过外向内传感器实现了最为逼真的360度全息瞬移。这种外向内传感器可以是一个定制的摄像头设置，如有助于以完全保真度捕捉三维图像的Mixed Reality Capture Studio；它又可以是可以捕捉深度感测图像以协助产生全息表示的Azure Kinect。一旦制作出来，全息图就可以应用于混合现实头显或智能手机、PC和平板电脑的Mesh应用程序，并以最为逼真的临场感实现360度全息瞬移。
2. 空间映射：要构建能够现实世界中保存全息内容的应用程序，我们需要每个参与者对空间的共同视角以及对物理世界的理解。无论是技术人员的服务记录还是客户的寻路记录，可靠地放置能够跨时间、空间和设备保存的全息图都是一种常见的需求。Mesh中的空间映射可以实现这一点。在使用Mesh之前，每个设备都有自己的局部世界映射。通过Mesh可以将本地缓存合并和优化，以便提供关于它们所处的空间/环境的全局理解。所述框架支持锚定内容、共享设备视点和协作三维模型。
Mesh可以帮助你创建一个比GPS精确几个数量级的世界映射，它甚至可以在没有GPS接入的地方工作。它有助于提供“世界锁定的全息图”，亦即可以绑定到特定的兴趣点。另外，Mesh可以生成与给定对象的精确布局和几何体一致的相同理解，从而允许开发者轻松构建需要视觉信息（如指令、服务记录和其他重要数据）叠加的应用程序。
3. 全息渲染：全息渲染是一个典型的智能边缘和智能云架构实例。不论计算和热预算几何，它都能够提供毫无折损的保真度。对于每个场景和模型，Mesh允许你在应用程序中无缝地选择本地独立渲染或云端远程渲染。这为设计应用程序提供了灵活性，并允许你根据设备对延迟和保真度进行优化。不仅如此，全息渲染支持大多数3D文件格式在Mesh应用中进行本地渲染，从而解决了引入用户现有3D模型以进行协作的难题。
4. 多用户同步：在协作会话中创建全息图和彼此的共同视角是一个巨大的挑战。在Mesh中，多用户同步将能够实现所述的情景，包括任何姿势更新（动作和表情），或者任何正在空间中发生的全息变换。不论是在同一物理空间还是相隔地球两半，所有这一切都发生在100毫秒的延迟之内。另外，Mesh的空间音频能够增强体验，在多用户场景中创建一种临在同一物理空间中的感觉。
为了利用所述功能和核心平台特性，Mesh提供了一个跨平台开发者SDK，这样你就可以创建各种平台和设备的应用程序。今天，它支持Unity，以及本地C++和C#，但在未来几个月里，Mesh将将支持Unreal，Babylon和React Native。除了访问所述功能之外，SDK另外提供了预构建的UX construct。这种预构件的设计使开发过程变得更简单，更快捷。
支持Mesh的应用程序：Microsoft Mesh已经提供了一系列的应用体验。HoloLens 2版的Mesh app和具有全新企业功能的AltspaceVR是协作体验方面的实例。微软表示，未来团队和合作伙伴将开发更多的体验。
团队最后总结道：“Mesh开发平台是一个全面的平台，其工具和功能旨在帮助开发者快速入门，并提供引人入胜的多用户混合现实体验。我们将继续改进SDK以支持更多的引擎和框架。”
