Microsoft Mesh正式发布,实现多终端共享协作式MR体验
查看引用/信息源请点击:Microsoft原文
由Azure支持的全新混合现实平台
(映维网 2021年03月03日)多年来,太阳马戏团的联合创始人盖伊·拉利伯特(Guy Laliberté)曾收到无数关于虚拟现实技术的提案,但它们都无法与他极具视觉震撼力和魅力的现场表演相媲美。现在对于微软提供的新平台,拉利伯特正在重新思考这个问题。
今天,利用3D动捕,拉利伯特通过全息瞬移出现在Ignite大会之中。在首个专门为混合现实设计的主题演讲体验中,来自世界各地客厅和家庭办公室的人们通过全息化身的形式体验相同的全息内容。
这是公司首次有机会展示基于Microsoft Mesh的体验。这是一个由Azure支持的全新混合现实平台,其允许不同物理位置的用户通过多种设备加入共享式和协作式全息体验。
微软HoloLens负责人艾利克斯·基普曼(Alex Kipman)表示:“这一直是混合现实的梦想,从一开始就是。你真的可以感觉到自己和别人身临在同一个地方,或者你可以通过不同的混合现实设备实现传送,甚至即便是身体相隔两地,你们都可以临在同一个地方。”
基普曼是作为全息化身的形式出现在Ignite大会,模拟其身体的光线能够随着真实肉身的运动而实时变化。
著名导演兼海洋探险家詹姆斯·卡梅隆(James Cameron)和Niantic首席执行官兼创始人约翰·汉克(John Hanke)同样以远程方式与吉普曼一起参加了大会,并说明了Microsoft Mesh是如何帮助他们在虚拟现实和物理世界中创造共享式体验。
拉利伯特与基普曼讨论了帮助由他创建的另一家公司Lune Rouge实现一个名为Hanai World的项目的合作事宜。这是一个他思索多年的混合现实社交平台:将现场实况和数字娱乐体验整合成单一的事件。这个愿景一直无法实现,直到Microsoft Mesh这样的技术出现。
1. Microsoft Mesh介绍
Microsoft Mesh同时允许支持跨地理团队进行协作式会议,设计会话,协助同事,共同学习和社交对话等等。用户一开始会通过卡通式化身来具现自己,但随着时间的推移,其将可以利用全息瞬移来投射出最逼真的自我。
这一新平台是微软多年来在以下领域研发的成果:从手眼追踪和HoloLens,再到持久性全息图,以及能够创建富有表现力的虚拟化身的人工智能模型。
Microsoft Mesh基于云计算平台Azure,从而能够利用Azure的企业级安全和隐私功能,以及它庞大的计算资源、数据、人工智能和混合现实服务。
基普曼指出:“我们越来越多地以我们的智能云(Azure)以基础构建价值。在这种协作式体验中,内容不是在我的设备或应用中。全息内容存在云端,而我只需要特殊的镜片就能看见。”
借助基于Microsoft Mesh的应用,无论身在何处,需要处理3D物理模型(从自行车到高端家具、喷气式发动机到新体育场)的设计师或工程师可以以全息人像的形式出现在共享式虚拟空间,并就全息模型进行协作和迭代。
利用全息模型,建筑师和工程师可以在动工前行走在建成工厂样式的数字模拟之中,并以三维形式检查各个部分,从而避免代价高昂的潜在错误。
学习电动汽车发动机或人体解剖学的工科或医科学生可以以化身形式聚集在全息模型周围,并且自由操作发动机或人体肌肉。同事们则可以简单地聚在一起,在一个共享的虚拟空间里聊天,或者公司可以使用基于Microsoft Mesh的应用工具,来为世界各地的员工提供虚拟会议或虚拟培训。
Microsoft Mesh平台将在未来几个月内为开发者提供一套完整的AI驱动工具,涵盖虚拟化身、会话管理、空间渲染、跨多用户同步和全息瞬移,从而帮助其构建基于混合现实中的协作解决方案。
尽管混合现实或虚拟现实能够提供最为丰富的体验,但Microsoft Mesh的开放标准将允许开发者自由构建解决方案,并瞄准多种不同的设备:HoloLens 2、一系列的虚拟现实头显、智能手机、平板电脑和个人电脑。
在Ignite大会,微软发布了两款基于Microsoft Mesh平台的应用程序。
其中包括支持HoloLens的Microsoft Mesh app(预览版)。这个已经开放下载的应用程序允许团队成员进行远程协作。用户同时可以请求访问启用基于Mesh的新版AltspaceVR,它允许公司在虚拟现实中举行会议和聚会,并包含重要的企业级安全功能,包括安全登录、会话管理和隐私遵从性。
微软表示,随着时间的推移,预计由第三方开发者和合作伙伴构建的Mesh应用将会越来越多,而且客户同时能够从微软产品(如Microsoft Team和Dynamics 365)的规划集成中获益。
基普曼表示:“这就是为什么我们一直热衷于将混合现实作为协作计算的下一个主要媒介的原因。两个人能够同时看到相同的全息图真是太神奇了。”
2. 共同探索世界
OceanExplorer是迄今为止最先进的深海探测船之一,这里有非常大的空间来容纳所有吵嚷着要从仪器和摄像头不断收集的新数据中进行学习研究的科学家。作为说明,这种航海器可以探测从珊瑚礁和盐池到深海热液喷口周围的海洋生物和水下火山周围的矿物等一切。
非盈利组织OceanX一直致力于将尖端科学与引人入胜的故事讲述、产品和技术经验相结合,从而支持海洋教育和意识。在Ignite大会,OceanX宣布与微软达成了全新的合作,并将在OceanXplorer构建一个基于Microsoft Mesh的“全息实验室”。届时,科学家们可以亲自地或虚拟地从世界各地的实验室和办公室聚集到这里,并查看航海器正在探索的区域的三维全息图。
例如,对于正在研究抹香鲸为什么在特定地区捕猎的科学家,你将可以看到关于深海峡谷的全息图,并包含从贴在鲸鱼身上的传感器收集的数据,包含盐度,温度和海洋化学变化等等,外加能够显示鱿鱼和其他猎物位置的鱼类探索器的数据。
OceanX的副主席文森特·皮尔伯恩(Vincent Pierbone)指出:“我们的想法是,把我们收集到的所有科学数据带到一个全息环境中,并用它来实时指导科学任务。”
目标是允许任何一个拥有HoloLens 2或其他兼容设备的研究人员利用Microsoft Mesh,以全息化身的身份出现在全息甲板周围,就全息海洋的一个特定区域提出疑问,并与其他科学家实时交流自己的想法。
在OceanX的研究任务中,经常有一群人围着视频源提出问题,并在侧边栏与同事进行对话。皮耶尔伯恩说,即使能够通过办公室的屏幕查看相同的画面,不再船上的研究人员不总是能够从这样的互动中受益。
他解释道:“这其中有一个重要的社交因素。“我们想把每个人都带到同一个‘房间’,这样大家就可以自由提出不同的想法,并能拥有那种情感联系。”
为了扩展一种完全不同的探索方式,Niantic在Ignite大会用HoloLens 2演示了《Pokemon Go》的一个概念验证体验,并旨在介绍一个基于微软和Niantic的混合现实和增强现实能力的愿景。
对于这个并不代表着消费品的演示中,汉克在他最喜欢的公园里与《Pokemon GO》的产品营销经理维罗妮卡·砂伦(Veronica Saron)进行了宝可梦对战。
无论是孩子们通过《Pokemon Go》与父母或朋友探索自己的社区,还是成千上万的人聚集在公园里参加节日,Niantic的使命一直是创造允许人们一起社交和一起探索世界的技术。
他表示:“Microsot Mesh提供了一种实现我们愿景的全新方法。当我出去散步和探索世界时,我的虚拟朋友将与我同行。我非常喜欢这个想法,我真的很想看看我们能做些什么。”
这个演示内容展示了基于Niantic的Real World Platform的《Pokemon Go》体验的潜力。这个星球规模的平台能够允许数百万人在现实世界中实现增强现实体验,并通过Microsoft Mesh功能进行增强,从而允许人们能够在跨空间和时间的共享体验中共同临在。
汉克说道:“我们的工作是将数字世界和物理世界融合在一起,将比特和原子连接起来,以便通过Niantic平台实现这种体验。但社交纽带确实是我们所做一切的核心,而Microsoft Mesh的创新恰恰丰富了这一点。”
3. 另一层情感联系
由拉利伯特创立的Lune Rouge愿景开始探索Microsoft Mesh如何能够帮助人们以虚拟方式远程参加音乐会、戏剧表演、DJ活动、甚至家庭庆祝活动。
Hanai World项目的目的是在数字娱乐和物理娱乐体验之间建立新的联系(灵感来自夏威夷语,而这个词的大概意思是选择一个人作为家庭成员)。
团队希望创建关于世界各地娱乐活动的数字表示,并以足够的3D逼真度来捕捉现场表演,从而允许人们能够在混合现实或虚拟现实中亲身体验同一事件。所述平台将提供由Lune Rouge制作的内容和一系列不同的用户生成内容。
Lune Rouge的执行总监亚历山大·米亚斯尼科夫(Alexandre Miasnikof)指出:“这对于现场娱乐而言是一个很好的补充。它带来了另一层情感联系,同时给那些通常因为路程遥远或身体不便而无法亲身参加活动的人带来了娱乐。”
两个住在相反海岸的朋友可以加入同一个演唱会,并一起体验表演。或者最终有一天,在另一个国家的祖母能够通过全息瞬移与家人团聚。
米亚斯尼科夫说:“我们今天所能做的只是承诺,我们不知道多久才能实现。但我们认为我们有Microsoft Mesh给了我们一个很好的基础。”
这正是目标所在,基普曼如是说道:我们想看看,对于原来被认为是不可能实现,或者需要耗费太多时间的解决方案,有那些是可以用Microsoft Mesh平台更轻松地构建出来。
他说:“当你思考拥抱一种全新计算媒介的实际需要时,你必须在整个生态系统进行深入的投资,而这正是微软所做的事情。”
“现在我们邀请大家将其作为基础以创造价值,并以交钥匙的方式从我们多年来为实现所述功能而进行的艰苦研发中获益。”