微软Azure云MR:用空间锚点复刻真实世界,提供持久性全息共享体验

HoloLens QQ群493967447

文章相关引用及参考:computerworld

新平台的核心是将物理和虚拟联系在一起的链接,而微软将其称为空间锚点。

映维网 2019年02月27日)随着HoloLens 2头显和Azure Kinect摄像头的推出,微软再次在增强现实的征程中扬帆出航。HoloLens 2比初代设备更轻巧,功能更强大。它不仅只是单纯的一体化设备,同时可以对接Azure服务并将混合现实纳入至公共云端。

Azure的首批服务旨在用于任何平台,不仅只是微软自家的工具。对于HoloLens 2,即使是比第一代降价1500美元(商用版),3500美元的标签都无法成为所有维修工人或培训人员的设备。借助口袋中的AR规格设备和桌面端的虚拟现实功能,用户无需投资头显即可步入沉浸式体验之中。

AR和VR设备的混合非常有意义。在2018年的微软学生开发竞赛决赛中,一个十分有趣的项目是为消防员提供相关的沉浸式培训。用户拥有完整的VR体验,可探索燃烧的建筑物并使用不同的消防工具。与此同时,培训师正利用HoloLens模拟监控消防员的进度(在桌面端显示VR模型)。

这种技术组合是Azure新工具的核心。你无需把构建环境所需的一切都集成至诸如HoloLens这样的一体机或VR规格PC,公共云端可以托管你的模型和将所述模型固定到特定物理位置的方法。一旦数据传输至Azure,你就可以通过苹果ARKit和谷歌ARCore,以及微软自家的工具进行访问。

新平台的核心是将物理和虚拟联系在一起的链接,而微软将其称为空间锚点。它们是将虚拟对象锁定至物理空间的映射。它们提供了一个可用于显示跨设备模型实时状态的链接,而模型可以链接至其他数据源,为物联网或其他系统提供显示表面。通过将基于角色的访问控制绑定至映射,你可以选择增加额外的安全层,从而将特定功能链接给特定用户。

1. 构建空间锚点

空间锚点具备跨平台支持,客户端设备的关键依赖(Dependency)和库可通过CocoaPods等服务获取,并通过Swift等原生语言提供示例代码。你同时需要在Azure注册相应的帐户,以便代码可以针对空间锚点服务进行身份验证。微软将继续把Unity作为其工具,但最近的公告表明Unreal的支持即将推出。

要使用这项服务,你首先需要为应用程序创建适当的Azure服务。Azure的模拟描点支持微软现有的移动后端作为服务工具,因此学习曲线不是非常陡峭,而且其提供了熟悉的定价模型。在启动并运行Azure App Service实例后,你的客户端应用程序可以通过REST API与空间锚点和模型进行通信。

空间锚点的核心是AR托管内容的环境映射。这可能意味着利用应用程序在环境中定位用户,然后生成所述区域的映射。特定设备(如HoloLens)能够自动执行这项操作,其他装置则需要你手动扫描以构建映射。应用程序自身的AR工具可以创建锚点,然后将其存储为Azure中的3D坐标。描点可以具有与之相关联的附加信息,并使用属性来确定所渲染的内容以及如何链接不同的锚点。

空间锚点不需要是永久存在。你可以赋予其结束日期。在过期后,用户将无法看到它们。你同时可以完全删除锚点,比方说在你不再需要共享特定内容的时候。

2. 构建体验

空间锚点的一个有趣用例是室内导航。一旦链接了空间锚点,同时拥有了一个空间映射(可以是整个建筑物),你就可以在链接的锚点之间生成导航。导航提示可以显示在应用程序之中,例如通过箭头表示方向和到下一个锚点的距离。通过在AR应用程序中放置和链接锚点,你可以将指示符放置在用户希望看到的位置,从而提供更为自然的体验。

设置好调整好锚点非常重要,因为这是一种非常身临其境的体验,而且你不希望用户因糟糕的体验而离开。微软的指南建议道,锚点需要保持稳定并与物理对象相关联。你需要考虑查看锚点的方式,如何从不同角度进行查看以确保用户可以理解它们,并确保访问不受空间中其他对象的影响。毕竟,你不希望用户在阅读墙上通知时撞到桌子。将初始锚点定位到特定入口点能够简化整个体验,使得用户更容易步入你的环境。

3. 渲染3D内容

微软计划推出远程渲染服务,利用Azure向设备提供完全渲染的图像。建立一个令人信服的环境需要非常多的细节。尽管HoloLens 2中的硬件是一项重大升级,但实时提供精致工业设备的完整渲染仍然不易。你需要高带宽连接和远程渲染服务,从而预先渲染高分辨率图像并将其传送给用户。你可以跨设备共享相同的模型,渲染一次并多次使用。

市场存在两种类型的设备:系留和无线。系留设备可以利用集成至现代图形工作站的GPU,并显示完全渲染的图像。无线设备中的低端GPU无法处理复杂的图像,因此只能提供更少的多边形和压缩的图像内容。

公共云端纳入图形显卡已有一段时间。尽管Azure的英伟达GPU支持专注于CUDA和大规模的云托管计算,但它提供了一系列NV级虚拟机,旨在用作渲染主机和基于云端的可视化应用程序。

Azure Remote Rendering目前处于封闭测试阶段,同时尚未提供定价。微软可能提供的产品是基于NV系列硬件的服务,采用通用文件格式和通用渲染工具。借助这项功能及HoloLens结合其他设备,你的便携式机器可以卸载计算密集型和功耗密集型工作,并同时实现高保真的图像。

HoloLens QQ交流群493967447

更多阅读推荐......

专栏