《Apollo 11 Mission》如何在HoloLens 2上实现高质量MR交互体验
查看引用/信息源请点击：unrealengine
全息计算将对从零售到土木工程的各个行业产生巨大影响
（映维网 2020年05月04日）请想象这样一个画面：一组穿戴HoloLens 2头显的工程师正聚在桌子周围，并与同样的超保真数字3D全息图进行交互和协作。
这是HoloLens 2演示内容《Apollo 11 Mission AR》所呈现的未来。对于企业混合现实来说，这是一次巨大的飞跃。所述的演示内容说明，通过利用Unreal引擎和HoloLens 2，我们可以实现最高质量的混合现实视觉效果。我们在2019年的时候已经一睹这个项目的成果。现在，Unreal向我们介绍了项目的技术方面。
1. 无线传输高保真的MR视觉效果
“阿波罗11号”这个演示内容最初实在微软HoloLens 2发布会中进行了展示。它是Epic Games和微软的合作，并用于说明HoloLens2的一流视觉效果。Epic Games高级项目总监弗朗索瓦·安托万（Francois Antoine）解释道：“当微软的人工智能与混合现实Technical Fellow艾利克斯·基普曼（Alex Kipman）邀请我们尝试HoloLens 2的早期原型时，它所呈现的全新沉浸感和舒适感深深震撼了我们。当演示结束后，我们的脑海只在思考一个问题：什么最适合展示HoloLens 2那不可思议的能力呢呢？”
恰巧2019年是人类最大的技术成就之一：首次登月的50周年纪念。这为团队提供了合适的背景，所以Epic开始着手创建用于重现这一历史时刻的内容。
为了确保尽可能忠实于原始资料，研究小组邀请了阿波罗11号任务的专家。现场演示由ILM的首席创意官约翰·诺尔（John Knoll）和太空历史学家、《月亮上的男人》一书的作者安德鲁·柴金（Andrew Chaikin）主持。诺尔提供了大量的参考资料，为3D资产的真实性提供建议，并向参与项目的Epic团队解释了整个任务过程。
项目深入到阿波罗11号任务的众多方面，而《Apollo 11 Mission AR》提供了前所未有的视觉细节水平。技术美术MinJie Wu表示：“我们从未见过这种图片级真实感的混合现实内容。”
视觉内容是直接从运行在联网PC的Unreal Engine无线传输到诺尔和柴金所佩戴的HoloLens2，并利用Azure Spatial Anchors的原型版本在两位演示者之间创建共享体验。
通过将两台设备联网，彼此都能理解对方在物理空间中的位置，从而支持相互追踪。另外，团队通过在前方固定一台惠普WMR头显来实现第三个Steadicam摄像头的追踪。
将这第三个物理摄像头与Unreal camera校准对齐特别具有挑战性。虚拟制作工程师大卫·西比特斯（David Hibbitt）指出。“我们从多个角度拍摄镜头网格，并使用OpenCV计算镜头参数。然后，我在Unreal中使用镜头参数和镜头扭曲插件，它既可以计算Unreal camera的属性，又能够生成用于扭曲Unreal渲染图以匹配摄像头片段的置换贴图。”
即便你能够获得正确的camera设置和畸变校正，当camera开始移动时，依然可能会出现不匹配的情况。原因是camera追踪的点与镜头的节点不匹配，而这是Unreal引擎用作camera变换位置的地方，所以你需要计算这个偏移量。
西比特斯解释道：“要解决这个问题，你需要知道已知的3D位置和camera视图中的相同点的已知2D位置，这样你就可以计算节点的3D位置，如果你在拍摄图像时知道camera的追踪位置，你就可以找到偏移量。”
为了获得已知点和camera的位置，研究小组确保追踪系统在运行时将网格点作为已知点来拍摄镜头网格。这使得它能够在单通道中获得camera和追踪偏移的校准。
设置需要三个不真实的引擎实例：一个用于camera，另外两个分别用于HoloLens。它们都通过网络接到一个单独的专用服务器。阿波罗11号项目的XR负责人瑞安·万斯（Ryan Vance解）释说：“为了确定对方在物理空间的位置，它们正在互相通讯。这样每个人都可以在同一时刻看到相同的画面。”
将计算过程从移动设备转移到高性能PC是的重要一步。以前，你必须在移动设备运行完整的Unreal引擎堆栈。万斯指出：“这样做的优点是，它是你用于手机或其他设备的标准移动部署策略。但缺点是，从计算的角度来看，设备本身的硬件性能对你造成了限制。”
现在，通过利用Unreal Engine对Holographic Remoting（全息远程处理）的支持，高端PC图形可以带到HoloLens之中。万斯表示：“能够在PC呈现出真正高质量的视觉效果，然后将它们传送到HoloLens设备，这带给了人们一种前所未有的新体验。”
Holographic Remoting（全息远程处理）使用Wi-Fi将全息内容从PC实时传输到微软HoloLens。MinJie Wu说道：“不需要依赖本地移动硬件来生成最终图像是非常重要的一步。”
演示者和全息图之间的交互说明了为MR和VR设计交互的区别。项目首席程序员杰森·贝西姆特（Jason Bestimt）表示：“在虚拟现实中，你设置了你的‘安全区域’，并承诺你只会在其中移动。但对于混合现实，你不受这种束缚。事实上，在空间中走动是你最大限度地利用这种体验的方式。”
2. 用二次投影处理往返延迟
为了创建Apollo 11演示，团队利用了已在游戏中使用多年的功能。万斯指出：“最酷的是，你可以采用标准的Unreal网络和游戏框架概念，并利用它们建立一种多人协作全息体验。”。
无论何时将网络连接添加到XR系统，传输追踪数据流都会出现延迟。项目最大的挑战之一是确保追踪系统的一致性：PC和HoloLens设备之间至少有60毫秒的往返延迟。万斯解释道：“即使你站在那里一动不动，只要你的头稍稍一动，你都会注意到。”
为了解决这个问题，微软将他们的二次投影技术集成到远程处理层中。二次投影是一种处理延迟问题的标准方法，同时是一种复杂的硬件辅助型全息稳定技术。它会考虑场景动画和用户移动头部时的运动和视角变化。应用二次投影技术确保了系统的所有部分都可以进行通信，并在某个虚拟世界中个点与某个物理世界中点相关联的地方达成一致。
3. 混合现实交互实验
当在实况活动中证明了“Unreal引擎到HoloLens 2”的设置是可行之后，团队创建并公开发布了一个演示版本。安托万说道：“我们想把它重新打包成更简单的东西，这样任何人都可以开始部署单用户体验。”。（你可以在Unreal Engine Marketplace免费下载阿波罗11号的演示版本）
在创建这个公开版本时，团队发现了最为成功的混合现实交互类型。技术美术西蒙·隆巴多（Simone Lombardo）指出：“一开始，我们创造了很多疯狂的钢铁侠风格交互。然而，尽管我们认为这些方法使用起来非常有趣和直观，但并不是每个人都这样认为。”
刚接触混合现实的用户难以理解复杂的交互，并在错误的时间触发了一系列的交互。事实证明，最简单的交互是简单的抓取/触碰，因为它们映射了真实世界的交互。
基于这一发现，阿波罗11号的演示利用直接的触碰动作进行交互。贝西姆特解释说：“我们删除了所有‘复杂’的交互，如‘双重抓捏’。不仅是因为被试会意外地触发它们，而且当用户的手稍稍超出范围时，我们会得到了很多非有意的输入。很多处于放松状态的用户会将拇指和食指并拢，并形成‘捏’的姿势。这样当他们举起手开始交互时，系统会自动检测到非有意的抓捏输入。”
诸如菜单这样的其他交互方法同样会减损体验。
团队同时发现了创建能够弥合虚拟世界和物理世界之间鸿沟的用户体验的新方法。在遇到全息图时，许多用户的本能反应是尝试触摸它，这会导致用户的手指穿过全息图。伦巴多指出：“我们增加了一种距离场效应。当全息图与真实手指接触时，全息图会留下一道蓝光。这就在真实和虚幻之间建立了一种联系。”
此后，团队一直在为HoloLens2开发AzureSpatialAnchors支持，而现在你可以通过Unreal Engine4.25预览版的beta版进行测试。空间锚定将允许全息图在真实空间中持续存在。万斯解释说：“这样可以更容易地将所有一切对齐。所以，复制我们演示的功能应该相对简单，支持多人共享同一空间。”
自微软HoloLens2发售以来，市场预测全息计算将对从零售到土木工程的各个行业产生巨大影响。阿波罗11号演示代表了视觉和交互质量的巨大进步，并将我们带到人类憧憬的未来。
