上海一尺视界打造以 HoloLens 为核心,为博物馆打造令人惊叹的互动展示体验

HoloLens QQ群493967447

上海一尺视界数码科技有限公司作为领先的数字视觉技术整体解决方案提供商,围绕以 MR/VR/AR 等核心技术优势,广泛服务于建筑设计和城市规划、企业数字化运营、展览展示、影视记录片、教育培训等众多领域,以数字视觉的创作力,满足客户多元化的需求。

解决方案背景

据国家商务部发布的数据显示,全国展览业 2016 年总产值超 5000 亿,在整体市场发展方面,我国各类主题展馆远远不能满足持续增长的市场需求,在未来十年中将保持快速发展势头。以博物馆为例,按 25 万人/座的覆盖密度,2017-2020 期间我国仍需新建 1451 座博物馆,平均每年 362 座,对于科技类博物馆来说,对比其他国家和地区的科技展馆数量与人口总数比例,我国的场馆数量仅相当于美国的 1/4、英国的 1/2.4、日本的 1/8 和台湾的 1/7。

先进科技的使用不仅可以提升国家和社会的基础服务能力,同时也可以为各行各业带来更高的服务价值,混合现实技术(简称 MR)是继虚拟现实技术(简称 VR)、增强现实技术(简称 AR)之后,出现的全新数字全息影像技术。该技术最核心的特性是打破了数字的虚拟世界与物理的真实世界的界限,从而将数字技术多年的量变积累突破到质变。

混合现实技术为博物馆展览提供了全新的内容呈现和交互方式,近年来正以蓬勃发展的势头受到国外多家知名博物馆的关注与采用,包括荷兰国家文物博物馆、新加坡艺术科学博物馆、日本京都博物馆、英国坦克博物馆、美国神秘海港博物馆等都已开始利用混合现实技术为公众提供全新展览方式,使展览访问量大大增加。

行业痛点

随着国内博物馆数量的增加,展品内容逐渐丰富,各种类型的博物馆都在不断探索和寻找更具吸引力、更加直观高效的展品呈现方式。很多博物馆对新技术的了解有限,也不具备专业的技术团队和相关资源,即使了解混合现实、大数据、云计算的最新技术,也难以在资金、人员有限的情况下采纳并应用。

国内一些博物馆和展厅近年来尝试过使用虚拟现实(VR)技术为游客提供全新的体验方式,但由于 VR 提供的是全封闭的虚拟空间,使用者不能行走在场馆中,因此必须开辟专门的固定空间供游客使用,不仅体验效果不好、无法与展品充分互动,更无法提供诸如行走在北极圈的感受,而且在室内公共场合经常会被他人围观,用户的可接受度不高。同时,国内大部分展览馆还面临着讲解员不够的问题,讲解员每次面对数十位听众也无法逐一回答问题或者提供个性化参观导引服务。

对此,国内展览馆和博物馆普遍希望在不破坏原来的展厅布局、展品陈列的基础上增加更多趣味性和互动性,使展示过程变得更加生动。同时,随着个性化和定制化服务的日益流行,博物馆也希望针对重点 VIP 客户提供具有更易用、更先进、更人性化的游览导引服务,面对不同类型的人群以简单易用为目标用最新科技实现与展品自然互动的体验。

综合上述内容,目前国内各类展览馆普遍面对的痛点可总结为:

  • • 不断寻找新的展示技术,但缺乏相应资源加以利用和实现;
  • • 缺乏专业技术团队和资金支持,尤其是非营利性和中小型展览馆,希望以低成本提供高质量的现代游览体验;
  • • 经过尝试虚拟现实 VR 技术,遇到场馆布局调整、游客接受度等诸多现实挑战,希望找到更好的替代方案;
  • • 希望以简单易用为基本要求,用最新技术为 VIP 和重点游客提供具有差异性的高质量服务体验。

一尺视界基于 HoloLens 的“混合现实视觉解决方案”

一尺视界作为一家数字视觉技术整体解决方案提供商,致力于以混合现实、虚拟现实和增强现实等技术,针对建筑设计和城市规划、企业数字化运营、展览展示、影视记录和教育培训等领域提供多元化具有创造力的数字视觉服务,包括混合现实内容定制与开发、移动开发和体感互动等。

一尺视界针对国内展览行业的业务痛点,对多种应用场景进行了深入分析,认为微软混合现实(Mixed Reality)技术 HoloLens 不仅可以为该行业增加最高端的科技属性,也可以很好地满足业务需求、解决展览展示过程中的难点。微软 HoloLens 混合现实是将“虚拟 3D 物体”与“现实场景”完整融合的全球最新科技,提供了超越虚拟现实和增强现实的空间交互体验,其技术优势在于能够将物理世界和数字世界中的对象融为一体,并使用自然交互技术与虚拟物体进行互动。这种技术可以运用于建筑、医疗、工业制造、游戏、维修、培训等多个行业,为设计人员提供多元化的创作体验。

一尺视界基于 HoloLens 的“混合现实视觉解决方案”利用 HoloLens,在不改造原展项布局的情况下加强展品表现力,根据客户展览的具体情况与展示动线,量身设计参观者的体验剧情和交互内容。得益于 HoloLens 的独立工作能力,参观者可以在佩戴后随意走动,既可以透过 HoloLens 的镜片看到真实世界,也可以在镜片上看到以混合现实技术渲染的 3D 全息影像模型,从而为静态展览项目叠加了具有趣味性的互动观展体验,利用空间映射实现实体参观和虚拟互动的结合,开拓新的参观服务模式。

该方案可以围绕沙盘,使用 HoloLens 建立全息三维展示对象,利用混合现实的叠加显示技术,可以在真实沙盘模型上叠加的一个动态、可交互的虚拟沙盘,得益于一尺视界的高精度、高质量建模能力,实现了虚拟模型与实体沙盘之间毫米级高精度匹配。一尺视界会根据展览项目通过高精度的模型制作,配合精美的游戏级特效,再加上虚拟人物 AI 交互的导览,让参观者体验到多维度的参观感受,让展方想要传达的信息深刻融入到参观者的心中。在模型匹配的实现细节方面,一尺视界使用 HoloLens 的空间锚点技术和三维空间扫描建模技术,对空间中的特殊位置建立空间锚点,并以此生成空间坐标系,该坐标系能够与物理空间相绑定,不会随用户的观看视角、站立位置等方位变化而移动,然后将全息影像模型按照锚点和坐标位置与现实世界进行贴合显示。

此外,一尺视界还采用了图像识别技术,可以对展览馆中的图片进行扫描识别,然后根据图片建立模型定位点,并自动检索与该图片相关的三维全息模型,并混合叠加显示在图片上。利用这些技术,展览馆无需对展品、展柜等进行任何结构调整,只需在 HoloLens 中提供与展品相关的全息模型,就可以随时随地为参观者提供混合现实游览体验。

一尺视界的核心团队拥有多名专业图形 3D 建模和设计师,他们曾就职于国内外顶尖的三维工作室,拥有世界一流的技术能力和丰富的国际项目经验。在普通应用场景中,为了保证 60FPS 的帧率,官方推荐同屏最多显示 25 万个面,而博物馆中的许多展品往往具有丰富的细节和复杂的空间结构,客户需要展现的模型往往是模型精细度比较高,得益于技术团队的专业性,一尺视界对 HoloLens 中的全息影像模型进行了高度优化和超精细处理,从降低 Polygon 面数、减少 Draw Calls 调用量,控制资源大小以及灯光等几个方面着手。

首先由于我们场景的需要,场景当中有大量的可移动物体,所以不能进行 lightmap 的烘培,只能使用动态灯光,通过减少动态灯光的数量和照射范围我们可以有效的减少它的开销,由于动态灯光只影响照射范围内的物体,所以减少场景 polygon 的数量也可以进一步的降低开销,我们可以从以下几个方面着手:直接减少物体的顶点数量以及配合 lod 的使用可以直接降低整个场景的面数,但是减少的很有限,最好的办法就是进行剔除处理,我们可以通过遮挡剔除以及视锥剔除对场景当中视线看不见的部分或者被物体挡住的东西不显示来减少面数,但是其实移动端的瓶颈一般在 drawcall 上面,在 300 左右,所以上面的剔除处理可以很有效的降低整个场景的 drawcall 数量,再配合 drawcall batching 把整个场景当中使用相同材质的物体的 drawcall 数量高度合并,在远处的部分可以把附近的物体手动或者使用插件合并成一个物体来进一步降低 drawcall,在材质和贴图部分,我们也尽量对贴图的大小和数量进行控制,尽量使用合适的贴图大小,配合 mipmap 可以有效控制贴图的内存使用,对于一些特殊的单通道的灰度贴图,我们可以把 4 张贴图分别整合到一张贴图里,以及对距离比较近的物体进行贴图的合并,从而减少材质和贴图的数量,在材质上我们也使用专门的 shader 来降低它的复杂程度, 物理组件方面:设置一个合适的 Fiexd Timestep,不要使用 MeshCollider,从优化角度看,尽量少用物体组件。GC 方面:减少 CPU 对 GC 的调用。例如:字符串连接的处理。尽量少使用 foreach,而是使用 for。foreach 会涉及到迭代器的使用,产生的迭代器会产生垃圾。不要直接访问 gameobject 的 tag 属性,因为访问物体的 tag 属性会在堆上额外的分配内存。代码方面:

不要频繁的使用 GetComponent,尤其是在循环中。使用内建的数组,比如 v3.Zero 而不是 new Vector(0,0,0),善于使用 ref 关键字,习惯性的将暂时不用的 GameObject 设置为非激活状态。不要频繁的使用I nstantiate 和 Destroy,内存优化方面:Resource 资源不用的要删除,纹理、网格、音频等等。在 CPU 压力不是特别大的时候,重置 GameObject、组件等占用的内存。

在大 AssetBundle 的时候,可以考虑 bundle 的压缩。以低性能成本使整个展示过程在优质的互动效果中引人入圣,使展示成果能够真正地深入人心。

该解决方案使用 HoloLens 独立工作,在一般规模的场馆展示项目上,从内容策划,到内容开发和最终部署只需 1 个月左右即可完成。针对特殊展馆展示项目、内容互动和场馆展示改造项目等,通常可以在 2 至 3 个月内完成。除了提供展览所需的 HoloLens 硬件和软件,一尺视界专业的内容制作团队还可以通过空间扫描、后期增强、数字渲染等技术用更具成本经济性的价格提供高质量的内容设计和开发服务,与传统动辄数百万的3D模型制作相比,这种方法不仅所需周期更短,价格更低,而且还实现了更好的展示效果。此外,一尺视界还具有专门的技术支持与客户服务团队,针对客户初次部署和后续需求提供使用培训、技术指导和内容更新等服务,让不具有专业技术团队的博物馆、展览馆等可以轻松部署、无忧使用。

卓越的技术团队实现令人惊叹的展示效果

上海世博会博物馆是由上海市政府和国际展览局合作共建,作为国际展览局唯一的官方博物馆和官方文献研究中心,以传承世博遗产、保留世博精髓为宗旨,致力于成为全球世博文化与创新的展示中心、推介中心、教育中心、培训中心和研究中心,并为世博文化交流提供平台。博物馆免费向公众开放的公益性博物馆,年参观人数逾 50 万。自 2017 年 5 月 1 日以来,共接待贵宾团组 680 批,26,441 人次。

博物馆传统的展览方式以静态参观为主,缺少互动趣味性,同时展品介绍因空间等限制无法全部列出,特别是珍贵文物更无法实体展出。在上海世博会博物馆的建设和策划过程中,该馆希望体现出最高端的科技属性,要求展示内容不仅丰富,而且比传统呈现效果更加生动,同时针对 VIP 客户群和重点游客提供简单易用、可以通过自然方式交互的高科技互动体验。

对于这些需求和痛点均可通过混合现实的虚拟场景解决,使展项内容具有延展性,一尺视界基于 HoloLens 的“混合现实视觉解决方案”成为了最终实现方案。在世博会博物馆展厅,HoloLens 可以在不改造原展项布局的情况下加强展品表现力,在静态展项上叠加趣味性互动观展体验,利用空间映射实现实体参观和虚拟互动的结合,开拓新的参观服务模式。对此,该馆的内容设计团队表示,“在研究如何提升展览效果,增强内容互动性,并且实现自然交互的浏览体验时,我们第一时间想到的就是 HoloLens”,HoloLens 所提供的自然手势和语音交互功能,配合独立工作的硬件设备,可以随用随戴、随走随用,其混合现实的内容叠加现实可以为博物馆中的展品增加全新维度,让展示模型、图片等灵动于空间之中,佩戴者通过手势就可以旋转、缩放、点选或透视,同时配合具有空间声响的扬声器,可以一边观看物理实体模型,一边与全息模型交互,一边聆听讲解员或电脑语音的介绍,从而创造了前所未有的博物馆游览体验。

在传统展馆内,所有展厅都需要配备专门的指导人员,带领参观者完成游览过程,并且不停介绍各个展品的背景和相关资料,同时还要尽可能回答人们的问题,但即使如此,也无法很好照顾到每个人的兴趣点。使用该解决方案,参观者只需佩戴 HoloLens,就可以根据自己的兴趣看到各种各样活灵活现的三维全息影像模型和动画,甚至还可以在不同展品上显示特效或随着时间而产生的历史变化效果,这种全息立体、浮于眼前、叠加在现实物体上的内容呈现方式给所有参观者都带来了极大的震撼和惊喜,许多客人在体验之后都不断发出赞叹,流连忘返,既惊叹于展馆提供的丰富、生动的立体内容,也对混合现实这种高端科技具有极大的好感。 通过现实与虚拟融合,身临其境的 3D 动画场景, HoloLens 让世博会博物馆的展示内容更具延展性,交互游戏等全新互动元素还进一步增加了趣味性。在该项目中,一

尺视界还通过微软智能云 Azure 为参观者提供了留言功能,让参观者打破时间和空间限制进行交流,增添了社交属性。利用 Azure 提供的数据分析功能,世博会博物馆还可以对云端数据的进行留存分析,让展方根据数据分析更加精准的对展览动线进行调整、对展品及其内容进行替换更新。

该解决方案的部署和使用都非常简单,可以很好的与现有展馆布局和展品进行兼容对接,无需进行布线,也不用在展柜上安装电脑等其它设备,HoloLens 自身就具备了良好的便携性,无需外接任何线缆就可以独立工作,参观者佩戴后不仅可以在场馆内自由活动,也不会影响双手活动,透过混合现实的叠加显示在不失态的情况下获得良好体验。整套系统不仅成本低,不会破坏原有的展品布局,而且用户接受度高,使用体验更好。

“这种方式是之前从未有过的,参观者戴上 HoloLens 后,可以获得一对一的个性化专属体验,很多人都担心高科技产品难操作,但 HoloLens 却非常简单,基本不需要培训,参观者只需根据视觉和语音引导就可以自己掌握使用方法,然后根据自己的兴趣让 HoloLens 引导整个参观流程,这种互动能力是其它技术所无法比拟的”,在谈到该解决方案的使用体验时,该馆的工作人员这样评论:“该解决方案帮助上海世博会博物馆实现了以下业务运营目标”

  • • 提升技术先进性和内容延伸性;
  • • 利用有限的资金预算实现稳定、高质量的交互体验;
  • • 不破坏展示风格,也不影响开馆运营。

实现这样的惊叹呈现效果,也始终是一尺视界所追求的目标,“我们投身于展览展示场景,团队自然被赋予了独特的使命,我们始终希望为客户提供特别棒的画面和展示效果,让客户首先有一个“Wow”的感觉,希望客户可以对 HoloLens 的精致渲染效果留下深刻的第一印象,这也是我们一直在努力达到的”,在谈到上海世博会博物馆项目时,一尺视界的技术团队这样说,“我们在该项目中首先注重的是用户的体验和画面的渲染效果,极致的用户体验(UX)是我们的追求,基于此,我们还不断完善整个功能设计,降低用户操作复杂性,减少功能模块之间的复合程度,让整个系统可以更轻巧、更高效地运行”。

微软混合现实合作伙伴项目

一尺视界通过专业的设计和实现能力不断为客户呈现最好的混合现实全息影像呈现效果,通过自己在画面渲染层面的独特创新以及对用户体验的优化,让 HoloLens 更轻松地走入博物馆和各种展览场景,将传统平面化展示、沙盘展示等内容提升到全新的可交互、动态、全息层次,很好地解决了博物馆展品的“真实”与混合现实“虚拟”之间的动态联动问题。

同时,一尺视界也在不断与微软建立全方位合作,在该解决方案的设计和实现过程中受到了微软大力支持和帮助,也参与了由微软组织的多场技术培训,“之前我们更多关注的是做了多少功能,而通过参加微软的这些培训,我们深刻认识到创意和解决方案有效性的重要性,微软用国际化视野和案例让我们对解决方案的客户价值具有更深的理解”,在谈到与微软的合作时,一尺视界的 CEO 这样表示,“微软不仅给予了大量技术支持,帮助我们解决了许多技术难点,在我们做项目策划的时候,还从商业和市场角度与我们一起提炼整个产品的精髓,基于商业价值的逻辑完成了很好原型设计,这个设计让客户非常满意”。

在 2018 年,经过层层筛选和评比,一尺视界成功加入微软混合现实合作伙伴计划(Mixed Reality Partner Program),该计划是微软针对数字营销公司、系统集成商和解决方案提供商的综合性支持计划,旨在帮助他们为客户构建混合现实解决方案。作为 MRPP 项目的成员公司,一尺视界获得与美国 HoloLens 项目团队直接进行交流学习和实操的机会,参加了在微软总部 Redmond 组织的混合现实开发培训,经过这一培训,进一步提升了团队技术实力,完善了产品发展规划。

一尺视界始终坚信 HoloLens 是展览场景的未来,也认为随着该技术的进一步发展,未来的 HoloLens 会更加轻巧便携,提供更大的视野和运算能力,从而支持更好的用户体验。一尺视界还计划利用微软智能云 Azure 和基于人工智能的微软认知服务,实现软件、硬件与云端相结合的综合性解决方案,为客户提供云端三维模型库、自助建模、内容智能识别等全新功能,配合 HoloLens 的自由、联网操作体验,为博物馆和展览馆建立智能的云端数据媒体中心,将数字化内容通过 HoloLens 展示给更广泛的人群,并且用混合现实技术建立起博物馆与参观者之间的桥梁,用更有趣的体验和服务开启全新未来。

HoloLens QQ交流群493967447

更多阅读推荐......

专栏