商询科技用HoloLens连接数据科学,让抽象结果直观可见
查看引用/信息源请点击:Microsoft
DataMesh
(映维网Nweon 2018年06月01日)DataMesh(北京商询科技有限公司)成立于 2014 年 9 月,是一家专注于人工智能技术创新的国家高新技术企业,致力于解决人与人、人与机器混合协作的难题。DataMesh 企业级认知平台与应用打破常规,利用先进的机器学习和自然语言分析、混合现实等技术手段,深挖企业非结构化数据,向企业一线员工提供高质量的协作信息,大幅超越现有认知水平,提高企业在维修巡检、教学培训、远程指导、设计与勘察、品牌营销等众多场景的交付能力,是企业数字化转型不可或缺的组成部分。
解决方案及产品背景
未来,混合现实技术将革新人类的视觉体验与交互设计方式,而能否连接企业数据则是企业能否获得收益的根本。近年来,虚拟现实(VR)、增强现实(AR)和混合现实(MR)技术发展迅速,技术日趋成熟,设备日趋完善,其中以微软推出的 HoloLens 为代表的 MR 头显(混合现实头戴式显示器)技术最为先进,它可以将现实与虚拟影像结合,提供卓越的显示效果。
DataMesh 专注于为企业客户提供世界顶级的企业认知平台和应用,对数据可视化和大数据落地应用等方面拥有丰富的实践经验。在接触混合现实技术之前,DataMesh 商询科技一直都是提供企业认知服务及产品的 IT 公司,主要面向的是工业制造、教育,以及通信等领域,利用大数据等手段以产品形式对传统行业进行升级改造。DataMesh 商询科技纵观科技行业的整体发展趋势,将人工智能、云计算等技术与 AR/MR 技术相融合,利用混合现实技术实现的突破性体验,将传统的“人去找数据”的工作模式转换为“让数据去找人”,希望利用全息影像和混合现实融合体验,推进数据落地,解决商业实践流程中的痛点,提高企业认知能力。
商业实践流程痛点
在如今的大数据时代,看不见摸不着的数据在时刻改变我们的生活,影响我们的社交、购物和出行。商询科技的许多客户都希望采用 AR/MR 技术增强业务场景中的数据展现能力,对于这种需求,商询科技发现:传统内容提供商、系统集成商、广告公司、咨询公司缺乏现代交互科技的运用能力,许多行业都迫切需要 3D 技术推动下一代展示革命,打通 3D 模型与数据,真正解决现实世界中的问题。而数据的集成与分析、内容的制作成本和多人协同、快速表达能力是 AR/MR 普及的重要壁垒,脱离这些基本需求,是难以产生高价值服务和解决方案的。
具体到一些行业的垂直应用领域,以房产和厂区沙盘展示为例,传统沙盘因需要定制化制作,往往存在制作成本高、重复使用率低的问题;即使配合视频、图片等平面展示,信息传递也存在过于碎片化的问题,无法提供直观的展示效果。在汽车零售领域,以传统 4S 店的看车体验为例,由于场地固定因此存在空间制约,如果无法在现场为客户提供意向车型的展示,很容易造成客户满意度降低,客单流失率增加。在工业制造领域的产品和厂区展示、操作和维修培训;建筑领域的 BIM 模型展示、数据整合;以及媒体行业的虚拟演播室等场景中同样存在上述类似问题。
而在具体的技术实现方面,很多公司都不具备专业的 3D 商用化内容制作和呈现能力,商询科技 CTO 兼混合现实技术总监邬浩提到:“很多教程和资料对于普通开发人员来说只能实现基本需求,当公司开始尝试商用化时就会遇到很多的问题,包括如何将企业数据打通并最终以混合现实可视化方式表现,在实施时如何实现多个 HoloLens 之间的协同、第三方视角拍摄等,即使参考微软提供的开源方案,也需要较高水平的二次开发才能实现企业级别的应用,很多公司并不具备这种实力。”
商询科技数据认知服务产品及解决方案
商询科技立足于数据分析、机器学习与可视化,DataMesh 产品与方案帮助企业快速实现智能化设计,提高部署效率,降低方案构建成本,帮助企业提升自我认知,解决内容服务商与系统集成商提供 AR/MR 行业方案中企业所面临的实际问题。商询科技 CTO 邬浩认为:MR 能够把数据立体地呈现在真实空间里,这不仅使数据更直观,还能解决很多传统企业生产流程中的问题。MR 呈现的内容直接显示在眼前,并且在操作过程中还可以额外显示很多辅助信息,它完全解放了双手。这可以改变仓储、机械维修、传统培训等场景。也正是基于这样的理解,商询科技企业认知解决方案与微软 HoloLens 的 MR 技术充分结合,打造了 DataMesh 企业认知平台。
大数据集成及可视化平台 DataMesh DataMix & Cloud Services
DataMesh DataMix & Cloud Services是 DataMesh 为企业提供的大数据集成、分析、学习及可视化平台,利用混合现实技术实现了自助式叙事编剧能力,为企业在数据、设备和人员之间搭建了桥梁,帮助企业提升认知。DataMix 和云平台支持大规模高并发设备协同支持,可以跨设备、跨平台工作,除了 MR 设备(如 HoloLens),它还支持各类 AR/VR 头显,甚至可以利用平板电脑、手机和 CardBoard 眼镜进行 3D 模型展示。在全息影像模型的展示方面,该产品利用了微软 HoloLens 的 Spatial Mapping 空间映射技术,可以将真实世界与虚拟世界混合。
DataMix 可以整合企业内离散的传感器、应用系统、工单、知识管理等不同源异构数据,实现快速数据标记、清洗和持续集成,实现了数据标准化输出、混合现实可视化,并支持在客户端对数据模型进行快速操作,为企业实现工业 4.0 打下坚实基础。DataMesh Cloud Services(DCS)是 DataMix 的后端数据平台,提供数据、认知服务、混合现实云底层架构支持,基于微服务和容器化支持多租户/高并发,支持跨地域混合云部署,为企业用户实现全球布局。
DataMix 通过整合分析企业内外部数据,将数据与设备、人员相连,深入挖掘客户现有数据的潜在价值。DataMix 还可以对接 SharePoint 实现知识管理和企业级内容管理,对接企业数据科学家,快速实现数据成果可视化。在 HoloLens 和远程专家 Remote Expert 上,该方案还支持手势或语音控制进行数据搜索,在联网状态下,提供实时分享混合现实的独特体验。接入历史数据后,DataMix 可实现仪器监控,并利用混合现实技术进行数字孪生体(Digital Twin)成果展示。
混合现实捕捉制播产品 DataMesh Live!
DataMesh Live! 是世界首个基于微软 HoloLens Spectator View 的第三人称视角混合现实捕捉制播商业方案,该产品打破了 HoloLens 佩戴者与旁观者的隔阂,不仅能实现实时多视角移机拍摄展示,让更多人在现场裸眼观看全息画面在现实场景交互的演示效果,还能配合 DataMix 打通后台数据和企业级设备,从而被快速应用在大屏展现、汇报讲解、实时互动和虚拟演播(交互式混合现实 IMR)等场景,极大降低 MR 案例和影视制作成本,加速混合现实行业推广进程。
DataMesh Live! 支持多设备高并发协同、录屏等功能。其通过时间轴录制的内容,还可以跨平台在 VR 眼镜盒子上进行演示。这种多人协同能力在教育领域具有很强的实用性,通过 HoloLens 进行教学讲解,再通过较为廉价的 VR 头显进行观看,VR 和 MR 两者可以同步展示,既可以节省硬件开支,也降低了教学内容的使用门槛。
DataMesh Live! 直接支持 HoloLens、ARKit、ARCore、AR/VR 头显、普通平板以及手机,录屏分辨率最高可达 4K 超高清画质,通过实时多视角移机拍摄、实时捕捉与转播,让没有佩戴 HoloLens 的人员也能感受到混合现实的魅力所在,为混合现实在工业和教学领域的应用奠定了基础。
数字驱动远程指导系统 DataMesh Remote Expert
DataMesh 的 Remote Expert 远程专家系统支持多人远程通讯及实时互动,通过微软混合现实头显 HoloLens 与多设备协作,帮助一线员工从不同类型数据中洞悉有效信息,并能和专家资源通过远程视频通讯的方式实时对接,从而分析、洞察问题所在,获得解决问题的能力。结合 DataMesh 的智能搜索技术,用户可以快速获取关键信息,其后端利用安全可靠的云服务 DataMesh Cloud Services 实现资源协作共享,支持专家建立实时对接;该系统还支持混合现实设备端到平台之间的跨平台协作,让互动变得更直观顺畅;同时提供了大数据驱动服务,通过与 Azure 智能云的认知服务结合,为一线员工提供了包括计算影像、语音、语言的识别和分析在内的预测能力。该系统还可以整合 DataMesh 研发的 DataMix 数据服务,建立知识图谱。
混合现实叙事产品 DataMesh Director
为了简化全息影像模型和动态交互内容的制作,商询科技还开发设计了适用于教学培训、展览展示的产品 DataMesh Director,该产品可以将商业汇报场景中常用的三维制作方式转化为类似于 PPT 动画的设计形式,让产品专注于企业汇报与 3D 说明书制作,实现了无代码混合现实叙事开发,为创意和设计的实现提供了更多可能。这种方式可以大幅减少开发成本,提高最终输出成果质量,让设计者更多关注于创意和构思,从而释放更多生产力。该方案可减少 95%代码开发,绝大部分场景甚至可做到无代码开发,仅需美术人员甚至普通教师即可完成。
行业垂直应用
商询科技的MR解决方案可以极大降低开发者进入 MR 领域的门槛,帮助客户快速建立商业化 MR 解决方案。混合现实技术作为新兴的前沿科技,行业发展方兴未艾,在很多领域的应用都处于空白,对此,商询科技基于 DataMix & Cloud Services 构建知识库、专家资源库,生成特定场景的企业知识图谱;收集并处理企业业务数据,包括与工作对象相关文本、图像、视频、可视化的大数据,甚至是流程指引;对工作中的关键知识与经验,做到智能推荐,提供语音、视频沟通能力,与领域专家实时互动;建立混合多维场景,立体构建更多交互依托。
电子沙盘
结合实体沙盘,通过虚拟/混合现实技术体现产业园区的发展历程和规划成果并展示城市未来发展布局、战略部署;利用数据可视化呈现地理信息数据、统计数据、经济数据;配合讲解节奏呈现对应展示内容;参观人员可使用不同移动终端直接与虚拟场景进行交互从而获得更好的参观体验,为现场所有观众呈现不同时空同一区域叹为观止的蜕变进程。电子沙盘的互动数据也可实时接入,从而表现区域感知等可视化效果。
混合现实互动展示,在结合布景的基础上,使用 DataMesh Director 与 DataMesh Cloud Services 的素材云快速制作 3D 混合现实展示内容,帮助企业、政府机构叙事汇报展览,提高展区互动性和吸引力,并提供视频、图片的分享服务,提高传播力。
DataMesh 汽车行业混合现实解决方案
DataMesh 混合现实解决方案能帮助设计师在原型设计中进行实时修改、标注与协同,提升了整体设计效率。而传统工作方式中设计数据与实际模型数据不符等问题也可以通过数据辅助功能避免,帮助企业提高减少设计偏差、提升协作效率、降低设计成本。
Remote Expert 能够连接企业专家与一线员工,为维修勘察人员提供问题预判、流程指引、数字标签等能力,并与领域专家互动,获得专家的指导。与 DataMesh Live! 结合,将二维培训内容以混合现实三维画面展示,同时结合真实环境,帮助企业在培训中更为直观清晰的传达培训内容的操作步骤和功能特点。同时,DataMesh Cloud Services 支持对培训内容的混合现实画面摄录、存储及调用满足企业不同环境下的培训需求。
在制造业中,即便引进国外最先进的生产线和机器人,国内企业在生产运营时依然广泛面临着人员培训不足,分析能力不够,故障预测难等问题,以及因为故障停产频发而造成的实际损失。DataMesh 可以实现工业制造数字助手,利用 DataMix 系统集成工业互联网、维修维护数据,辅助以 AR/MR 眼镜帮助工作人员决策,已经在国内制造业龙头企业开始部署。
DataMesh 新零售、电商混合现实解决方案
在结合布景的基础上,使用 DataMesh Director 与 DataMesh Cloud Services 的素材云快速制作 3D 混合现实展示内容,帮助零售企业叙事展览,提高互动性和吸引力,并提供视频、图片的分享服务,提高传播力,打通线上与线下的连接。
该方案可用于空间叠加(适用于家装、建筑样板间、电器卖场等)场景,基于 Microsoft HoloLens 的 Spatial Mapping 能力,DataMesh Live! 提供了类似于微软与Lowe’s 的一键全屋定制化家装方案,使用 HoloLens 来协助家具再造的视觉化设计,摆脱了使用量尺丈量居家空间的麻烦,也不必使用纸板进行家具摆放模拟,用户足不出户即可在家中依照真实空间信息,以 1:1 全息影像真实模拟家居装饰方案,全方位自定义调整布局,实现了高品质且易于调整和修改的家居与摆设设计服务。该应用可将真实世界与虚拟世界混合,提升消费体验,增强沟通和设计实施效率。
DataMesh 规划展示建筑设计解决方案
DataMesh 与行业龙头企业广联达合作,基于 BIMFace 提供对 Sketchup/Revit 等建筑模型在混合现实设备中的直接调用与操作。基于 BIM 模型和 MR 头显,DataMesh 相关方案可以有效地帮助建筑设计师与地产商沟通,实现协同设计和修改,也可以帮助地产企业引导客户完成快速概念设计,或者在真实样板间中体验自己的未来生活。
客户案例
商询科技 DataMesh 拥有专业的国际化团队以及最顶级客户和合作伙伴,深耕于制造业、建筑业、影视制作以及公安消防等领域,目前已有诸多行业标杆性案例。作为立足于混合现实和企业数据技术,帮助企业实现未来愿景的创业公司,DataMesh 利用核心数据平台和混合现实的实时与协作能力,将数据应用与现实体验对接,解决商业实践中的痛点,为客户带来真正价值,构建混合现实在人类社会中的未来。
尽管 HoloLens 混合现实设备还没有在消费者市场普及,但对于企业客户来讲,这款设备却能解决许多实际问题。商询科技 DataMesh 的产品,“一个针对于数据的集成与分析整合,另一个面向的是混合技术显示头显背后的协同和它所需要的一些基础和服务。这两款产品,基本上可以节省企业用户 70%左右的开发时间。我们提供现成的底层和方案,用户只需要稍稍配置一下,拖拖拽拽自己的素材内容就可以了”,在提到客户反馈时,商询科技 CEO 李劼这样介绍。
堪培拉文法学校 STEM 教学应用
通过将自主研发的混合现实及数据平台 DataMix 和 DataMesh Live! 与微软混合现实全息眼镜 HoloLens 结合,DataMesh 为来自全球客户及合作伙伴提供了世界顶级的混合现实与数据科学解决方案。作为一款将混合现实真正商业化的产品,DataMesh Live! 已经应用于澳大利亚的百年名校堪培拉文法学校的 STEM 教学中,并被澳洲权威电视媒体 Sunrise 报道。
DataMesh Live! 已经应用于澳大利亚的百年名校堪培拉文法学校的 STEM 教学中
中央电视点《中国诗词大会》
在国内,中央电视台《中国诗词大会》已成功使用 DataMesh Live! 为观众带来了现场直播的 MR 视觉体验。该案例利用 MR 不受场地限制和互动特性,让观众在现场带上 HoloLens 参与诗词大会答题。节目现场架设 4 台摄像机,摄像系统是在传统摄像机上附加了 HoloLens,并配合后台软件进行多设备内容同步。它可以将场地建模,并实时扫描场地,同时利用空间锚自动追踪每台摄像机在场地的位置。在直播应用中不需要任何辅助手段,摄像师拿着摄像机任意移动,所有虚拟物品和效果会自动跟随镜头位置动态展示。
中央电视台《中国诗词大会》已成功使用 DataMesh Live!
广汽本田“透明工厂”
汽车生产车间环境通常是封闭的,非专业制造人员进入厂房不仅容易带来安全隐患,而且为了协调参观过程,也会影响正常的生产节奏,从而造成一定损失。在大型汽车生产园区,厂房车间分布较广,整套参观流程往往会占用半天时间,出入厂房的断断续续参观体验也使参观者的信息接受变得碎片化,而如果单纯使用视频、图片等方式,也无法直观、准确的传递出核心生产工艺等信息。
DataMesh 利用微软 HoloLens 和第三方视角技术,通过多终端间为广汽本田打造了“透明工厂”数字孪生解决方案。通过混合现实技术,该方案能将汽车生产车间数据模拟出动态虚拟沙盘,结合实际环境投放在体验者身边,体验者能够直观清晰的了解汽车从钢板到整装的 3D 动态演绎过程,在体验过程中,客户不但可以像观测普通沙盘一样近距离多角度的观测,在动态演示时,还可以针对重点环节调取细节信息,反复观看生产过程。
通过 Spectator View 模拟出的混合现实画面第三方观察视角,即使不佩戴 HoloLens,参观者也能感受到混合现实的画面带来的真实感,将虚拟模型与体验者的参与过程结合,以故事性的角度更为清晰的让旁观者了解生产线标准化全流程。而通过 Surface 等其它终端设备控制的交互体验,广汽本田本自行设计了参观解说路线,配合 HoloLens 中的场景提示,引导体验者对重点场景进行深入理解。DataMesh 架设了稳定的后台服务,保证了体验过程中 HoloLens、Surface 及 PC 三端的交互稳定性。DataMesh 还实现了一键场景分享功能,支持体验者将所观看的场景以视频、图片形式分享到社交平台,将混合现实方案体验随手分享给周围朋友,从而能够吸引更多意向客户。
“透明工厂”解决方案将广汽本田汽车生产标准化流程的数据与混合现实画面同步展现给体验者,再以自然的交互方式收集到的用户体验信息,整理并优化于标准化流程方案中,不断提升了数字化技术的升级。便于优化广汽本田在展示服务标准流程上的管理控制。整套解决方案不受场地的局限,随时随地可在现实空间中展示生产流程,既达到了展示真实流程的效果,又避免长期占用展厅空间,同时提高了展厅展示效率。相较于传统沙盘,该方案从制作成本上节约了 1/3。同时,“透明工厂”还解决了实地参观对生产造成的直接及间接影响,将现场参观带来的潜在意外危险降到了最低,工作人员不再为参观客户的人身安全而担心,提升了体验者的参观效率,也节约了客户的参观时间,对于核心数据及工艺隐私保密上,也最大程度的保护了企业利益,为广汽本田每年节约了近 20%的参观培训成本。
此外,DataMesh Live! 基于 HoloLens SLAM 实现的实时定位功能,已经在湖南卫视节目中使用,并中标中央电视台的虚拟演播室制播项目,该项目将使用4K分辨率实现超高清混合现实视频内容的制作和播放,实现多人现场裸眼观看全息画面交互的演示效果。此外,DataMesh 还应用在了北京朝阳区规划艺术馆的北京城市发展规划展区,使用全息影像技术代替了传统沙盘展示,同时,在未来汽车中国科技馆展区和保时捷中国体验中心也有所应用。
微软混合现实合作伙伴计划,为商询科技添羽加翼
商询科技 DataMesh 不仅致力于提供严谨的数据与混合现实技术的咨询与研发服务,也积极打造混合现实技术社区的创新文化。商询科技于 2016 年获得 IDG 资本投资,DataMesh 与微软中国及微软美国总部的市场、销售和研发都具有深度合作关系,2017 年 8 月 DataMesh 入选微软加速器第十期入驻企业,2017 年 10 月成为中国首批微软混合现实官方认证合作伙伴(MRPP)。
在 MRPP 项目的帮助下,商询科技与世界上其它顶级混合现实制作团队建立了沟通和交流渠道,参加了 MRPP 项目在 2017 年组织的美国微软 Redmond 总部 MR 开发训练营。通过与不同行业的知名企业交流,结合微软全力以赴的技术支持,让核心团队对行业痛点有更深刻的了解,将更完整的价值理念融入到解决方案的设计中,使方案和产品更加契合行业需求,也实现了对产品的进一步打磨优化。
对于微软 MRPP 项目,商询科技的 CEO 李劼这样评价“自从经过微软 MRPP 认证,我们的混合现实开发技术受到了官方的认可,极大提高了客户对我们公司的信赖,通过 MRPP 认证后,我们的客货量直线提高了 200%,同时我们的解决方案也获得了央视、广汽本田等知名企业的青睐。同时,MRPP 认证提供的平台还帮助我们将公司产品快速推广到行业中,提高了公司在行业内的认知度。”
在未来发展方面,商询科技将进一步加大在微软技术平台上的投入,增加微软智能云 Azure 在解决方案中的应用,利用微软云计算的优势强化 DataMesh 的数据分析和模型渲染能力。同时,商询科技还计划进一步促进混合现实与行业大数据的实践应用,专注于工业制造、建筑地产、教育培训和汽车等领域,充分发挥 DataMix & DataMesh Cloud Services 的威力。