数字孪生与MR融合应用探讨
MR是数字孪生系统实现可视化交互的重要支撑技术，利用实时数据采集，场景捕捉，实时跟踪及注册等实现虚拟实体与物理实体在时空上的同步与融合，通过虚拟实体补充增强物理实体在检测、验证及指导等方面的功能。本文主要介绍了数字孪生技术及与MR融合应用的发展背景、MR技术硬件现状、应用案例以及关键支撑技术。
背 景
随着数据采集系统、大数据、物联网、云计算、边缘计算、人工智能、5G、区块链等新一代信息技术（New IT）的不断发展，引发了数字孪生的热潮。数字孪生理念最早出现于1963年，体现在NASA阿波罗计划中，而概念雏形是由美国密歇根大学Grieves教授2003年在产品全生命周期管理提出的“与物理产品等价的虚拟数字化表达”，由于受到当时技术限制及认知的局限，并没有引起重视。
2003-2005年，数字孪生一直被称为镜像的空间模型。2006-2010年，被称为信息镜像模型。直到2010年，美国空军研究实验室与NASA开始合作，提出了飞行器的数字孪生体，数字孪生才有了明确概念。2012年，NASA发布“建模、仿真、信息技术和处理”路线图，数字孪生进入公众视野。2014年，Grieves发布了数字孪生白 皮 书。2015年，通用电气公司构建了发动机数字孪生体。2017年，全球最权威的IT研究和顾问咨询公司Gartner首次将数字孪生列为十大科技发展战略趋势之一，并连续三年入榜。从WOS数据库中检索的文献情况来看，2017年数字孪生的文献数量产生阶跃，数字孪生的研究进入高速增长期。
学术界对数字孪生模型研究的比较多，陶飞教授在三维的数字孪生模型的基础上首次提出了五维数字孪生模型，即物理实体、虚拟实体、孪生数据、连接、服务。服务维度是指对数字孪生应用过程中所需各类数据、模型、算法、仿真、结果进行服务化封装，以工具组件、中间件、模块引擎等形式支撑数字孪生内部功能与实现的“功能性 服务”，以及应用软件、移动端App等形式满足不同领域不同用户不同业务需求的“业务性 服务”。
“功能性 服务”、“业务性 服务”需要可视分析进行最终呈现，可视分析整合了可视化、人机交互和自动分析方法，支持用户以视觉的方式感知数据，通过交互方式对数据进行探索。近年来，沉浸式技术的进步，如虚拟现实（VR）、增强现实（AR）、混合现实（MR）等（具体区别参见前期文章），提升了可视分析在大规模实景中的应用。早期的沉浸式多是基于VR、AR等技术完成，近年来，随着MR软硬件不断发展，利用眼动追踪、手势识别和语音识别等人机交互技术使虚拟实体与物理实体交互更加简单、直接，相信基于MR的可视分析会在数字孪生中起到重要作用。
MR硬件现状
当前常见的MR设备可分为两类，一类是移动设备，如手机、平板电脑、AR眼镜等，优点是便携且成本相对低，缺点是只能在二维屏幕上展示图像，交互方式较少，开发方式基于Android和IOS平台，分别使用ARCore和ARKit开发；另一类是MR头戴显示设备，如HoloLens 2，集成了MR技术，能够将虚拟信息与现实进行无缝连接，使用微电子机械系统(micro electro mechanical system, MEMS)显示技术实现更好的显示效果, 使用Kinect传感器结合深度学习神经网络支持追踪识别双手的26个关节等, 缺点是在可视范围、渲染质量和交互精度等方面仍有提高空间，开发方式是基于专用软件及相关工具包开发（如Unity、MRTK、UnrealEngine 4、Javascript、DXR、IATK等）。
应用案例
随着MR技术的发展，其开始被应用于多个领域，如电力领域、船舶航运、航空航天、油气行业、高端装备领域等。
电力领域
当前变电站的各类巡检方式大都存在着巡检信息不能得到妥善保存、巡检系统无法及时获取 SCADA 数据等问题，电力行业出现采用MR设备进行变电站巡检新方式。通过HoloLens 连接人与物，系统利用获取的巡检数据以及调用的 SCADA 数据，对设备进行状态评估和故障率计算，以三维可视化的形式为巡检人员提供辅助信息，以提高巡检质量和效率。
船舶航运
由于海上交通不明物体（不确定的浮动物体）越来越多，船体上需要增加更多的传感器和仪器进行识别。在这种情况下，由于数据量大，一些简单的操作也可能变的十分复杂。利用MR进行可视化交互，使用户可以直接进入海面“绘制”导航信息（例如，路线，障碍物，信息等），及时感知潜在的风险题，提升航运的安全性能。
航空航天
意大利空军Command Control Communications Computers and Intelligence(C4I)军事系统系统维护活动可以分为两种主要类型，一类是基于定期活动的预防性维护，以使系统性能保持正常；另一类是纠正性维护，对系统故障进行修复。由于C4I维护复杂，涉及到系统供应商、硬件供应商等，专业维护人员需要在不同供应商之间进行沟通协调，效率低下。C4I系统维护采用了MR技术，专家通过网络对维修人员进行操作指导，建立起协调机制，实现系统维护合理化。
油气行业
对于油气工业企业来说，维护油泵是一项复杂的任务，环境、负载、设施及气候等因素都会对油泵运行产生影响。泵的预防性维护是最理想的维护方式。尽管预防性维护方法很多，但实践表明，由于公司对收集的数据及模型融合应用存在困难，难以对评估设备的剩余寿命进行评估。圣彼得堡矿业大学利用MR和动态模拟技术实现了油泵的预测性维护。
高端装备领域
西安科技大学提出一种融合数字孪生与MR的机电设备辅助维修方法，通过多种检测手段获得煤矿机电设备的运行状态，对其关键零部件位姿进行标定和故障信息提取，形成物理维修环境；通过搭建混合现实开发环境，设计虚拟维修指导系统，构建煤矿机电设备虚拟模型，设计故障ID和指导流程片段，形成虚拟维修环境；然后对不同的故障进行识别与匹配，处理维修对象的状态数据，利用自然交互方法对虚拟环境进行注册融合，完成虚实维修环境映射，达到指导故障维修的目的。
电梯行业
每天有超过十亿人乘坐电梯，这让电梯行业在应对城镇化挑战方面扮演了重要的角色，如何高质量高效率地增加电梯和扶梯的可用性是面临的严峻挑战。蒂森克虏伯在电梯维保服务中应用MR技术，维保技术人员还未到达现场就可以开始工作,他们可以通过设备看见电梯的三维立体图像，识别问题所在；还能在维保现场，远程读取技术和专家信息，这都将大大节省时间、减轻工作压力。经现场初步试验显示，电梯维保工作的完成速度比以往快了四倍。
系统框架及Hololens应用关键技术
通过应用案例可知，目前，MR和数字孪生在设备的运维阶段主要是提供监测预警及远程指导维护等功能。实现数字孪生和MR融合应用系统框架如图所示。
构建数字孪生和MR融合应用系统关键技术包括：
环境感知
HoloLens头戴设备集成了1个惯性传感器，用于感知设备方向；4个环境感知摄像头，用于三维场景重建；1个深度摄像头，用于感知物体的相对位移。需要开发具有模型准确、几何变换灵活、数据量小和易于可视化的图像和场景深度图算法，对物理实体所在的三维场景进行重建。
数据信息交互
数据信息交互主要包括数字孪生数据和人机信息交互，其中数字孪生数据交互包括物理实体与虚拟实体、物理实体与孪生数据、物理实体与混合现实、虚拟实体与孪生数据、虚拟实体与混合现实等之间的交互方式；人机交互包括虚拟环境与真实环境之间的交互方式及触发逻辑。通过数字孪生数据交互、人机交互，实现数字孪生系统在人-机-环之间数据的实时流通。
虚实注册融合
常用的虚实注册融合算法有基于人工标识和基于自然特征点两种，均可解决虚拟世界和现实世界融合中的空间几何一致性问题。人工标识算法具有精度高、定位稳等优点，但人工标识容易被损坏；自然特征无需人工标识注册，但适用场景不宜复杂多变。需要根据不同的应用场景开发不同的注册算法，确保虚拟场景实时跟踪物理场景位置。
