案例赏析 | 飞机装配中的数字孪生 AR技术
来源：智造苑
作者：赵罡、韩鹏飞等
飞机的分系统装配过程中，涉及的零件复杂，种类繁多，传统的纸质装配大纲对于装配人员的理解构成一定的挑战。而应用基于AR技术的辅助装配方法，可以帮助操作人员快速理解装配过程、辅助装配操作。另外，装配状态的监测对于保证装配质量非常重要的，将AR技术应用装配状态检测，可以构建其虚拟装配实体，与工艺要求进行比对实现动态检测。
这里介绍在中机身部段的系统件装配现场应用AR设备实现装配过程可视化展示技术，以及不同装配场景下的智能化辅助装配系统。该系统的功能包括AR环境下的航空线缆安装实时可视化指导，基于AR的支架安装状态检测，以及基于云服务器的集成控制技术。
1. 基于AR的线缆接头装配过程可视化
基于AR眼镜的线缆接头安装辅助系统结构如图1所示。由于飞机上用到的线缆和接头种类极其繁多，需要参考图纸才能完成线缆和接头的安装。而线缆上的编号较小，人工辨认效率低，寻找安装孔效率也很低。因此在安装过程中自动辨认编号，定位安装孔，可以提高线缆接头安装过程的效率。
图1 基于AR眼镜的线缆接头安装辅助系统架构
基于AR眼镜的线缆接头安装辅助系统主要由两部分组成：数据库构建端和眼镜端。数据库构建端负责建立接头型谱图数据库，包含线缆和接头的对应关系，为眼镜端做数据准备。眼镜端负责在安装过程中显示线缆和接头的信息和装配大纲中的核心步骤等，辅助工人完成线缆和接头的安装。
在数据库构建端，开发型谱图数据库构建软件，可以直接从接头的照片中提取信息，并利用CAD软件进行二次开发，绘制接头型谱图。首先通过图像算法提取照片中的接头型谱图信息，其计算过程如图2所示。在图像算法的开发中，提出了插头孔位小目标的检测网络，实现了对不同类别的孔位的高精度检测与识别。在识别到空位的轮廓和编号引导线之后，就可以在程序中完成孔位编号的自动生成，产生的型谱图如图3所示。为了获得每一个孔位的编号，生成规范的型谱图，设计了无序孔位的分布排列算法。型谱图的生成利用了国产CAD软件CAXA提供的二次开发接口，在CAD中构建二维的准确型谱图。
图2 从照片中提取型谱图的过程
在操作人员佩戴AR眼镜执行装配操作时，其眼前展示的场景如图4所示。利用眼镜上的摄像机识别到线缆上的标号，然后与数据库中的装配工艺进行匹配，找出正确的安装位置。这里识别编号的功能通过OCR相关算法实现，并且对于扭曲字体进行了特殊处理，保证了较高的识别精度。通时，操作人员还可以通过语音识别技术识别线缆编号。
图4 AR眼镜中的装配信息可视化展示
在编号识别和型谱图构建的基础上，系统可以在AR眼镜中叠加显示二维的孔位频谱图，在其上高亮显示导线对应插孔，辅助导线接头安装过程。另外，还可以通过图像识别技术，对安装好的插头进行检查，实现错装导线的孔位和漏装导线的孔位的检错，在AR眼镜中展示检错警告。
2. 基于AR的支架安装状态检测
支架的作用是用于固定线缆，安装在飞机机身壁板上，保证线缆的正确走线路径。由于飞机上的线缆支架种类繁多，安装过程繁琐，需要一种辅助的装配状态监测对比手段。在AR系统中实现采用基于图像处理的线缆支架识别功能，具有轻量、便捷、高效的特点。
基于AR眼镜图像处理的支架安装状态检测方案如图5所示。由于通过图像直接进行支架的三维模型匹配和监测需要很高的计算性能，而目前AR眼镜还无法满足这一要求，这里将其转化为二维图像处理问题来解决。即预先将支架在各个角度生成二维图像，并在服务器中存储为图库。实际监测时，通过将拍摄的支架图片进行图像处理，提取图像轮廓，计算轮廓矩，作为当前支架姿态的特征，输入到姿态数据库（图库）中进行kNN最邻近搜索，查找到与其最匹配的姿态作为输出。
以单独支架状态监测为基础，面对整块装配区域的多个安装位置的支架，可以通过模板匹配的方法，识别整个区域的所有支架状态。如图6所示，首先分割装配区域的整体图像，将支架与壁板分离，然后检测每一支架的安装状态。查找装配工艺数据库，检查出漏装、反装及型号错误问题，为现场操作人员提供安装状态的建议。
与工业机器人的结合，使得基于图像的支架状态识别技术不再局限于AR眼镜，可以实现自动化的装配检测，减轻了操作人员的负担。如图7所示，机器人的末端执行器安装有工业相机，可以拍摄支架的照片。在机器人虚拟仿真环境中，给定了支架的位置，可以自动规划出机器人运动轨迹，实现控制真实机器人完成监测任务。
3. 基于云服务的装配状态监控集成控制系统
受限于当前AR眼镜的计算能力不足和较小的存储空间，线缆接头装配和支架状态检测中，有很多功能和数据需要借助云服务来实现。如图8所示，云服务（GrapeServer）中提供了多项功能，包括OCR，语音指令识别，支架图片监测，业务信息存储。云服务为AR智能眼镜的使用提供了有力支撑。
为了方便管理云服务中的功能，加入了ManagerServer用于提供管理入口。采用浏览器/服务器模式提供后台服务，可以为用户分配管理员、观察者、监察者三种角色，并赋予不同的操作权限。管理员对系统所需信息进行维护，监察者对任务提供远程装配指导与监控，观察者对系统运行进行查看。由于在浏览器中可以完成所有操作，对云服务的管理不再受限于设备类型和工作地点。
