论文精选 | 数字孪生与可穿戴MR设备驱动的以人为本协同装配——以大型空间展开机构为例
本文来源： 数字孪生DigitalTwin
作者：刘新玉、 郑联语、王艺玮、杨唯韦
蒋正源、王彬彬、陶飞、李云
航天器的大规模个性化挑战了装配操作人员的经验和技能，这是由于装配中元素之间的协作不良造成的。大量研究工作表明，人在装配过程中的作用是不可替代的，但很少有文章专注于提高协作以减少对操作员的高要求。为了应对这些挑战，本文针对卫星核心支撑结构——大型空间开机构（LSDM）提出了一种以人为中心的协同装配系统（HCAS），以解决装配现场操作员与资源协作不良的问题。开发了三个数字孪生（DT），即装配过程DT、装配操作员DT和装配质量DT，以实现HCAS中人-网络-物理要素之间的协作。三个DT带来的突破是：1）基于真实-虚拟场景融合的自适应装配过程感知，借助装配过程DT和可穿戴AR设备增强物理系统和信息系统之间的协同作用；2）基于装配操作员DT和知识图谱，实现了以操作者为中心的自适应装配任务分配；3）基于装配质量DT，考虑空间服务环境的LSDM装配动态容差分配指导操作员实时调整工艺参数。此外，针对LSDM组件重力补偿的特殊要求，引入了利用协作机器人模拟微重力和AR在线规划机器人路径的方法，以提高人机协作性。最后，开发原型系统并将其应用于装配现场。应用结果表明，所开发的方法和系统减少了对人类经验的依赖，降低了返工频率，达到了提高装配效率和质量的目的。
关键词：以人为本；协同装配；数字孪生；增强现实；大型空间展开机构
刘新玉1 郑联语1 王艺玮1 杨唯韦1 蒋正源1 王彬彬1 陶飞2 李云3 1 北京航空航天大学机械工程与自动化学院，北京100191 2 北京航空航天大学自动化科学与电气工程学院，北京100191 3 北京航天器制造有限公司，北京100094，中国
人类在制造环境中一直发挥着不可替代的作用。而在不同的历史时期，人的角色是不同的。工业革命不同时期操作员在制造业中的作用如图1所示。在工业革命之前，由于科学技术的原始水平，人类受到大量体力劳动的困扰。在工业1.0和工业2.0时期，人类从复杂的体力劳动中解放出来，开始用先进的机械提高生产效率。以信息技术为核心的工业3.0使人类摆脱了大量重复的计算和记忆，更加专注于创新、创造和技术更新。工业4.0是指利用信息物理系统（CPS）将生产中的供应、制造、销售等信息数字化、智能化，最终实现快速、有效和个性化的产品供应。在工业4.0时代，提出了“熄灯工厂”的概念，但这并不意味着没有任何人为干预。相反，人类的智能在其中更为明显，尤其是在个性化和定制化生产中。在工业4.0中，定制和个性化产品是一种最能满足个人客户需求的流行趋势，这可以通过云技术，人机协作，大数据，数字孪生和其他使能技术来实现。尽管工业4.0的这些先进技术对利润产生了实质性的积极影响，同时忽略了环境和社会指标，但快速工业化也会导致操作者健康和安全的恶化。为了改善这种情况，欧盟委员会最近发布了关于“工业5.0——迈向可持续、以人为本和有弹性的欧洲工业”的政策简报。根据Xu等人和Wang的文章，工业4.0更注重技术，而工业5.0则更注重价值驱动，以实际实施工业中的可用使能技术。工业5.0的核心价值观由三大支柱支持：以人为本、可持续性和韧性。为了平衡经济发展与解决社会问题，Jampan Cabinet提出了社会5.0的概念，这是工业5.0的延伸，以工业5.0为子部分。 图1 工业革命不同时期操作员在制造业中的作用 通过以上分析，显然，历次工业革命的目的是提高生产效率，降低包括体力劳动在内的人力强度。然而，这并不意味着人类将被排除在制造系统之外，而是人类将从复杂的体力和脑力劳动中解放出来，并在更关键的职位上发挥作用，例如创新、革命和高层决策。总之，科技发展始终以人为中心，为人类社会服务。 1.1► LSDM装配的挑战 本文重点探讨了人与制造业之间的关系。并以卫星的LSDM为研究对象，分析了其装配过程中存在的挑战。如图2所示，LSDM是合成孔径雷达卫星的重要组成部分。它是一个大型桁架结构，具有折叠状态、部署过程状态和部署状态三种形式。其装配精度直接影响地球表面目标的探测精度。与汽车、发动机、家用电器等的自动装配线不同，LSDM采用原位手动装配，装配对象是固定的，多操作人员围绕它作业。更重要的是，LSDM的生产通常以小批量的方式进行。在大多数情况下，只生产一个或两个相同类型的LSDM。随着国际上对有限空间资源的竞争愈演愈烈，市场对周期制造、定制化和可靠性的要求更加严格，这给传统装配模式带来了新的挑战。 （1）随着LSDM变得越来越大，结构变得越来越复杂，装配过程需要更多的经验和更高的技能水平给操作员。 （2）装配现场使用了各种先进的仪器设备，但如何将操作员与该设备更好地整合在一起，以提高装配质量和效率，降低操作人员的劳动强度仍然是一个挑战。 （3）由于LSDM是在地面组装但在太空中维修的，如何在结构更复杂的条件下通过地面手动组装来提高空间服务的可靠性。 图2 LSDM结构 显然，上述挑战是由于LSDM的生产要素和服务之间的协同作用较弱。工业4.0的使能技术和工业5.0的核心价值为应对这些挑战提供了潜在和可行的方法。 1.2► 应对挑战的相关工作 如上分析，工业4.0可以被视为以技术为中心的提高效率的目标。信息物理系统（CPS）可以被视为工业4.0的核心技术。大数据、数字孪生、云计算、人机交互、物联网（IoT）等都为工业4.0提供了使能技术。然而，工业5.0将操作员的福祉置于基于工业4.0的制造过程的中心。因此，在工业5.0的背景下，人-信息-物理系统、增强现实、人机协作得到了更多的关注。 本节简要回顾了相关工作，以提出上述挑战。为了回顾相关研究作品，参考参考文献[18]的方法进行文献综述。本文聚焦实现LSDM装配挑战的关键技术，以人-信息-物理系统、数字孪生、增强现实和人机协作为关键词（被广泛认为是工业4.0的使能技术）与工业5.0的概念相匹配。Web of Science被用作文献搜索的数据库，出版时间设置为最近十年。经过初步筛选，我们得到了33740篇文章。当我们专注于装配领域时，文章数量减少到639篇。然后通过期刊影响因子、引文和摘要阅读对相关论文进行识别。最后，进行全文阅读和研究主题分组，在以下小节中选择并阐述了49篇文章。 1.2.1 人-信息-物理系统（HCPS） 关于人与制造系统的关系，一个共识是，智能制造系统不仅是人工智能系统，而且是人与制造系统一体化的混合系统。Zhou等[21]提出了面向下一代智能制造的HCPS，并指出HCPS可以有效揭示智能制造的技术机制。随着工业革命的发展，HCPS也经历了三个阶段。在HCPS的不同阶段，人类有不同的角色[22]。数字化制造可谓是第一代智能制造。对于数字制造中的HCPS来说，人类的感知、分析、决策和控制功能被转移到信息系统中，但人类仍然是“主人”，因为物理系统和信息系统都是由人类设计和创造的。对于被视为第二代智能制造的数字网络制造中的HCPS来说，人类的角色延伸到具有共同价值创造目标的网络连接社区，受益于互联网技术。这些变化将制造业从以产品为中心的模式转变为以客户为中心的模式，以及从生产制造模式转变为生产服务制造模式[21]。互联网[23]、云计算[24]、大数据[25]等信息技术的进步，引领了新一代人工智能[26]的战略突破，成为新一轮科技革命的核心技术。这些进步催生了以“AI+工业互联网+数字化”为本质的新一代智能制造。信息系统承担部分认知和脑力工作，使人类有更多的精力进行创新和改革。 随着工业5.0的提出，人类不是简单地为制造系统提供智慧和能量，而是强调与信息系统和物理系统的融合，以追求可持续性。许多学者开始关注人类在制造过程中的心理健康[27]，舒适度[28]和认知负荷[29]。在这种情况下，Romero等[30]，[31]提出了操作员4.0的概念，他们认为操作员4.0有助于社会的可持续发展和制造中人与机器的融合。Ruppert等[32]从Operator4.0的角度分析了人类在不同阶段在制造系统中的角色演化过程，详细介绍了具体的形式和内涵，指出Operator4.0是未来的发展方向。最近，COVID-19暴露了当前制造系统的缺陷，即该系统的恢复能力不如预期，基于这种情况，Romero等人提出了“弹性操作员5.0”的概念，建议从以人为本的角度实现智能制造系统的弹性[33]。 1.2.2 数字孪生（DT） DT作为制造系统中实现物理和虚拟环境智能互联的潜力和有效使能技术，近年来受到相关机构和专家学者的高度关注[34]，[35]。在制造业中，DT的主要应用包括产品设计[36]，工艺规划[37]，智能装配[38]，[39]，快速车间设计[40]，生产调度优化[41]，预测和健康管理[42]等。本文重点介绍智能装配。DT驱动装配的核心是整合过程中涉及的物理硬件，形成物联网（IoT），从而实现物理和虚拟环境的深度融合。借助智能软件服务平台和工具，可以统一高效地控制复杂产品的装配过程，实现产品装配系统的自组织、适配和动态响应[43]。 随着物联网、大数据、智能制造等技术的发展，数字孪生的内涵和外延也在不断完善。陶飞等人[43]，[44]将DT从三维模型升华为5维模型，包括物理实体、虚拟模型、服务、数字孪生数据和连接。值得注意的是，DT的5维模型对本文具有重要的参考意义。 1.2.3 AR和可穿戴设备 自AR诞生之初，它就被设想为支持制造系统中装配操作员的工具[45]，[46]。产品复杂性和多样性的增加对制造难度有重大影响。最近的研究表明，AR技术可以抵消这一困难[47]。在原理和硬件方面，AR设备的类型包括手持式，投影式和可穿戴式[48]。手持式AR设备在工业中的应用较早，技术成熟度最高，成本最低[49]，[50]。但它们最大的缺点是在操作过程中手被占用。投影AR设备很好地解决了占用操作人员双手的问题，并已应用于飞机电缆组装、铆接等操作[51]，[52]，但其最大的缺点是自由度有限，只能在有限的固定站点内操作。可穿戴AR设备克服了上述两类缺陷，解放了操作员的双手，使其能够在更大的活动空间中使用。因此，可穿戴AR已成为当前研究的热点，广泛应用于装配、维护、培训、人机协作等领域[48]。 目前，许多学者已经研究了AR辅助装配，他们的主要兴趣集中在装配过程规划[38]，遮挡处理[53]，手势识别[54]，协同操作[55]等。但很少有文献分析AR辅助装配中的人为因素。 1.2.4 人机协作（HRC） 目前，机器人广泛应用于各种工业场景，如转移、码垛、焊接、装配、涂装等[56]，[57]。本文重点介绍装配用HRC，与其他制造工艺不同，由于装配布局可能发生频繁变化以实现大规模定制，因此预计具有最高的灵活性[58]。工业5.0的核心价值观强调人与机器人的和谐。工业5.0中的机器人不是简单地接受指令并执行相应的动作，而是可以主动理解人类的意图，并在一定程度上追求与人类的安全、高效和智能协作[59]。 HRC的另一个研究热点是人机交互，包括安全性和高级交互模式。对于交互安全，已经设置了许多标准，如ISO TS 15066和ISO 10218来限制和规范HCR的安全边界[56]，[60]。从技术角度来看，将HRC风险降至最低的安全功能包括人类在回路感知[61]，人类感知导航认知[62]，顺从控制动作[63]和力-扭矩传感[64]等硬件功能。在工业5.0核心价值观的驱动下，个性化人机交互被推向了更高的水平，开始从传统的预编程向自动路径规划[58]、AR辅助[65]、[66]和人机协同控制[67]、[68]等转变。一些研究结果表明，它可能会朝着更智能的主动人机交互方向发展，机器人可以主动识别人类的意图，实现真正意义上的人机协作[59]，[69]，[70]。但根据目前的文献，很少报道基于HRC的LSDM协同装配，尽管具有提高组装效率和保证组装质量的潜力。 1.3► 本文的目的和结构 本文的目的是利用可穿戴AR设备构建以人为中心的协同装配系统（HCAS），用于提高LSDM装配过程中人、信息系统和物理系统的协同作用，从而减少对人类经验的依赖，降低返工和维修的频率，最终达到提高装配效率和质量的目的。 本文的结构如下。本节（第1节）分析了人类在制造系统中角色的演变，以及LSDM组装的当前挑战。在此基础上，它总结了应对这些挑战的潜在技术状况。第2节描述了HCAS的整体框架。第3节说明了HCAS的四种关键方法。第四节以LSDM为验证对象，从四个方面对HCAS原型系统进行验证。最后，结论和未来工作在第5节中得出。 2 HCAS总体框架 2.1► LSDM装配中的协同 本文认为，以人为中心的装配最终目标是提高装配系统中各种要素的协同作用，减少对人类经验的依赖，提高系统的自我感知能力，从而将人类从复杂的体力和脑力劳动中解放出来。为了实现这一目标，基于HCPS构建了LSDM的HCAS。如图3所示，装配过程的HCPS协同作用包括信息系统与物理系统、人与物理系统、人与人、人与机器、装配过程与信息系统、预处理与后续过程等之间的协作。每个维度的简短描述如下： 信息系统&物理系统：在HCAS中，信息系统与物理系统的协作意味着信息系统具有自我感知物理系统变化的能力，反之，物理系统可以根据信息系统的指令进行相应的变化。 人&物理系统：同样，人类和物理系统之间的协作意味着人类可以感知物理系统的变化，而物理系统可以被人类改变。 人&信息系统：人与信息系统之间的协作可以定义为信息系统实时监控人类的状态信息和人类的指令，例如在装配场景中与真实操作员映射的数字人体模型。 人类&人类：借助信息系统可以实现多人之间的协作，例如远程语音通信，装配过程的自适应分配以及紧急情况下的远程协助。 人&机器：在LSDM装配场景中，机器包括机器人和激光跟踪仪。人与机器之间的协作意味着人类可以在可穿戴设备的帮助下以更友好的方式控制机器，例如AR。 装配过程&信息系统：装配过程是指LSDM的装配步骤，装配过程与信息系统之间的协作被定义为信息系统可以自行检测装配的当前步骤，而不是人类将信息发送到信息系统。 预处理&后续过程：预处理和后续过程之间的协作侧重于LSDM的装配容差。更具体地说，后续过程的装配容差应基于预处理的装配状态。 图3 装配过程的HCPS中的协作维度 2.2► HCAS的HCPS 在HCPS中，人、信息系统和物理系统协同工作，形成智能制造下的集成代理。其中，人类专注于学习和认知的脑力劳动，信息系统专注于复杂的计算和信息存储，物理系统的作用是提供动力源和准确的执行动作。随着工业大数据、人工智能（AI）等技术不断引入工业制造现场，人类的部分脑力劳动已经转移到信息系统，信息系统增加了基于新一代人工智能的学习和认知功能。它不仅具有更强的感知、决策和控制能力，而且具有学习、识别和产生知识的能力。各要素协同的HCPS可以从人、信息系统和物理系统三个方面体现其相互作用。 （1）人性化：一方面利用可穿戴设备采集操作员的生理数据，在信息系统中形成虚拟操作员的数字孪生模型。另一方面，人类智能被整合到制造过程的关键环节中，形成操作员、信息系统、物理系统的协同制造。 （2）信息系统：信息系统不仅可以引导物理系统完成一些操作，还可以代替操作员完成大量的计算和内存存储，从而将操作员从繁重的脑力劳动中解放出来。同时，通过可穿戴设备将操作员的学习和认知优势整合到信息系统中，弥补了高级智能的不足。 （3）物理系统：为制造提供必要的材料和能量的物理系统是直接执行生产行动的基础。先进的物理系统取代操作员执行繁琐、复杂的重复动作，减轻操作员的体力负荷，使操作员可以有更多的精力专注于为制造系统提供分析、优化、决策等更高智能。 总之，HCPS对于制造系统的最大价值是通过信息系统实现人与物理系统的深度融合。目标是在人、信息系统和物理系统之间形成无障碍的信息流，实现虚拟和真实场景的实时映射。为了实现这一目标，本文将DT与HCPS相结合，构建了一个装配HCAS框架，用于装配过程中各种元素的协作，如图4所示。 图4 适用于HCAS的HCPS架构 信息系统和人类都具有感知、分析、决策和执行的能力，以实现如图4所示的数据传输。但是，它们的侧重点不同：信息系统专注于数据存储和计算，同时具有一些智能认知功能，从而减少人类的大脑负荷。人类专注于需要高度灵活性的异常加工和装配操作，弥补了信息系统在认知上的不足。它们相互集成，形成智能装配系统。 2.3► HCAS的数字孪生 如图4所示，在HCAS的HCPS中，信息系统中设计了三个数字孪生，包括装配过程、装配操作员和装配质量的数字孪生。本文基于5维模型构建了DTs[44]。 2.3.1.装配过程数字孪生 产品装配是指按照一定的技术要求组装零件，经调试、检验合格的过程。本文重点介绍零件的安装，装配过程可以通过零件的安装状态来表示。每完成一条装配指令，代表在产品上安装一个新零件，然后进入装配过程的新步骤。因此，它在装配体中形成了以零件为对象的持续更新的过程。 基于上述分析，为实现信息系统与物理系统的协同和虚实同步，构建了APDT。它的定义如下。 Assembly process（Apro）：它被定义为信息系统和物理系统中装配过程的虚拟-现实映射。在信息系统中，实时反映装配过程的数字模型与物理装配过程形成虚拟映射，包括时间和空间两个维度。时间维度是物理系统中装配步骤顺序执行顺序的实时映射。空间维度表示物理和虚拟模型的几何实体的实时映射。 根据上述定义，Apro可以表示为： 其中Astp表示当前的装配步骤，根据5维模型包括物理实体装配步骤（P_Astp）和虚拟实体装配步骤（V_Astp），可以用装配步骤编号表示。Aobj表示与当前装配步骤对应的几何图形。Aobj包含两个元素：“Part in process”和 “Part in process”。它们的定义如下： Part in process（PIpro）：它是在当前装配步骤中根据装配过程的要求，要安装在产品上的零件的几何形状。可以根据装配过程中的装配步骤编号进行定义，如PIproi表示对应于装配步骤i 的零件的几何形状。为了实现装配过程的虚实映射，PIproi分为物理PIproi (P_ PIproi)和虚拟PIproi (V_ PIproi). Part in process（AIpro）：表示当前装配步骤中所有装配零件的几何集 合，可用于表示产品装配任务的完成情况。对于组装步骤i，预期的AIpro可以表示为AIproi由物理AIproi (P_AIproi)和虚拟AIproi (P_AIproi)组成。 基于上述定义，APDT的构造如图5所示，其中红色虚线下方的相关元素是虚拟实体，蓝色实线下方的相关链接是物理实体。APDT 的本质是在装配过程的每一步实时映射物理实体和虚拟实体。其实施的关键技术是自适应装配过程传感，将在3.1节中详细介绍。 图5 APDT 的体系结构 2.3.2.装配操作员数字孪生（AODT） 如第2.2节所述，人类在HCAS中起着至关重要的作用。人与信息系统相辅相成，优势互补。为了提高人与信息系统的集成程度，本文提出了在装配现场构建AODT的理论和方法。作为一个意识开放的独立生命体，全方位、全方位地描绘操作者，是一个极其复杂庞大的工程。本文重点介绍了产品装配过程中操作者的关键要素，从装配系统的角度对操作员进行了DT建模。提取了八个关键元素，可以分为两类：动态数据元素和静态数据元素。静态数据元素包括员工识别号（ID）、角色（Rol）、技能水平（Skil）、操作设备的权限（Per）是那些在单个装配周期或相当长的时间内保持不变的元素。而动态数据元素是指在装配过程中随时间变化的元素，它们包括脑疲劳（Bfat）、身体疲劳（Pfat）、当前工作模式（Mod）和位置（Loc）。操作员（Opr）的DT模型设计如下。 其中元素的描述和值在表1中描述。 表 1. Opr的要素 公式（2）给出了包含8个元素的AODT信息模型。为了实现信息系统与物理系统的实时映射，如图6所示构建了AODT的5维模型。 图6 AODT的五维模型改编自[42] 2.3.3.装配质量数字孪生 LSDM在单件和小批量生产的组装过程中存在许多不确定因素。传统的方法是使用大量的测试和验证来保证最终产品的装配质量，这极大地限制了装配效率。 DT作为一种对物理和虚拟实体进行描述和建模的方法，通过多物理量仿真预测和信息系统的迭代优化，可以显著降低装配过程中的测试和验证频率，为提高装配效率和质量提供了新的方法。AQDT 可以按如下方式构造： 装配质量（Aqlty）：在装配过程中，可以与物理装配过程形成动态的虚拟-现实映射，反映影响产品最终性能的关键装配质量因素的实时数据和动态变化。根据装配质量影响因素的分类，Aqlty包括三个要素：装配异常（Aabnl）、几何误差（Gerr）和物理误差（Perr），可表示如下： 其中Aabnl表示装配异常因素。它由组件的错误和缺失组装表示，这通常发生在发生许多类似组件的场合。Gerr是指构件在装配过程中的几何误差因素，具体表现为构件的空间定位误差、零部件之间的定位误差、天线板的平面度误差和直线度误差、桁架铰的同轴度和平行度误差。Perr是指装配过程中的物理误差因素，具体表现为部件的应力和应变。 如图7所示，从物理实体、虚拟实体、数字数据、连接和服务五个维度对Aqlity进行建模，实现信息系统和物理系统的实时映射。针对Aqlity的Aabnl，采用基于虚实场景融合的模板匹配方法，实现物理实体图像和虚拟模型图像的配准，进而实现组件错装和误装的检测。其主要方法的详细阐述将在第3.1节中提供。Gerr重点介绍了基于空间误差传播链和过程实测数据的动态容差分配，将在3.3节中详细介绍。Perr专注于监测关键部件的物理状态参数。它是由一个相对成熟的商业数据采集系统实现的，所以本文就不介绍了。 图7 AQDT的五维模型（改编自[42]） 2.4► HCAS的框架 以上内容阐述了LSDM组装过程中存在的挑战，并提出使用工业5.0的核心价值“以人为本”的概念、工业4.0的使能技术HCPS和DT来构建HCAS以应对挑战。本节将基于上述分析构建实现HCAS的框架。 HCAS的框架分为五层，如图8所示。首先是物理资源准备。拥有可穿戴设备的操作员被视为重要的物理资源，其他资源为他们服务，实现以人为中心的协作组装。第二个是驱动模型，包括三个DT模型和一个机器人控制模型。将在框架的第三层阐述第3节阐述的关键方法。第四层软件基于驱动模型和关键方法，最终应用于LSDM装配现场，进行第五层的可行性验证。 图8 HCAS的框架 更详细的是，物理资源由三个部分组成，即仪器和设备、使用可穿戴设备的操作员以及装配现场的材料。在LSDM组装过程中，仪器设备由机器人，激光跟踪仪，智能测量工具和各种传感器等组成。可穿戴设备主要是指智能眼镜或AR头盔和生理信号采集设备。在可穿戴设备的帮助下，操作者可以更好地与信息系统集成，并增强为数字操作者。装配现场的材料包括机加工零件、夹具、标准零件、工具、半组装产品等。最后，在操作人员的帮助下，借助仪器设备，将材料的部件制成完整的产品。 物理资源层是HCAS框架的基础。驱动模型层为HCAS提供了关键的使能技术。在第三层从下到上，研究了本文重点的四种关键方法，以实现第二层中相应的驱动模型。在下三层的基础上，在第四层开发了信息管理、视觉引导、多人协同、人机协作等功能的软件。最后，将HCAS应用于LSDM装配过程，验证了装配过程的自适应感知、任务分配和信息自适应推送、装配容差动态分配和铰链微重力装配等关键技术。 3 HCAS的关键方法 3.1► 自适应装配过程感知 装配过程的感知是一种图像识别技术。目前很多学者关注深度学习和模板库匹配两种技术方式。深度学习方法需要构建大量的训练样本，模板库匹配也需要提前构建大规模的模板库。因此，这两种方法并不适合以定制化和小批量为特征的航天器制造。本文提出的基于实虚场景融合的装配过程实时感知方法，有效解决了上述两种方法的不足，无需事先做大量的准备工作。同时，减少了装配过程对操作人员经验的依赖，提高了HCPS的自我意识能力。 3.1.1.动态场景和数字模型配准 装配过程的动态场景和数字模型配准如图9所示。操作员佩戴智能头盔获取装配场景图像，同时记录头盔的空间位置。该空间位置作为虚拟环境中虚拟摄像机的姿态调整，使虚拟摄像机的姿态与智能头盔上的物理摄像机保持一致，并利用虚拟摄像机获取虚拟环境中数字模型的图像。对物理场景图像和虚拟模型图像进行二值化和轮廓提取后，进行模板匹配计算，然后输出计算结果，作为判断装配过程和异常情况的依据。 图9 动态场景和数字模型注册的流程 3.1.2.实景与虚场景融合 为了实现物理场景与虚拟场景的融合，提出一种实虚场景动态映射方法，如图10所示。物理场景包括标记、操作员、智能头盔（可穿戴设备）、物理摄像机和物理实体组件，其中标记用于构建物理全局坐标系，物理场景图像由智能头盔上的物理摄像机获取，物理摄像机的空间姿态由物理摄像机坐标系表示。而虚拟场景包括虚拟全局坐标系、虚拟摄像机和虚拟实体组件。与物理场景类似，虚拟场景图像由虚拟摄像机获取，虚拟摄像机的空间姿态由虚拟摄像机坐标系表示。这种方法的核心是保证物理和虚拟场景的同步。因此，调整标记的位置以确保虚拟和真实的全局坐标系一致。物理摄像机坐标系的值通过实时通信发送到信息系统，以调整虚拟摄像机坐标系的位置。这样就可以得到任意视角下物理实体对应的物理场景图像和虚拟场景图像，通过图像配准可以快速判断装配状态。无需像深度学习或模板注册方法的要求那样构建大量的训练模型或模板库。 图10 实虚场景映射 3.1.3.APDT和AQDT的自适应装配过程感知 实虚融合的前提是物理摄像机和虚拟摄像机的参数一致。参数配置项包括焦距、像素、分辨率。通常，可穿戴设备上物理相机的参数保持不变，因此虚拟相机的物理参数可以参考物理相机参数。具体的相机参数配置和识别结果确定过程如图11所示。配准结果可以确定装配步骤是否已完成以及零件是否已丢失。通过比较配准中心像素坐标Ir与模板中心像素坐标It，可以确定组件的装配位置是否正确。 一方面，这种关键方法可以检测装配过程中的异常，提高系统的自我感知能力。另一方面，它可以提高系统的自我决策水平，以驱动自适应装配任务分配的执行。因此，它可以驱动3.1节描述的APDT实现虚实同步，并且可以服务于3.3节描述的AQDT，实现装配异常的监控。 图11 自适应装配过程传感的工作流程 3.2► 自适应装配任务分配 装配任务分配是根据规则将任务分配给操作员。传统的任务分配方式依赖于团队负责人的经验，具有主观性、随机性和依赖性。而且它缺乏对操作员实际状态的考虑。在LSDM等个性化和定制产品的组装中，根据组长的经验进行任务分配方式有很多缺点。本文提出一种基于AODT和知识图谱（KG）的自适应装配任务分配方法。 3.2.1.KG的装配工艺要求和操作人员 通常，每个过程的难度是不同的，因此对操作人员的要求也是个性化的。例如，关键装配过程需要具有高经验和技能水平的操作人员，一些需要仪器辅助装配的过程需要操作许可证。操作员的实时精神和身体状态也会影响某些过程，尤其是那些需要精细操作的过程。针对上述挑战，提出了基于AODT和KG的自适应装配任务分配概念。其核心思想是根据装配操作员要求的KG和现场操作人员的KG，采用最大相似度实例匹配的方法，快速确定执行当前装配任务的最佳操作员。装配工艺要求的KG和基于AODT的操作员的KG如图12所示。 图12 用于装配任务分配的 KG 模型 如图12（a）所示，装配工艺要求的KG从七个维度表示，不包括与操作员DT相对应的Mod。因此，装配工艺要求的KG特征向量可以表示为： 其中下标字母s表示第s个过程，向量中每个分量的含义与AODT的对应元素一致。值得注意的是，IDs在任务分配之前为null。任务分配的过程是确定哪个操作员将执行该过程，然后将操作员的ID分配给IDs的Rs. 3.2.2.匹配度计算 任务分配的关键是装配工艺要求KG与操作员之间的匹配度，如图13所示。为了定量计算它们之间的匹配度，本文对Rs中部分分量的取值范围进行了如下标定: 图13 装配工艺要求KG和操作员KG之间的匹配度计算 此外，Pers 表示操作者流程所需的设备操作权限，此分类的值以一串特定的设备名称表示，例如 LT、协作机器人等。Locs 由过程操作位置的空间坐标表示。根据现场操作员的操作员DT和KG，装配现场第i个操作员的特征向量表示为： 其中，除Modi外，Rs中对应分量的值是相同的，Modi描述如下: 装配工艺要求KG和算子KG匹配的本质是它们特征向量的相似性计算。设计的相似度计算公式如下： 其中每一项的具体含义如下： 通过计算特征向量R之间的相似性s和所有算子特征向量在场上，取最大值作为最终匹配结果可以得到最优算子。但是，由于特征向量的每个分量在本文介绍的方法中都是离散化的，因此可以在实际计算中匹配几个最佳运算符。在这种情况下，通过比较Opri中的进程位置组件Rs与Loci在几个最匹配的候选操作员中，选择最接近过程操作位置的操作员。至此，以操作员为中心的装配过程自适应分配已经完成。 3.3► 动态装配容差分配 LSDM的特点是高度定制和单件生产，这使得装配过程中容差的分配在很大程度上取决于工艺设计师的经验。实际生产需要在地面上进行多次部署测试和反复调整，以确保最终的空间服务性能，而这种生产模式严重制约了制造效率。本文提出了一种基于AQDT和GA的装配容差动态分配方法，该方法考虑了空间服务环境和已完成步骤的测量数据，可帮助工艺规划和现场操作员实时决策。它还可以减少对人类经验的依赖和地面测试的频率，以提高生产效率。 3.3.1.装配容差的动态分配流程 装配容差的动态分配流程如图14 所示。装配前，应根据产品的性能要求进行初始容差分配。对于LSDM，初始容差分配方案的约束是天线板的角度精度。之后，根据初始容差执行第一步骤的装配。分配的容差提供了一个精密的约束区域，实际装配误差需要在装配任务完成后准确测量。当前步骤的误差将直接影响后续步骤的容差。在传统的装配模式下，后续容差仍然根据初始区域实现。本文提出了一种根据实测装配误差动态调整后续容差的方法。这种方法的优点是，如果实际步骤的误差很小，可以在保证最终装配性能的前提下适当扩大后续容差的区域，从而降低装配难度。如果实际装配误差严重，为了保证最终装配性能，需要及时提高后续容差的精度要求。 图14 装配容差动态分配流程 3.3.2.考虑重力的装配误差传播模型 对于LSDM来说，空间服务环境和地面组装环境的最大区别是重力。重力不仅影响单个零件的变形，还影响地面装配环境中零件之间的相互作用。为了减少装配过程中重力的影响，对每个桁架铰链进行重力补偿。由于重力补偿技术水平的限制，几乎不可能实现全零重力模拟。当对每个桁架铰链进行重力补偿时，重力的主要影响表现在两个方面，桁架杆的变形和孔与轴之间的间隙。 如图15所示，桁架杆的长度在不同的环境中有所不同。桁架杆在重力作用下弯曲变形，但在重力消失后伸长。伸长率ΔL可通过微分方程获得： 上式中的f(l) 可以表示为： 其中G是杆的重力，E是由碳纤维制成的桁架杆的弹性模量，I是杆的惯性矩。 针对孔轴间隙对装配质量的影响，通过装配过程中重力补偿后的力分析，发现各桁架铰链仅受沿重力方向的力的影响。因此，桁架铰链在不同环境中的状态如图16所示。接头有孔，接头根据是否为支撑分为支撑接头和支撑接头。孔与轴在理论状态下同心，但由于地面重力作用下的间隙，孔与轴之间存在垂直偏差。在空间失重的情况下，这种垂直偏差将被改变，关节将在一定的间隙内处于不确定状态。 图16 不同环境中的桁架铰链状态 除了重力影响因素外，装配误差模型还应考虑装配体实际位置与理论位置之间不可避免的偏差。因此，考虑位置误差、桁架杆长度变化和装配间隙的可展开机构的装配误差模型示意图如图17所示。 图17 LSDM 的装配错误分析 以可展开机构的天线板与卫星体之间的夹角作为装配质量约束的误差传播模型可以表示如下： 其中ξ是考虑装配位置误差、杆长变化和装配间隙的每个桁架铰链的综合偏差。 3.3.3.基于GA的容差动态分配 如图12所示，在完成之前的每个装配步骤后，需要重新分配后续容差。在本文中，GA用于容差重分配，其流程图如图18所示。 图18 基于GA的容差优化流程 分配过程分为四个模块：初始化、适应度评估、遗传进化和耐受性更新。在初始化模块中，根据装配过程生成尺寸链，并根据误差传播模型和最终产品精度采用Monte Carlo方法分配容差方案。并对每个容差的特征信息进行编码，形成GA的初始种群；评估模块计算每条染色体的适宜性，即优胜劣汰，并根据终止条件决定是否终止迭代；遗传进化模块对种群中的每一条染色体进行选择、杂交和变异，以遗传和产生更多符合适应度函数的个体，实现种群的正向进化；在容差更新模块中，满足终止条件的演化周期终止迭代，输出最优容差分配方案指导装配，然后开始下一个循环的装配容差分配。 值得注意的是，该GA方法中的适应度函数同时考虑了误差传播模型和装配成本。本文设计的适应度函数如下： 其中θs是可展开机构天线板的角度精度要求，以及a0到a5是由 5 阶泰勒公式表示的容差变化引起的装配成本系数。 3.4► 基于AR的人机协同装配 机器人的最大优点是能够精确调整零件的位置和姿势，并在LSDM组装过程中提供连续稳定的力控制。在本文中，机器人用于进行桁架铰链的组装，不仅需要精确定位，还需要实现重力补偿。 3.4.1.桁架铰链微重力装配人机协作流程 桁架铰链微重力组件的组成如图19所示。它包括协作机器人（Co-Robot），激光跟踪仪（LT），平台，龙门架，服务器和佩戴AR设备的操作员。安装在龙门架上的协作机器人和AR设备用于控制协作机器人和LT。 图19 LSDM装配中的人机协作 桁架铰链作为显著影响LSDM性能的部件，对定位有严格的精度要求。此外，根据第3.3节的分析，桁架铰链组件需要进行重力补偿。借助AR可穿戴设备，实现协作机器人、LT和操作员在桁架铰链微重力装配过程中的协作。协作装配过程的工作流程如图20所示。 图20 桁架铰链的微重力装配流程 3.4.2.基于AR的协作机器人装配路径规划 路径规划是机器人辅助装配的一个重要过程。通常有两种方法：离线模拟规划和在线教学规划。离线仿真方法更适合机器人独立工作的场合，并且要求工作场景与模拟场景一致。在线示教器路径规划方法具有高度的自由度，能够适应多变的现场环境，但受限于示教器的控制模式，其规划过程不太直观，在复杂环境中容易造成干扰和冲突。 本文提出了一种基于AR的机器人在线路径规划新方法。它可以通过AR设备直观地向操作员显示现场规划路径，可以更有效地避免碰撞和干扰。在LSDM的装配过程中，机器人路径规划应用于桁架铰链的抓取。标记用于构建虚拟系统与物理世界之间的位置关系，称为注册。以及使用协作机器人专用软件模拟机器人规划路径的UR-sim。创建了一个用于可视化机器人姿势的 Unity 项目。它通过TCP协议与UR-sim实时通信，并使用在UR-sim中模拟的机器人的6个关节角度来驱动虚拟机器人在AR环境中的运动。从而实现了基于AR的路径规划仿真。 4 案例分析 HCAS从四个方面进行了验证，如图21所示。首先，构建AODT，其中可穿戴设备采集的动态数据包括脑电波信号、皮肤温度、心率、血压和位置坐标；然后，验证基于 AODT 和 APDT 的装配任务分配；第三，以LSDM的装配过程为对象，验证了基于AQDT的装配容差动态分配函数；最后，实现了基于AR和协作机器人的桁架铰链组件。 图21 验证 HCAS 4.1► 通过可穿戴设备实现AODT 根据第 2.3.2 节，AODT 从信息系统中的八个维度描述了算子，包括四个静态变量和四个动态变量。静态变量长时间保持不变。因此，算子静态属性的定义是通过在信息系统中赋值来实现的。动态变量Mod根据操作员的工作状态而变化。Mod的实时更新是通过在信息系统中设置逻辑变量来实现的。导致Mod更改的因素包括任务完成和操作员疲劳。 而Bfat，Pfat和Loc随时间变化。如图22所示的可穿戴设备用于收集操作员的脑电波数据以分析Bfat的程度。如图23所示设计的设备收集的皮肤温度，心率和血压数据用于分析Pfat的程度。 图22 脑电波数据采集装置 图23 身体疲劳数据采集装置 对于Bfat，与原始波分离的阿尔法波被用作大脑活动测量的关键变量。最大李雅普诺夫指数（LLE）、复杂度值（CV）和近似熵（AE）作为脑疲劳程度的标准。 为了提高精度，采用基于概率神经网络（PNN）的多数据融合进行Pfat测量。PNN的架构设计为输入层、隐藏层、求和层和输出层四层。精神运动警觉测试（PVT）用于PNN的样品校准。在每次PVT实验中，记录操作者的三个生理信号和相应的PVT分级分数，作为PNN的训练样本进行身体疲劳测量。 借助具有SLAM功能的AR设备，信息系统可以通过扫描字段标记完成注册后获取其实时坐标，并用于记录操作员的Loc。获得静态和动态数据后，可以在信息系统中描述AODT，如图24的（b）所示，该图24是在Unity 3D中开发的。 图24 在装配现场验证 AODT 4.2► 基于AODT和APDT的自适应装配任务分配 为了实现装配任务的分配，基于浏览器/客户端开发了一个任务分配子系统，如图25所示。服务器控制整体装配进度，可以选择操作员执行装配任务，并将装配任务分配给最合适的操作员。根据第 2.3.1 和 3.1 节，APDT 可以确定当前的组装步骤是否完成，从而在服务器中逐步驱动分配子系统的组装过程。第 2.3.2 节中描述的 AODT 和 3.2 节中描述的装配过程的 KG 用于驱动装配任务从服务器到操作员的分配，以实现以人为本的最优任务分配。 图25 装配任务的自适应分配 图25显示了任务分配的情况，其中选择两名操作员来完成装配任务。具体到每个步骤，服务器将计算装配过程要求KG与每个操作者KG的匹配度。以2.1.2命名的七杆旋转轴总成为例，装配工艺要求KG和操作人员KG的特征向量值如表2、表3、表4所示。 表2 KG特征向量值R2.1.2 表3 KG特征向量值Opr1 表4 KG特征向量值Opr2 利用式(8)分别计算R2.1.2与Opr1、R2.1.2与Opr2的匹配度，结果如下: 根据结果，M<R2.1.2,Opr1>大于M<r2.1.2,Opr2>。因此，流程2.1.2的装配任务应分配给操作员1。 4.3► 桁架铰组件的动态容差分配 对于动态装配容差分配，本文以LSDM的单翼为例。单翼展开机构有9个桁架铰链组件，空间定位精度受到严格限制。 动态装配容差分配和可视化的软件模块由Unity 3D和MATLAB基于2.3.3节中描述的AQDT开发，其关键方法在第3.3节中描述。软件模块的接口如图26所示。容差可视化表由三部分组成：实际值、动态分配的容差和设计值，随装配体不断更新。装配前，实际值为空，动态分配的容差是具有足够经验的设计人员给出的初始容差，初始容差应在3DCS等仿真软件中进行验证。在装配过程中，根据LT测量的桁架铰的空间坐标填充实际值。动态分配的容差会随着装配体的逐步进行而更新，方法是基于GA的方法。组装后，实际值被保存，并可用于后续的质量可追溯性。分配的最终容差可以作为同类产品容差设计的参考。 图26 动态装配体容差分配和可视化 大量实践表明，空间定位的装配误差满足正态分布。因此，本文将桁架铰链空间坐标的实际值替换为满足执行容差区域内正态分布的随机数。测试数据样本如表5所示。 表5容差动态分配的测试数据 装配的经济性和难度可以通过容差区来反映。根据表5，初始容差区和动态执行容差区如图27所示。可以看出，大多数桁架铰的动态执行容差区比初始容差宽，可以降低装配成本。此外，桁架铰链e和桁架铰链j在X方向、桁架铰链d和桁架铰链j在Z方向上的执行容差比初始容差窄。这是因为前一个序列的装配误差接近容差边界。为了保证总装质量，有必要提高对后续装配的要求。 图27 动态容差和静态容差的比较 4.4► 基于AR的协作机器人辅助桁架铰链组件 根据第3.4节，桁架铰链的人机协同装配包括两项核心技术，即微重力模拟和协作机器人的路径规划。桁架铰链装配的微重力仿真在我们团队以前的工作中已经进行过，细节可以在参考文献[71]中得到，并借助机器人阻抗控制算法，实现了桁架铰链的稳定重力补偿。本节重点介绍AR辅助机器人路径引导在桁架铰链装配过程中的验证。测试场景如图28所示。用于测量桁架铰链空间姿态的LT和操作员佩戴的AR设备通过WIFI与服务器连接。服务器通过有线网络与协作机器人通信。 图28 基于AR的桁架铰链人机协同装配 场景中粘贴的标记用于AR设备构建全局坐标系，标记与协作机器人之间存在严格的位置关系。然后物理协作机器人实体和虚拟协作机器人建立空间位置关系，如图28的（b）所示。图28（c）∼（e）所示的AR控制球可以在装配工作空间中由操作员的手移动，虚拟和物理实体的协作机器人都可以跟随它。通过这种方式，可以实现基于AR的协作机器人运动路径模拟规划和引导。为了保证协作机器人虚拟实体与真实实体运动轨迹的一致性，本文采用优傲机器人运动仿真专用软件UR-sim模拟虚拟机器人的运动，实时获取仿真过程中关节六个角度的数据，并驱动虚拟机器人实体在AR环境中的运动。 5 结论与展望 以人为本作为工业5.0的主要特征正受到越来越多的关注，特别是在手动装配领域。本文提出一种基于该模式的新型装配操作模式，并开发了用于LSDM的HCAS。在本节中，讨论了研究工作的关键见解以及与现有技术的比较。 5.1► HCAS 本文开发的HCAS的最大贡献是借助可穿戴设备构建装配系统中各种元件的协同工作模式。操作员可以更好地集成到装配系统中，该系统以操作员为中心，并在工作过程中考虑他或她的健康状况。与最近Sophos-MS[72]和KNOW4I[73]等文献中报道的以人为本的方法或系统相比，本文的HCAS引入了数字孪生的概念，并构建了三个数字孪生模型，用于虚拟资源和真实资源之间的反射。相反，当前文献中的系统集成和评估方法等优点值得借鉴，以改进HCAS。 此外，本文还分析了LSDM组装中七个方面的协作。然而，目前的HCAS几乎不可能涵盖所有七项合作。它侧重于协作方面，包括信息系统与物理系统，人与信息系统，人与机器，装配过程与信息系统以及预处理与后续过程。未来，人与人、人与物理系统的合作将加入到HCAS中。 5.2► HCAS中的自我感知和自我决策 自我感知和自我决策是HCAS的亮点。自我感应体现在APDT和AODT中。自我决策包括自适应装配任务分配和动态装配容差分配两个方面。自感应使操作员与装配系统更紧密地集成。自我决策考虑操作员的福祉，并将他或她置于中心位置。与传统的深度学习和模板匹配自感方法相比，本文提出的方法不需要构建训练样本或模板库，在单件小批量生产方面具有显著优势。 5.3► HCAS中的HRC HRC是工业5.0的重要研究类别。本文利用HRC基于AR实现桁架铰的微重力装配，实现抓取路径的在线规划，避免现场随机物体的干扰和碰撞。必须指出的是，一些先进的HRC技术，如主动HRC[59]，具有相互协作认知的能力，可以加入到HCAS中。虽然已经提出了主动HRC的概念，但要真正实施它，还需要做大量的研究工作。 5.4► HCAS的展望 HCAS是本文中LSDM组装过程的专用方法，并且专门为此设计了一些关键方法。例如，动态装配容差分配考虑空间环境，HRC用于具有重力补偿功能的装配。它们仅适用于卫星的LSDM组件。然而，其他关键方法，即自适应装配传感和装配任务分配可以应用于其他产品装配，如飞机和汽车。 本文介绍了HCAS的框架和LSDM的特殊功能。虽然该系统仍然是初级的，但它可以为许多手动装配提供以人为中心的协同操作模式。 6 总结 本文着眼于人与装配过程的交互，提出了一种新颖的协同装配系统，以改善装配现场人与资源的协作。构建了APDT、AODT和AQDT三个数字孪生模型，并在此基础上给出了系统的整体框架。此外，还详细讨论了框架中的四个关键方法，其相应的创新如下： （1）基于实虚场景融合的自适应装配过程感知.通过虚拟和真实场景的融合，实现装配过程的自适应感知。它增强了信息系统与物理系统之间的协作，减少了对操作员经验的依赖。 （2）以操作员为中心的自适应装配任务分配。目前常见的任务分配是组长根据自己的经验分配任务，缺乏对操作员实时状态的考虑。该文提出一种基于装配工艺需求KG与操作人员KG匹配度计算的装配任务分配方法，综合考虑操作人员的实时状态，实现以人为中心的任务分配。 （3）动态组件容差分配。与传统的提前分配容差方法相比，该文提出一种基于已完成步骤实测数据的动态容差分配方法。考虑LSDM地面装配环境与空间服务环境的差异，构建误差传播模型，利用GA动态分配后续容差。它还可以帮助操作员对后续过程的参数做出决策，从而有可能提高效率并减少维修频率。 （4）基于AR的人机协作装配。本文利用协作机器人和AR装置在微重力下组装桁架铰链。设计了微重力装配的工艺流程，分析验证了基于AR装置的协作机器人路径规划仿真。与离线仿真方法相比，该方法可以避免场景中随机物体引起的运动干扰的发生。 综上所述，本文探讨了以人为中心的协作装配，并开发了一个原型系统。目前的工作仍然存在一些局限性。比如对人体身体疲劳和大脑疲劳的判断是原始的。桁架铰链微重力装配的HRC验证并未在实际装配场景中进行，尽管在实验室环境中已经进行了良好的验证。未来，该系统将随着医疗领域的发展向人类疲劳感知方向进一步迭代和更新。更重要的是，验证将继续使HCAS更加强大。1 引言
