EAAI开源代码推荐 | 基于平衡域自适应的种子替换深度迁移回归方法

这篇论文是针对工业用户建模预测为获取大而全的数据集进而寻求合作时如何提高合作收益而开展的研究。针对数据隐私带来的利益冲突，联邦学习的引入可以使用户协同训练模型而不需要共享各自数据。然而，工业用户却无法判断合作是否可以带来增益，这导致了联邦可信合作难的问题。因此，提出一种基于潜在合作关系识别的联邦学习策略的模型训练框架。适合于机器学习、联邦学习、故障诊断研究领域学习者，特别是对使用联邦学习进行建模故障诊断思路的感兴趣学者。论文链接：通过点击最左下角的阅读原文进行在线阅读及下载。1 论文基本信息论文题目：Federated Learning with Potential Partnership Identification for Accurate Prediction in Flexible Manufacturing System论文期刊：IEEE Transactions on ReliabilityDOI：10.1109/TR.2024.3427813论文时间：2024年作者：Chao Ren, Bin Jiang, Ningyun Lu机构:the College of Automation Engineering, Nanjing University of Aeronautics and Astronautics, Nanjing 210016, PR China2 摘要近年来，智能制造融合了工业数据和人工智能技术，已成为制造业广泛关注的发展方向。工业数据完整性是智能制造成功实施的关键因素。然而，在多品种、小批量的柔性制造系统中，很难从所有工作条件下收集生产数据。实际上，为了进行状态监测，对复杂机械部件进行数据采集和注释也是耗时耗力的，需要专业领域知识的帮助。面对数据数量和质量不完整的挑战，联邦学习是一种有前景的协作建模范式，它确保了数据隐私，并充分利用了来自不同工业用户的分布式数据信息。然而，由于工业用户之间数据的异质性，合作收益无法满足所有工业用户的需求。本文提出了一种新的联邦学习合作框架，以指导参与者选择合适的联盟，提高参与者的利益。在这个框架中，自组织增量神经网络被用来生成原型样本，这些原型样本可以有效地捕捉原始数据的分布特征，从而使工业用户不必提供原始数据和标签。框架通过评估这些原型样本之间的相似性，为工业用户提供促进协作的建议。通过刀具磨损协同预测实验证明了该框架在工业数据上的有效性。关键词：联邦学习，柔性制造系统，智能制造，潜在合作关系3 目录1 论文基本信息2 摘要3 目录4 引言5 问题定义6 方法介绍 6.1 数据预处理 6.2 数据压缩与重构 6.3 聚类分析 6.4 形成联盟 6.5 模型训练7 验证实验 7.1 实验数据描述 7.2 数据处理 7.3 方法比较8 结论注：本文只选中原论文部分进行分享，若想进一步拜读，请下载原论文进行细读。小编能力有限，如有翻译不恰之处，请多多指正~4 引言由于人工智能、大数据、云边技术的快速发展，越来越多的企业投入智能制造，主动优化管理生产过程和产品。向智能制造转型过程中，制造商采用两种主要的技术方法。一是控制和优化技术，二是预测性监测和维护技术。控制和优化技术用于库存优化、资源优化和过程控制等任务。预测性监测和维护技术则通常是用于产品质量监控、设备维护和预测产量。设备维护是智能制造的基础，通过数据驱动的预测性维护和优化，确保设备稳定高效运行。随着对设备运行维护的重视程度的不断提高，人工智能技术的不断进步，预测与健康管理（Prognostics and Health Management，PHM）已成为学术界和工业界的热门研究领域，例如对旋转部件的故障检测[1]、退化系统的剩余使用寿命预测[2][3][4]。大而全的数据是实施有效 PHM 的关键。然而，在柔性制造系统中，很难获得完整的数据。许多问题可能会限制建模样本数量。首先，在机器设备上安装传感器有一定挑战性，尤其是数控（Computer Numerical Control， CNC）机床等高端设备，因为很难在不损害设备可靠性和安全性的情况下做到这一点。在这种情况下，公司通常会改装一台试验机器。数据采集实验的条件有限，导致采集到的数据不能反映机器的全部工况。其次，复杂机械部件的数据采集耗时耗力，高质量的数据标注也需要专业领域知识的辅助。以刀具磨损量的测量为例，需要对工件进行一次完整的加工过程才能获得样本[5]，采集并标注所有工况的样本是不现实的。综上所述，单个工业用户很难收集到全面的数据集。为了获得足够数据进行建模，一种新思路是让拥有相似生产线的工业用户进行协作。工业用户共享其不完整的数据，以组成一个相对全面的训练数据集，以提高训练出的模型性能。然而，由于利益冲突，即使工业用户拥有功能和结构相似的机器，他们也不愿意共享在生产线上采集的数据，这导致了现实工业中的“数据孤岛”问题。联邦学习（Federated Learning，FL）是一种协作机器学习框架 [6]，它允许多个参与者在不共享数据的情况下联合训练模型，充分利用分布式数据。目前已有研究将联邦学习范式应用于实际状态监测应用中。例如，Li等人[7]将对抗学习纳入 联邦学习框架，解决轴承故障诊断中的域迁移问题。Qin等人[8]采用列车转向架数据进行分布式建模，识别空气弹簧、横向减振器和防偏航减振器的故障。Lu等人[9]提出一种用于海上风力发电机故障诊断的协作训练范式，其中包括事件触发机制，以减少本地模型参数传输阶段的通信成本和计算工作量。Chung等人[10]提出一个旨在增强模型泛化的联邦分析框架，专门解决模型适应新客户端时遗忘旧知识的挑战。由于联邦学习的优势，它有可能通过聚合来自工业用户的数据来解决工业小样本不足的问题。然而联邦学习并不能保证为合作的工业用户带来理想的收益，因为联邦学习在数据异构的情况下无法保证训练效果。不考虑工业用户手中数据质量的合作很可能因负迁移[11]而导致适得其反的后果。更重要的是，现实中一旦合作开始，在合作协议结束前很难轻易终止，如果合作伙伴不合适，那么工业用户在数据采集、计算资源和通信资源上投入的成本就会被浪费。现实中，在达成合作协议之前，用户通常会考虑潜在合作伙伴的条件，而数据质量是联邦学习范式中最重要的考虑因素之一。对于用户 R 来说，我们将用户 R 的潜在合作伙伴定义为在达成正式合作之前愿意合作并可以为用户 R 的利益做出贡献的用户。在决策阶段提前识别潜在的伙伴关系可以增强用户合作的信心和收益。据我们所知，联邦学习的研究大多侧重于提升性能，例如客户端选择技术[12]、模型训练和优化方法[13-15]、模型更新策略[16]等。上述研究都有一个潜在假设是参与者已经开始合作。本文重点研究用户决策阶段参与者的合作不确定性问题，提出了一种基于潜在合作伙伴识别的联邦学习（Federated Learning with Potential Partnership Identification，FLPPI）框架。该框架的核心是在参与者合作前识别潜在的合作关系，以便他们尽可能地选择合适的合作伙伴，并过滤掉不合适的参与者。主要贡献总结如下：1）考虑联邦学习之前的决策阶段，尊重工业用户的合作意愿，当前文献关注较少。基于一个基本事实，用户开始合作就需要投入成本，该方法从用户角度出发，在合作前关注他们潜在合作伙伴的选择。2）提出的框架在保护用户数据隐私的同时评估用户数据的相似性，可方便快捷地向用户推荐潜在的合作联盟。该框架使具有相似同质数据的参与者能够形成联盟。3）自组织增量神经网络在同一样本空间中为每个用户生成少量原型样本，通过样本空间中原型样本的相似性来评估原始数据的相似性。4）本研究阐述的核心概念具有一定的应用潜力，可推动工业用户在不同工业环境中的协作任务，例如关键部件寿命监测和机械部件故障诊断。5 问题定义假设有 N 个工业用户，每个用户都有自己的数据 。每个用户都可以基于本地数据学习一个模型 ， 是模型 的参数。为了提高模型的泛化能力，工业用户积极寻求合作，以充分利用他人的数据。在经典的联邦学习设置 [6]下，用户首先在第 t 轮从中央服务器下载模型 。然后，在本地数据中训练模型： 其中，L 为模型推理结果与训练样本标签值之间的损失。 为模型更新的学习率。在完成指定数量的模型训练迭代后，每个用户将自己的模型参数 上传到中央服务器。然后，中央服务器对每个用户上传的模型参数进行加权， 其中 表示第 a 个用户的数据大小，n 表示总数据量。模型 等待用户在下一轮下载。经过 T 轮后，每个用户得到最终模型 。图1阐述了联邦学习框架的总体结构。图 1 联邦学习经典架构柔性制造下，由于生产加工参数差异，各个工业用户的数据呈现异构分布。一方面，当所有参与者都参与联邦学习时，用户数据分布不均会导致更多的局部训练轮次和通信轮次，从而导致每个用户的成本更高；另一方面，对于每个用户来说，合作一旦开始就无法轻易终止，不合适的合作会导致前期成本浪费。因此可以预见，当工业用户主动选择合适的合作伙伴而不是被动接受合作时，可以筛选出不合适的合作伙伴，更有可能获得满意的收益，同时避免不必要的成本。图 2 展示了单个用户的联邦合作流程图。用户参与联邦学习通常包括两个关键阶段：决策阶段和合作阶段。现有文献主要集中在与合作阶段相关的研究，往往忽略了用户在决策阶段的参与意愿。在红色高亮框中，我们评估合作伙伴的数据质量并选择合适的合作伙伴，旨在帮助用户在合作前做出明智的决策，从而帮助他们避免资源浪费。图 2 联邦合作框架流程如何定义潜在的合作伙伴关系？根据文献[17]，联邦学习包含一个隐含的假设，即训练后的全局模型可以同时拟合所有客户端的数据分布。因此，在本文中，数据分布相似的工业用户被视为合适的合作者。在实施联邦学习之前，由于数据隐私问题，用户无法访问其他用户持有的数据，因此评估数据质量具有一定挑战性。本文旨在在保护用户数据隐私的同时评估用户数据的分布，然后为用户推荐合适的合作伙伴。6 方法介绍在所提框架中，有 N 个有合作意愿的工业用户，每个用户持有数据 。工业用户默认拥有的数据是通过工业传感器采集的一维信号，例如振动信号、电流信号等。6.1 第一步：数据预处理通过由 S 个采样点组成的不重叠滑动窗口。每个用户获取数据 。6.2 第二步：数据压缩与重构为了保护数据隐私，对原始数据进行压缩重构，压缩重构后的数据保留了原始数据潜在的全局结构信息和局部邻域信息。由于工业过程是时变的[27]，因此在处理数据时，需要考虑数据的动态性。基于以上考虑，本文引入了自组织增量神经网络（the Self-Organizing Incremental Neural Network，SOINN）。采用SOINN的优势体现在几个方面。首先，SOINN 通过创建一组有限的原型样本来表示原始数据，这保护了数据隐私。其次，SOINN 可以自主处理来自各个用户的原始数据，无需用户先验知识。用户在共享的样本实例空间内生成自己的原型样本，确保后续的相似度测量是合理的。最后，SOINN 通过增量学习生成原型样本。随着原型样本的逐渐扩大，距离信息得到充分保留，使原型样本能够捕捉时变数据固有的非平稳特性。对于第 a 个用户，从 中随机选取两个样本，形成初始原型集 。之后原型样本的数值和数量会动态更新。具体来说，输入第 i 个样本 后，在原型集 合 中找出两个最相似的原型： 其中 c 表示原型集 合 中的一个原型样本。两个原型样本节点被激活，建立邻域关系 。当两个原型节点在一定时间后没有同时被激活，则删除连接。原型节点的距离阈值 T 通常取类内最大距离或类间最小距离。例如，计算原型节点 的距离阈值 。若 有邻居集 ， 否则， 是否更新原型集 取决于新样本与激活的原型节点之间的距离。如果 或 ， 否则，激活的原型节点将被更新： 其中 表示更新过程的步长。通过动态调整原型样本，原型样本集将构建到输入数据的空间有序映射。重复上述过程，N 个工业用户可以生成各自的原型集 ，其中 表示第 a 个用户的原型样本集。原型集 P 的个数为 其中 为原型集 的个数。在这一步中，我们将用户的原始样本集替换为原型样本集，这样可以有效保护工业用户的数据隐私。一方面，重构后的原型样本相对于原始样本数量较少。另一方面，对于监督学习任务来说，标签是必不可少的，原型样本没有对应的标签。6.3 第三步：聚类分析工业用户在选择合适的合作伙伴建立联盟时，其数据应该呈现出相似的分布。K 均值聚类提供了一种便捷的方法来评估数据相似性。从原型集 P 中随机选择 K 个原型样本 ，并计算每个原型样本 所属的类别： 其中 。接下来，继续更新原型样本聚类中心： 迭代(11)和(12)，直到达到收敛。所有原型样本形成 K 类 。每个聚类都是不同原型样本的集 合。需要注意的是，在提出的框架下，K 值是使用Silhouettes方法[28]确定的。使用不同的 K 值进行实验，并计算每个原型簇 的 Silhouette 得分 F： 其中 表示原型点 与其所属簇中其他点之间的平均距离， 表示原型点 与其他簇中点之间的最小平均距离。 其中 是包含 的原型集， 表示两个原型之间的距离测量，通常取欧式距离。值得注意的是，K-means 并不是聚类分析中唯一的选择。在应用所提出的框架时，聚类方法的选择需要考虑数据的特征、噪声水平、计算效率的需求以及结果可解释性的要求。6.4 第四步：形成联盟对于第 a 个行业用户，对原型样本集 所属的类别进行投票，获得原型多数票的类别被视为该用户的最佳联盟： 属于同一联盟的用户被视为潜在合适的合作伙伴。在本框架下，构建的联盟数量小于或等于集群内的集群数量，因为可能存在部分集群未被任何用户选择的情况。6.5 第五步：模型训练联盟成立后，联盟成员按照联邦学习范式进行协作。图3展示了 FLPPI 框架的架构。当多个工业用户表示愿意参与合作时，会创建本地原型样本，然后与第三方共享。第三方将评估所有原型样本的相似性，并向用户推荐合适的联盟。随后，用户进入合作阶段。图 3 FLPPI 架构7 实验验证7.1 实验数据本研究的实验数据来自南京航空航天大学 Ideahouse 团队[30]的德马吉加工中心。使用九把硬质合金立铣刀加工钛合金工件的凹槽。加工过程采用圆形刀具路径，从内向外移动。加工过程如图4所示。图 4 钛合金工件的加工过程本实验中，振动信号由加速度传感器采集。主轴功率信号由机床内部可编程逻辑控制器 (Programmable Logic Controller，PLC) 寄存器实时采集，使用 OPC UA (OLE for Process Control Unified Architecture)通信协议。具体地，我们选取了两个通道的振动信号、主轴电流和主轴功率，共计四组信号用于建模。刀具磨损标签值是通过测量特定间隔的侧面磨损区域的最大宽度来确定的，采用精度为 0.01 毫米的 XK-T600V 显微镜。磨损值范围为 0 至 0.3 毫米。所用工件材料为 TC4 钛合金。切削过程包含九种不同的工况，每种工况均基于不同的参数配置，包括每齿进给量、主轴转速和轴向切削深度。工况情况在表1中有详细说明。假设有9个工业用户，它们各自的生产线上均生产类似的产品，各工业用户分别拥有与上述工况对应的数据。表1 实验工况描述 7.2 数据处理由于实验过程中显微镜对磨损标签的记录是离散值，存储的信号数据是时间数据，因此需要对磨损标签进行插值处理。本实验采用线性插值法，每900个数据点切取一个样本，并对样本进行标记。提取时域和频域特征，以提高模型训练的效率，避免维度灾难问题，如表2所示。表2 特征提取情况7.3 方法比较实验基于联邦学习框架，模型选择方面，将刀具磨损机理[32]引入数据驱动模型： 其中 VB 表示刀具背面的最大磨损带宽， t 表示磨损时间。常数a、b、 和 需要优化。具体来说，引入物理信息神经网络（Physics-Informed Neural Network，PINN）[33]来融合数据驱动模型和机理模型。所有比较方案均以 PINN 模型为基础模型。PINN中的损失函数由两部分组成：物理损失和数据驱动损失。数据驱动损失取模型预测值与真实刀具磨损值之间的 MSE 损失的平均值。物理引导损失以公式(20)中的刀具磨损机制作为正则化项： 其中 表示模型预测的刀具磨损值关于磨损时间的偏微分。选取了三种经典的联邦学习框架 FederatedAveraging (FedAvg) 、FedProx 、FedDyn 进行对比。其中，FedProx 是一个联邦学习框架，它加入了近端项来增强模型收敛性，并解决了参与客户端之间的数据异构性问题。FedDyn 是一个联邦学习框架，它动态调整通信轮次和局部模型更新，以提高联邦学习模型的收敛速度和鲁棒性。表3展示了在不同框架下在刀具磨损数据集上实现的模型性能。表中对三个经典框架的比较结果表明，使用 FedAvg 训练的模型在 W3、W6 和 W8 上表现非常出色，而使用 FedProx 训练的模型在 W1、W4、W7 和 W9 上表现出色。此外，使用 FedDyn 训练的模型在 W2 和 W5 中表现出色。这些结果表明，在刀具磨损回归任务中，在三个框架下训练的模型的预测能力非常相似。值得注意的是，我们提出的框架在7个用户的刀具磨损任务中表现优于其他框架，在W6和W8的刀具磨损预测任务中，其性能仅落后于FedAvg。这是因为在我们的实验中，用户所持有的数据异构性并不显著，这导致模型的性能受到建模样本数量的影响。在所提出的框架下建立联盟后，用于建模的样本数量会减少。在现实中，多个工业用户加工不同规格产品所造成的数据异构性会大于加工参数细微变化所造成的数据异构性，因为在加工不同规格产品时，加工参数的设置会有显著的不同。在我们提出的方案中，数据的异构性越大，通过建立联盟进行联邦学习的效果就越显著。所提出的解决方案将在现实的联邦合作场景中产生显著的改进效果。综上所述，在我们提出的框架下训练的模型在刀具磨损预测方面表现出优于其他方案的性能。图5展示了不同模型在部分用户数据上的具体预测性能。显然，在提出的框架下，训练出的模型在刀具磨损预测任务上的拟合度更高。表3 不同框架训练模型的刀具磨损预测结果 图5 不同框架训练的模型在刀具磨损预测任务中的表现（a）在 FedAvg 下训练的模型在 W1、W8、W9 上的预测性能（b）在 FedProx 下训练的模型在 W1、W8、W9 上的预测性能（c）在 FedDyn 下训练的模型在 W1、W8、W9 上的预测性能（d）在 FLPPI 下训练的模型在 W1、W8、W9 上的预测性能8 结论本研究针对参与联邦学习的工业用户之间合作的不确定性，提出了一种基于潜在合作伙伴识别的联邦协作框架。该框架在保证数据隐私的前提下，评估用户手中数据的相似性，为用户推荐潜在合作伙伴，使每个联盟下的用户获得更好的收益。刀具磨损预测实验表明，在该框架下训练的模型具有优异的预测性能。目前仍有一些挑战点有待研究。所提框架对所有原型样本进行聚类，以确定联盟的数量。联盟的构建与原型样本的分布高度相关。现实中，为了提高合作效率和效果，在寻找潜在合作伙伴时，还需要考虑用户所拥有的计算和通信资源。我们将进一步考虑上述因素，并考虑通过博弈论[36]形成更合适的联盟。此外，在评估用户数据质量时，自组织增量神经网络的相似度阈值会影响原型样本的数量。如何自适应地设置相似度阈值也是一个具有挑战性的任务。编辑：任超校核：李正平、陈凯歌、赵栓栓、赵学功、白亮、曹希铭、海洋、冯珽婷、陈宇航、陈莹洁、王金、赵诚该文资料搜集自网络，仅用作学术分享，不做商业用途，若侵权，后台联系小编进行删除。来源：故障诊断与python学习