论文链接:通过点击本文左下角的阅读原文进行在线阅读及下载。
论文题目:
FedLED: Label-Free Equipment Fault Diagnosis with Vertical Federated Transfer Learning
论文期刊:IEEE Transactions on Instrumentation and Measurement
论文日期:2024年
论文链接:
https://doi.org/10.1109/TIM.2024.3352702
作者:
Jie Shen(a), Shusen Yang(a,b), Cong Zhao(a), Xuebin Ren(a), Peng Zhao(a), Yuqian Yang(a), Qing Han(a), and Shuaijun Wu(a).
机构:
a: Engineering Laboratory for Big Data Analytics, Xi’an Jiaotong University, Xi’an, China;
b: the Ministry of Education Key Laboratory for Intelligent Networks and Network Security, Xi’an Jiaotong University, Xi’an, China.
作者简介:
沈杰,于 2020 年获得中国西安交通大学数学学士学位,目前正在数学与统计学院攻读数学博士学位,他的研究兴趣包括联邦迁移学习和工业智能。(来自IEEE)
关键词:无标签设备辅助诊断,无监督迁移学习,垂直联邦学习
大量涌现的数据驱动的方法已被证明在智能设备故障诊断中具有广阔的应用前景[1],其中,诊断模型通常利用各种监测信号,如电流、电压、振动、温度和声信号,对“正常”和“故障”样本进行分类[2]。主要的方法依赖于大量的标记的样本来训练各种机器学习(ML)模型(例如SVM,DNN),这些模型显著优于基于部分系统机制或专家经验的传统诊断方法。
然而,在实践中[3]-[5],由于各种工业设备持有者(以下简称代理)的故障样品极度稀缺,这种标记样本密集型方法的应用受到了严重限制。例如,对于任何拥有新部署设备的智能制造商,考虑到设备故障通常是小概率事件,通常需要相当长的时间才能发生单个故障,可以收集带有确定“故障”标签的样本[6]。构建故障标签较少甚至为零的有效故障诊断模型成为常见瓶颈。
为了解决这个问题,一个直观的想法是在其他具有相同类型设备的代理上训练一个模型,使用更多标记良好的样本(即源代理),然后,在样本稀缺的域(即目标代理)上部署训练好的模型,假设来自不同代理的样本是独立同分布的(Independently and Identically Distributed , IID)。不幸的是,这样的假设在实践中几乎不可能得到保证。由于监测设置、工作负载、传递路径、噪声干扰、故障程度等差异,不同工作条件下的代理的样本不可避免地具有明显的离散分布[8],也就是说,不同的代理通常有不同的样本域。迁移学习[9]主要用于构建跨不同领域的迁移模型,并已在设备故障诊断[10]领域得到应用。然而,现有的方法需要在源和目标代理之间交换样本以提取共同知识,考虑到像通用数据保护条例(GDPR)[12]这样的严格规定,这种方法对代理的数据隐私构成了严重威胁[11]。因此,联邦迁移学习(FTL)方法[13]应运而生,它使得不同代理的数据“孤岛”之间可以进行迁移学习,所有原始样本都保持本地化,只有中间学习结果(例如,梯度)在代理之间交换。
图1 基于垂直联邦迁移学习的一般设备故障诊断场景
如图1所示,构建一个故障诊断模型,然而,在上述实际情况下,由于实际设备的监测数据存在以下两个基本问题,现有的FTL方法不能直接应用:
1)强样本异质性:基于机器学习(ML)的FTL方法,如文献14,需要重叠样本(即源和目标代理都拥有的同一组样本)来实现有效的模型迁移。在实践中这几乎是不可能的,因为两个代理无法拥有重叠的样本(来自同一设备在相同的监控设置下),除非交换原始数据。基于深度学习(DL)的FTL[15]故障诊断不需要重叠样本,但假设两个域共享相同的特征空间,即水平FTL,其中两个域使用相同的传感器集与相同的监控部署。然而,在实践中,由于各个代理的不同监测设置,不同代理的特征空间通常是多尺度的[16]且高度异质的[2]。例如,源样本
2)零故障标签:大多数FTL方法,如文献17,需要目标代理内的一组标记样本用于模型训练。然而,实际人员,特别是那些拥有新部署设备的人员,很可能有零故障标签[5],[18],[19](即没有
为了解决上述问题,我们提出了一种垂直FTL设备故障诊断方法FedLED。它允许模型从一个强自身异构源域以零故障标签迁移到目标域。本文的主要贡献如下:
1)我们首先重点研究了具有异构特征空间和零目标域故障标签的域之间的设备故障诊断模型的转换问题,这是该行业常见的瓶颈。提出了一种基于无监督垂直FTL的新型故障诊断方法,该方法可广泛应用于各种代理,特别是那些使用新部署设备的代理。
2)在FedLED中,提出了一种垂直联邦联合域自适应方法,将异构源和目标特征映射到潜在特征空间。为了提高零故障标签模型转换的有效性,我们构造了一种新的联合域对齐,使源标签分配与目标分类结果分布之间的距离最小化,与传统的不广泛利用目标域信息完全不同。
3)我们使用不同的真实设备的故障数据集(即:两个轴承和一个齿轮)来全面验证我们的方法的有效性。实验结果表明,在不同的垂直FTL场景下,FedLED在诊断准确性上显著优于目前最先进方法(高达4.13倍)。此外,FedLED在不同的垂直联邦学习设置(即样本/特征重叠比率)下,稳定地保持了所有比较方法中的最高诊断准确性,并且在更严酷的条件下(例如,当样本/特征完全没有重叠时)显示出更明显的优势。
本文其余部分的组织如下。第3节讨论了智能设备故障诊断的相关工作。系统模型和问题定义在第4节提供。第5节详细介绍了FedLED。实验结果在第6节提供并进行了全面讨论。我们在第7节总结了本文。
在本节中,我们将讨论智能设备故障诊断方面的现有成果。
近年来,智能数据驱动的设备故障诊断在很大程度上得益于深度学习的成功发展,这吸引了业界的关注,因为它具有高诊断准确性[21]。然而,现有的方法通常依赖于大量的良好标记数据或独立同分布(IID)假设[22],[23],这严重限制了它们在实践中的可用性。迁移学习可以用来协助在不同场景下使用来自其他相关代理的非IID样本进行训练。
1)异构迁移学习:大多数现有研究遵循在实践中难以满足的同分布假设[24]。在故障诊断领域,异构样本处理方法主要通过特征筛选等方法处理异构特征,然后将它们替换到传统的机器学习方法(如SVM[25],KNN等)中进行训练。
2)无监督迁移学习:广泛采用的无监督迁移学习方法可以分为基于差异和基于对抗的无监督迁移学习。基于差异的方法通过测量数据分布之间的距离来对齐源域和目标域。常见的分布距离测量方法包括相关性对齐(CORAL)[26]、最大均值差异(MMD)[27]和联合分布适应(JMMD)[28]。基于对抗的方法使用领域判别器来减少由特征提取器产生的源域和目标域之间的特征分布差异,从而实现跨机器故障排除。主要的方法包括领域对抗神经网络(DANN)[29]和条件领域对抗网络(CDAN)[30]。
大多数迁移学习方法需要通过访问源域和目标域的原始数据来获取共享知识,这严重威胁到数据隐私。FTL方法[31]应运而生以解决数据隐私问题。
传统的FTL方法[31]需要共享样本和目标域中的少量标签,这限制了它们在实际场景中的使用。随着AI技术的发展,深度学习方法已逐渐成为主流。[32]提出了解决联邦网络中的域偏移问题基于对抗性领域自适应的学习。[33]提供了一种利用先验分布知识来减少域间距离的FTL系统。
然而,以上所有的研究都是基于水平联邦学习,其中源域和目标域共享相同的特征空间。在垂直的FTL场景中,无法保证它们的性能。
图2 无监督垂直联邦迁移模型的结构
在本节中,我们提供了图1中基于垂直FTL的故障诊断的通用系统模型,以及我们的研究问题的形式化定义。
以图1中的场景为例,有两个垂直FTL代理:源域代理S和目标域代理T。对于具有良好标签的源域,
考虑到实际应用中的异构源域和目标域,其中有1)
垂直FTL任务是一个机器学习中的分类问题,使用分类器
考虑到样本的强异质性,基于特征的领域自适应方法可以用来构建特征提取器
问题定义的补充细节在补充材料1 S.1中呈现。
在本节中,考虑到我们的系统模型和问题定义,我们提出了一种无监的垂直FTL设备故障诊断方法FedLED。它包括一个可以训练目标域故障诊断器的垂直联邦传输模型,以及一个无监督的联邦模型训练方案。
公式(2)中的问题可以建模为一个无监督的领域自适应问题,有三个联合优化目标,即分类损失、特征对齐损失和输出标签对齐损失。整个网络结构如图2所示。考虑到垂直联邦迁移学习(Vertical FTL)的两个约束条件,我们的无监督垂直联邦迁移模型结构由两部分组成:1) 用于计算分类和特征对齐损失的垂直联邦联合领域对抗性自适应,和2) 用于计算输出标签对齐损失的联合领域对齐。
我们提出了一种基于对抗性方法CDAN和垂直联邦方案的垂直联邦联合领域对抗性自适应。其关键是一个新颖的条件领域判别器,该判别器基于领域特定特征表示和分类器预测的交叉协方差条件化,能够将异构的源和目标特征空间映射到一个潜在的共同空间。即使判别器完全被混淆,也不能保证特征提取器能够提取出领域不变的特征。由于领域对抗性自适应已经对齐了特征空间,我们额外添加了基于差异的联合对齐方法作为联合领域对齐来计算输出标签对齐损失,这最小化了源标签分布和目标分类结果分布之间的距离,与不全面利用目标领域信息的传统伪标签方法根本不同。模型构建的更多补充细节见补充材料S.2。
垂直联邦联合域对抗性自适应基于条件域对抗性网络(Conditional Domain Adversarial Network, CDAN) [34]来计算分类损失和特征对齐损失。CDAN的关键是一个新颖的条件领域判别器,该判别器基于特征表示和分类器预测的交叉协方差,能够从异构特征中提取领域不变特征。
特征对齐损失:首先被定义为一个有两个竞争误差项的极小极大优化问题,总体目标函数如下:
其中,
联合域对抗学习的优化方法是:通过最小化(3),优化分类器C和特征提取器
分类损失:为了避免目标域和源域在域不变特征上的任务差异,最终的全局分类任务减弱。因此,在源域的监督学习方法来防止分类器的分类偏差。监督分类任务的目标函数如下:
最近的工作[34]表明,即使判别器被完全混淆,也不能保证特征提取器能够提取出领域不变的特征。这种风险来自于对抗性学习中存在的均衡挑战。由于CDAN已经对齐了特性空间,所以我们还添加了基于差异的对齐[35]方法,以计算输出标签对齐损失。
输出标签对齐损失:联合域对齐过程的目标函数如下:
其中
整个联邦训练方案在训练过程中分为两个步骤:联邦模型初始化和联邦模型训练。
5.2.1 联邦模型初始化
联合初始化采用在[36]中证明有效的预训练-微调方法。与从头开始训练相比,预训练模型可以减少训练时间并加快训练收敛速度。预训练的结果只是初步改进,以防止过拟合。联合初始化阶段的目标函数定义如下:
我们的联邦初始化过程如算法1所示,其中,带标签的源域和无标签的目标域分别用预训练和随机初始化。
5.2.2 联邦模型训练
在联邦模型训练过程中,中央服务器计算相应的损失和梯度,然后将梯度传输给相应的参与者。整体工作流程如图3所示。考虑到模型结构,FedLED训练的目标函数如方程(10)所示。
其中λ和β是两个超参数,网络参数在训练过程中使用Adam优化器进行更新,而对抗网络优化问题则通过梯度反转层[37]解决。在每次训练迭代中,参数的更新如下所示:
µ 是学习率,t 表示第 t 次迭代更新。我们的训练过程在算法 2 中描述。通过上述方案,我们得到了由 Ft 和 C 组成的故障诊断器,该诊断器被部署在目标域进行在线推理。
图3 联邦模型训练的整体工作流程
算法2 联邦模型训练
在本节中,我们在不同的垂直空间条件下使用真实设备故障数据进行了广泛的实验,以进行性能评估。首先介绍了实验方法,然后给出了实验结果和分析结果。
通过与不同设置下的SOTA方法的比较,我们验证了其有效性(诊断准确性)和通用性(对不同级别的源-目标域异质性的适用性)。
6.1.1 数据集
我们的实验使用了两个公共数据集,包含三种不同的真实设备(两种携带设备的实际设备)的不同监控信号和故障标签:即:CWRU[38]和齿轮箱[39].
表 I 基于CWRU的故障诊断任务
表 II 基于齿轮箱的故障诊断任务
使用非重叠滑动窗口方法[40]从所有监测信号中提取学习样本,并进一步按照7:3的比例划分为训练集和测试集。详细操作在补充材料S.3.1中提供。
我们比较了FedLED与以下方法的性能。
1) 基准方法:在源域上训练模型,并直接将训练好的模型应用于目标域。
2) SFL-multi方法 [17]:目前唯一可用的基于FTL的设备故障诊断方法。
3) 基于差异的方法:基于不同距离度量的最先进的无监督迁移学习方法,包括使用协方差的CORAL [26],使用最大均值差异(MMD)的MK-MMD [41],以及使用联合最大均值差异(JMMD)的JAN [35]。
4) 基于对抗的方法:最先进的无监督基于对抗的迁移学习方法,包括DANN [29]和CDA+E [30]。
5) 消融研究方法:消融实验1和2分别只保留了联合域对齐和联合域对抗适应。
FedLED及其所有比较方法都是使用PyTorch V1.3.1实现的,并且所有评估都是在Tesla V100 GPU上进行的。对于参数设置,训练的批量大小和迭代次数分别是64和100。我们使用的学习率为
我们使用目标域测试集上的准确度作为评估指标。
其中,
为了验证我们方法的有效性,我们按照前述任务在CWRU和齿轮箱数据集上进行了FedLED和比较方法的实验。当FedLED和其他比较方法设置为非重叠样本空间时,考虑到重叠样本对于SFL-multi方法是必须的,我们为它单独设置了10%的样本重叠比例。所有方法的故障诊断准确性在图4∼6中展示,并且详细结果在补充材料S.3.2中提供。很明显,FedLED在所有数据集上实现了最高的平均诊断准确性(即,77.52%,95.51%,98.47%)。FedLED和比较方法的性能进一步分析如下。
根据图4∼6,DANN在所有任务上表现不佳,这可能是由于缺乏初始化造成的。通常,基于对抗的方法通过减少其鉴别能力来提高域判别器D的领域自适应能力。由于DANN缺乏初始化,其域判别器D具有更强的鉴别能力,严重限制了领域自适应能力。SFL-multi方法由于重叠样本数量少而避免了过拟合,在所有任务上表现稳定。
图 4 CWRU 上的故障诊断准确性
图 5 齿轮箱轴承故障诊断准确性
图6 齿轮箱-齿轮故障诊断准确性
为了验证我们方法的普遍性,我们在垂直联邦学习(FTL)场景中改变了样本和特征重叠的比例。所有方法的故障诊断准确性分别在图7和图8中展示。详细结果在补充材料S.3.2中的表S4至S7提供。
1) 样本重叠比例的影响:为了研究样本空间差异的影响,我们首先将源域和目标域之间的样本重叠比例设置为0%,20%,50%和100%。
根据图7,FedLED在所有样本重叠比例下(即90.55%,91.26%,91.92%,92.76%)都实现了最佳性能,并且随着比例的增加,准确性略有提高。随着样本重叠比例的增加,SFL-multi的准确性显著提高。这是因为SFL-multi需要在重叠样本上训练一个可迁移的模型,其性能与重叠样本的数量正相关。与SFL-multi不同,其他不需要样本重叠的比较方法的性能并没有明显增强。
2) 特征重叠比例的影响:为了研究特征空间差异的影响,我们分别进行了两组实验,源域和目标域之间的特征重叠比例分别为0%和100%。
根据图8所示,FedLED在有/无特征重叠的情况下都达到了最高的平均诊断准确率(即98.83%,90.50%),表明它成功地将不同的特征空间映射到一个潜在的共同空间。相比之下,所有比较方法在没有特征重叠的情况下性能显著下降,这清楚地表明源域和目标域的特征空间异质性严重限制了现有故障诊断方法的可用性。
为了突出我们方法的统计显著性,我们对上述实验结果进行了未来分析,以评估其稳定性和复杂性。图9显示了在所有三个数据集下不同方法的箱形图,反映了它们准确性的统计特征。可以发现,我们的方法具有相对较好的稳定性,并满足实际应用的需求。
我们在CWRU和齿轮箱数据集上记录了我们的方法和比较方法在100个周期内的平均运行时间,这些记录在表III中。原始的SFL方法仅适用于二分类问题。我们通过使用多个分类器将其扩展到多分类问题,这也导致了比其他方法消耗更多的时间。图10(a)和(b)是在CWRU下随时间变化的损失和准确率趋势图。可以发现,由于每个周期的训练时间较长,我们的方法的整体收敛速度比其他比较方法稍慢。然而,由于准确率的提高,我们的方法达到相同的可接受准确率(70%)所需的时间实际上与其他比较方法相似。
网络复杂性包括空间复杂性和时间复杂性。我们的FedLED网络的复杂性与其他可比方法(除了SFL)处于相同的数量级。我们的方法和其他可比方法(除了SFL)基于相同的深度迁移学习骨干,外加一个3层域判别器,其空间复杂性与骨干相比可以忽略不计,因此我们方法的空间复杂性与其他可比方法相似。至于时间复杂性,FedLED包括垂直联邦联合域对抗性适应和联合域对齐,它们的时间复杂性分别对应于基于对抗性和基于差异的方法。因此,我们方法的时间复杂性是这两部分时间复杂性的总和,这意味着它与其他可比方法的时间复杂性处于相同的数量级。总结来说,尽管我们的方法比其他可比方法稍微耗时,但与准确性的提高相比,这种权衡是可接受的,也是值得的。
在本文中,我们提出了FedLED,这是首个无监督的垂直联邦迁移学习(FTL)方法,它使得各种工业代理能够进行无需标签的设备故障诊断。它使得从有标签的源域向高度异构的目标域迁移故障诊断模型成为可能,即使目标域中没有故障标签,同时也能保护两个域的数据隐私。使用真实设备监控数据进行的广泛实验清楚地表明,FedLED在诊断准确性(高达4.13倍)和通用性方面具有明显优势,这是通过利用未标记目标域的知识实现的,与那些严重依赖源域知识的最新方法不同。我们期望FedLED能够激发更多关于通过系统性目标域知识提取(例如对比学习)增强的无标签故障诊断的洞察。
编辑:CYJ
校核:李正平、陈凯歌、赵栓栓、曹希铭、赵学功、白亮、任超、Tina、陈宇航、海洋、 王金
该文资料搜集自网络,仅用作学术分享,不做商业用途,若侵权,后台联系小编进行删除
点击左下角阅读原文,即可在线阅读论文。