首页/文章/ 详情

迁移学习！SCI二区开源代码推荐｜结合理论边界和深度对抗网络的迁移学习开集故障诊断

故障诊断与python学习

11天前浏览772

迁移学习是当前故障诊断领域的研究热点，然而针对其开源代码较少，小编整理搜集了一些开源代码与大家进行分享。本期分享的是结合理论边界和深度对抗网络的迁移学习开集故障诊断，该论文发表于Neurocomputing期刊，并提供有该作者原创的开源代码，因此这篇开源代码适合参考借鉴并在上面进行改进学习，适合具备一定的深度迁移学习基础知识的学习者。该方法很贴合实际工程应用场景，非常值得阅读！

1 论文基本信息

论文题目：Combining the theoretical bound and deep adversarial network for machinery open-set diagnosis transfer

论文期刊：Neurocomputing

Doi：https://doi.org/10.1016/j.neucom.2023.126391

论文时间：2023年

作者：Yafei Deng, Jun Lv, Delin Huang, Shichang Du

机构：

State Key Lab of Mechanical System and Vibration, School of Mechanical Engineering, Shanghai Jiao Tong University, Shanghai 200240, China; Department of Industrial Engineering and Management, School of Mechanical Engineering, Shanghai Jiao Tong University, Shanghai 200240, China; Faculty of Economics and Management, East China Normal University, 200241 Shanghai, China; College of Intelligent Manufacturing and Control Engineering, Shanghai Polytechnic University, China

2 摘要

目前，基于深度迁移学习的智能机器诊断得到了很好的研究，通常假设源域和目标域共享相同的故障类别，这可以称为闭集诊断迁移(The Closed-set Diagnosis Transfer, CSDT)。然而，由于机器零部件的不确定性和复杂性，可能会出现未知的新故障，这种假设很难覆盖真实的工程场景，即开集诊断迁移(Open-set Diagnosis Transfer, OSDT)。为了解决这一具有挑战性的问题，本文提出了一种理论引导的渐进迁移学习网络(Theory-guided Progressive Transfer Learning Network, TPTLN)。首先，深入分析了开集环境下迁移学习模型的上界，为模型优化提供了理论指导。其次，设计了一个两阶段模块，通过渐进学习的方式分离未知目标样本并将已知样本靠近，有效提高类间可分性和类内紧凑性。最后我们对所提出的TPTLN的性能基于两个OSDT数据集进行评估。对比实验结果表明，该方法在不同程度的领域偏移和不同开集情况下均具有较好的鲁棒性和诊断性能。

3 目录

1 论文基本信息

2 摘要

3 目录

4 引言

5 相关工作

5.1 开集诊断迁移

6 所提出的方法

6.1 TPTLN的整体框架

6.2 分离阶段

6.3 靠近阶段

7 实验结果与讨论

7.1 关键对比方法和评估指标

7.2 实验结果和性能分析

8 总结

注：本文只选中原论文部分进行分享，若想拜读，请下载原论文进行细读。

小编能力有限，如有翻译不恰之处，请多多指正~

4 引言

在工程场景中，机器总是处于正常状态并进行定期维护。因此收集充足的有标签数据，特别是有标签故障数据是耗时且费力的。此外，由于任务需求和工作环境的不同，同类机器往往工作在不同的工作状态，这就导致了测试数据和训练数据之间的分布差异。因此，在实验室环境下表现良好的深度学习诊断模型在工程应用的背景下会大大退化。

迁移学习(Transfer Learning, TL)允许在一个或多个任务中获得的知识被使用到另一个任务中。在机器故障诊断的场景中，不同的工况和机器部件可以看作是不同的领域，不同的故障类型可以看作是不同的任务。基于特征的TL方法通过构造映射函数将源域和目标域的原始数据转换到一个共同的潜在空间，提取领域不变特征，主要包括三种策略：基于差异度量的领域偏移减少策略、基于对抗机制的领域混淆生成策略和基于重构模型的领域不变性表示改进策略。

图1 CSDT和OSDT的对比图

大多数机器诊断迁移学习方法的主要假设之一是基于闭集条件，这表明训练和测试数据应该覆盖相同的机器健康状态。然而，在工程领域中，闭集诊断迁移(The Closed-set Diagnosis Transfer, CSDT) 假设很难满足。由于数据收集的巨大经济成本，通常难以收集具有各种机器健康状态的足够标签的训练数据，导致源域类别有限。在测试阶段，新的未知故障模式在源域中不存在，并且诊断模型会错误地将新出现的未知故障类型分类为已知故障类型。因此，提出了一种更具挑战性和实用性的场景，称为开集诊断迁移(Open-set Diagnosis Transfer, OSDT)。OSDT不仅将源域的诊断知识迁移给目标域，而且还需要在目标域中检测出源域中的未知故障。图1给出了CSDT和OSDT的示意图，主要区别在于OSDT旨在将诊断知识从类稀少的源域迁移到类丰富的目标域，并构建已知和未知样本的决策边界。因此，OSDT问题可以从两个方面解决：1）学习已知和未知目标样本之间的决策边界，以实现类间水平的可分性; 2）匹配源域样本和目标域样本在共享标签空间中的分布，以实现类内水平的紧凑性。然而，一些尚未解决的问题限制了OSDT解决方案的发展：

(1) 不确定决策边界：在不知道未知样本和已知样本之间的相关程度的情况下，很难确定一个固定的决策界来识别未知样本和已知样本。在开放程度较大的情况下，使用过紧的决策界会忽略一些未知的样本，而在开放程度较小的情况下，使用过于宽松的决策界会包含一些已知的样本。

(2) 交互性负迁移：在模型训练过程中，两个目标相互影响。详细地说，已知和未知的目标样本在领域偏移大的情况下会变得混乱，使得更难学习准确的决策边界。因此，这些误分类的样本，属于共享（私有）空间，但被认为是私有（共享），将产生不利影响的分布匹配，这进一步误导决策边界学习。

为了克服上述挑战，我们提出了一种新的理论引导的深度对抗网络来检测新出现的故障并减少领域差异。通过最小化理论推导的误差界，优化开集检测风险和域不变学习风险，在理论上保证了类间的可分性和类内的紧凑性。此外，设计了两阶段渐进式学习策略来抑制交互式负迁移。最后，采用基于对抗的机制使模型具有从不平衡数据中学习判别表示的能力，在不同的开放程度下都能表现出较好的泛化能力。

图2 概述了OSDT问题的TPTLN方法

所提出的理论引导的渐进式迁移学习网络(Theory-guided Progressive Transfer Learning Network, TPTLN)的概述如图2所示。如图2所示，在分离阶段，自适应地获得灵活的决策界以准确区分目标未知样本，其中源域风险和开集风险将被迭代地优化以促进离群数据（类间）可分性；在靠近阶段，跨源域和目标域的共享标签空间的域不变特征将被学习以促进类内紧凑性。

图2中，(a)开集设置下的最终状态示例，其中源域和目标域包含几个已知的共同的故障类（图中标记的三角形和正方形），并且目标域还包含源域中不包括的未知故障类（图中的圆圈）。(b)分离阶段后的情况：首先构造源域已知故障的分类边界，使TPTLN能够实现诊断。其次，构造一个由粗到细的决策边界，将已知类和未知类的目标样本分开。(c)靠近阶段之后的情况。采用对抗性分布对齐策略靠近共享空间中的源域和目标域样本。(d)在分离阶段和靠近阶段之间进行渐进学习后，迭代直到收敛的情况下，未知类的目标样本将被分离出共享空间，而已知类的目标样本将靠近它们的源域对应的类。主要贡献概述如下：

（1）我们对OSDT的情况下的迁移学习进行探索，其中的目标域不仅包含与源域共享的标签空间，也包含不在源域中的私有标签（新的未知故障类型）。

（2）设计了一种渐进式学习结构TPTLN，分别实现目标样本划分（分离阶段）和领域分布对齐（靠近阶段）。该方法将不确定性校正、自适应开放度估计和加权分布模块附加到两阶段学习过程中，能够更好地适应较大的领域迁移，有效避免了同一模型内的交互负迁移问题。

（3）在理论界分析的指导下设计了TPTLN。最小化源域损失获得源域分类器，优化分布差异的目标是学习领域不变特征，通过提出的校正相似度和领域一致性得分控制开集风险，提供一个自适应的决策边界来检测目标未知样本，适应不同程度的目标数据开放性。

（4）设计了不同领域迁移程度和开放度变化情况下的开集诊断迁移任务，验证了模型的有效性。选取了7个具有代表性的模型作为基准模型，通过多种可视化方法验证了模型在提高诊断精度和增强迁移鲁棒性方面的性能。

5 相关工作

5.1 开集诊断迁移

开集迁移诊断的目的是从目标域检测新出现的未知故障类，同时正确地将已知故障类的诊断知识从源域迁移到目标域。近年来，已经提出了几种方法来解决计算机视觉领域中的开集领域自适应问题，例如OSBP [15]，STA [16]和CMU [17]。也有一些研究人员正在为工业应用进行探索性工作。Li等人首先提出了一种深度对抗迁移学习网络(Deep Adversarial Transfer Learning Network, DATLN)，该网络受到OSBP方法的启发，并已成功应用于旋转机器故障检测[18]。DATLN通过一个对抗性的二元分类器来确定决策边界，当对应样本的分类概率超过固定阈值（通常设置为0.5）时，未知故障将被识别。Zhang等人开发了一个实例级加权对抗网络来解决OSDT问题[19]。研究者提出了目标域样本的实例级权重来描述与源域类的相似性，该权重由目标域样本的相似性得分得到，并采用熵最小化方法来增强目标离群点检测。Zhu等人提出了一种具有多个辅助分类器的对抗网络(Adversarial Network with Multiple Auxiliary Classifier, ANAMC), 该网络开发了多个分类器来校准OSBP方法中的阈值设置[20]。这些辅助分类器可以更好地利用具有代表性权重的领域知识，这有助于更灵活地制定准确的决策范围，而不是将某个固定阈值下的所有目标数据强制为一个类别。

回顾最近的文献，现有的OSDT模型缺乏必要的理论分析，从而忽略了潜在的改进方案，导致产生了受到客观影响的解决方案[21]。本文将理论界分析方法引入OSDT模型设计中，填补了OSDT模型设计的空白，使OSDT模型能够以无监督的方式检测新出现的目标离群数据。此外，设计了渐进式对抗学习策略，以抑制互动负迁移下大程度的开放性和领域迁移。

6 所提出的方法

6.1 TPTLN的整体框架

图3 概述了OSDT问题的TPTLN方法

所提出的TPTLN如图3所示，其主要包括三个模块：特征提取、分离阶段和靠近阶段。首先，在特征提取阶段，将机器振动信号的频谱放到特征生成器G中以提取分层特征

和

。接着，在分离阶段，通过不确定性校准和领域一致性学习策略估计理论推导的源域风险项和开集风险项。随后，在靠近阶段，提出了基于对抗的加权机制，通过向目标已知类分配较大的权重来最小化共享标签空间的差异距离项，并通过向目标未知类分配较少的权重来减轻来自私有空间的负迁移。最后，在分离阶段和靠近阶段之间的渐进式学习策略可以使TPTLN学习到一个更紧密的理论界，以检测目标域中的未知故障类别，并建立一个更强大的分类器诊断已知的故障类别跨域。TPTLN的详细算法在表2中给出。

表2 训练细节

6.2 分离阶段

本节详细描述了渐进式学习框架中的分离阶段。顾名思义，分离阶段主要集中在从已知类中分离没有标签的目标域中的未知故障类，这可以减轻由于源域中已知类别的样本和整个目标域样本的分布错误匹配而导致的交互负迁移。为了从理论上进行分离阶段，采用上述源域风险

和开集风险

来指导模型优化。

6.2.1 源域风险的优化

源域风险保证了跨域分类器能够准确地对源域的已知故障类别进行分类。为了实现这一点，定义多类别分类器来计算源风险，源域风险

的计算公式如下：

其中，损失函数是交叉熵损失，其通常用于多类别分类函数，

是用于

类别的通用分类器，源域中的已知

类加上目标域中的附加未知类。

表示从源域提取的特征。

表示每个样本到相应已知类别

的概率。

是每个源域样本的真实标签信息。

6.2.2 开集风险优化

开集风险表示模型区分未知目标类和已知目标类的能力，应该注意的是，首先应该准确评估开放性。如果开放度太大，则表明目标域中的大部分数据是未知故障类型。该项将决定开集风险以及整个误差上界。另一方面，如果，这意味着没有未知的目标样本，整个误差上界将与CSDT问题相同。

在之前的研究中，对

中的未知参数开放性

进行了初步评估。例如，将

设置为较大的值，这可能会在不同程度的领域偏移下受到波动。为了准确地估计开放度，本文采用了一种由粗到细的学习算法，用于学习已知和未知目标样本之间的自适应开放度边界。所设计的鉴别器包括用于源域粗糙鉴别的

和用于目标域精细鉴别的

。

6.2.2.1 基于不确定度校准源域鉴别器

我们设计了多个二分类的鉴别器，仅用源域标签样本实现粗分离。所提议的的损失优化过程可以表示为：

其中，

是二分类交叉熵损失，并且在

中有

个类别的源域鉴别器。另外，在

的时候，

；其他情况下，

。将每个目标域特征

放入

中，来自每个鉴别器的输出概率

可以被看作是根据相应源域类别

的预测置信度，并且源域鉴别器将输出概率向量

。由于目标域中已知类别在共享空间中具有比未知类别的目标数据更高的概率，因此向量中的最大概率

总是被当作第

个目标样本与已知类之间的相似度

：

预测置信度可以很好地用于来自已知标签空间的目标域数据的相似性估计，因为这些数据将共享在源域中已经出现的相似结构。然而，对于来自未知标签空间的目标域数据，很难学习到在源域中从未出现过的结构特异性特征，从而导致弱区分性和有偏相似性估计。

为了克服这个问题，我们将自监督的不确定度校准技术（熵分析）与相似性评价相结合。熵用来衡量类分布的平滑程度，熵越大，表明类分布的不确定性越高。因此，利用熵分析的校准的相似性可以表示为：

6.2.2.2 基于一致性得分的目标域鉴别器

图4 领域一致性得分的图示

目标函数

将

学习到的粗糙开放边界调整为更精细的边界，旨在进一步分离未知和已知目标样本。为了实现这一点，所有目标域样本的相似性

，以降序排列，并且将选择具有较高相似性的前K个样本和具有较低相似性的后K个样本来构建子集

。我们提出了一种基于领域一致性得分(Domain Consensus Score, DCS)的自适应K初始化方法。一致性得分旨在提取跨领域知识，以促进共享类聚类和私有类发现[25]。域一致性得分的定义如图4所示。

与以前使用基于阈值的方法[15，17]或固定K值[16]来检测未知目标样本的研究相比，所提出的自适应K选择方法提供了一种更鲁棒的方法来训练不同级别的领域偏移下的已知和未知目标域样本分离。因为它的子集的区分界限可以灵活调整。基于处理后的目标子集

，目标域

可以被优化如下：

其中，

是二分类交叉熵损失，

指的是经滤波子集的目标样本。通过引入

（为粗分离提供每个目标域样本的相似度）和

(为细分离提供每个目标域样本为已知或未知故障类别的概率），可以逐渐获得目标样本的自适应决策边界，并且可以如下估计开集风险的未知参数开放度

：

在通过粗到细的迭代估计开放度

之后，可以获得开集风险

，并且给出优化函数如下：

6.3 靠近阶段

在靠近阶段，应减少源域和目标域之间的分布差异以实现学习领域不变的特征。需要注意的是只有源域和目标域所共享的空间需要对齐。为此，我们提出了一种加权分布风险优化策略来促进源域和目标域已知类别的对齐，并抑制源域和目标域未知类的对齐。

6.3.1 加权分配风险优化

为了给每个目标域样本赋予不同的权重，目标域鉴别器的输出用作软实例级权重。基于目标域已知/未知判别器的定义，较大的表明样本来自共享空间的概率更高（已知类别）；较小的意味着样本来自非共享空间的概率较高（未知类）并且应该在分布风险最小化期间被抑制。相应地，利用目标样本权重进行对抗领域适应，可以得到加权分布风险优化函数如下：其中，域对抗损失旨在在上最小化并且在上最大化。训练域鉴别器识别输入特征是来自源域还是目标域，而特征生成器通过提取域不变特征来混淆。由于加权机制，与未知目标样本相比，具有更高概率为已知类的目标样本将主导对抗过程，这意味着在极大极小博弈期间，分布对齐将迭代地集中在目标已知样本和源域样本上。

7 实验

7.1 关键对比方法和评估指标

OSBP(Open Set Domain Adaptation by Backpropagation)旨在构建一个决策边界来检测未知的目标域样本。训练分类器以在源域样本和目标域样本之间建立边界，而训练生成器以使目标样本远离边界。

STA(Separate to Adapt)采用两阶段网络结构来解决开集迁移学习问题，其中第一阶段通过探索源域数据来训练识别目标未知数据，第二阶段训练在已知类的范围内适应分布。

CMU(Calibrated Multiple Understanding)提出了一种新的可迁移性度量来检测离群数据，该度量由互补中的不确定性量的混合来估计：熵，置信度和一致性，定义在由多分类器模型校准的条件概率上。

DATLN(Deep Adversarial Transfer Learning Network)首先讨论了在工业场景中迁移诊断知识的开集设置。对抗分类器被设计为在源域和目标域中对齐样本（具有已知类别），并检测具有未知类别的样本。

IW-OSDA(Instance-Level Weighted Open-set Domain Adaptation)将离群值分类器结合到基于对抗的网络中，以增强OSDT问题的未知故障样本检测。由领域差异度得到的实例权重用来描述目标域样本与源域类的相似度。

为了全面评估TPTLN和其他基线方法，两个广泛使用的评估指标，所有类别的标准化准确度和仅已知类别的标准化准确度，具体如下：

其中

表示属于第c个故障类别的目标样本，

指的是分类器

正确地将样本

分配给相应的类别。

7.2 实验结果和性能分析

7.2.1 实验结果

表9a 基于轴承任务的准确率对比

表9b 基于齿轮箱任务的准确率对比

7.2.2 性能分析

图8 每个类中目标实例的权重的平均值

(a) 轴承OSDT任务的结果; (b) 齿轮箱OSDT任务的结果。

为了直观地评估所提出的方法的性能，在所有OSDT任务中学习的目标域样本的实例级权重进行了研究。由于STA、CMU和IWOSDA模型通过分配不同的权重来区分离群样本，因此给出了这些方法的结果以供比较，可视化结果如图8所示，其中目标离群实例的权重以红色标记。

7.2.3 性能分析

图9 齿轮箱任务T1上的域不变特征的可视化

为了比较模型性能并反映所提出方法的优点，使用t分布随机邻居嵌入（t-SNE）算法[28]来可视化从生成器中提取的特征。以变速箱任务T1为例。来自不同模型的t-SNE的可视化特征如图9所示。

8 总结

本文提出了一种理论引导的迁移学习模型TPTLN，用于解决目标域中故障类别未知的开集诊断迁移问题。TPTLN模型通过分离阶段和靠近阶段来解决OSDT问题，其中设计了不确定性校准、自适应开放度估计和加权分配模块，以更好地适应不同的开放度变化。在分散阶段，目标未知数据被推离已知类以避免参与领域对齐过程，通过互补相似度和领域一致性学习离群数据的鲁棒判别边界。在靠近阶段，来自源域和目标域之间的共享标签空间的数据将通过对抗学习策略进行对齐，以进行诊断知识迁移。进一步分析了每个阶段的理论上界，并将其结合到优化过程中，使得分散阶段的类间分离性和吸引阶段的类内紧凑性得到改善。基于轴承和齿轮箱设计了多个OSDT任务，实验结果表明，TPTLN在诊断精度和迁移鲁棒性方面上级其他代表性方法。

在未来，一个更具挑战性的问题，称为通用域适应（Universal Domain Adaptation, UDA）的机械诊断将被探索。在UDA问题中，源域和目标域都包含未知的故障数据，这可以看作是OSDT的一个更广泛的情形。

编辑：曹希铭

校核：李正平、张泽明、张勇、王畅、陈凯歌、赵栓栓、董浩杰

该文资料搜集自网络，仅用作学术分享，不做商业用途，若侵权，后台联系小编进行删除

来源：故障诊断与python学习