本期给大家推荐的文章是《多工况下不平衡域自适应迁移学习轴承故障诊断方法》。本文提出了一种用于轴承故障诊断的新型深度不平衡域自适应模型 样本不平衡 迁移学习 论文链接 ：通过点击本文左下角 阅读 原文 进行在线阅读及下载。 论文基本信息 论文题目： Deep imbalanced domain adaptation for transfer learning fault diagnosis of bearings under multiple working conditions
论文期刊： Reliability Engineering and System Safety
论文日期：
论文链接:
https://doi.org/10.1016/j.ress.2022.108890
作者：
Yifei Ding (a,c), Minping Jia (a), Jichao Zhuang (a), Yudong Cao (a), Xiaoli Zhao (b), Chi-Guhn Lee (c) 机构：
a: School of Mechanical Engineering, Southeast University, Nanjing 211189, PR China; b: School of Mechanical Engineering, Nanjing University of Science and Technology, Nanjing 210014, PR China; c: Centre for Maintenance Optimization and Reliability Engineering, University of Toronto, Toronto M5S 3G8, Canada 目录 1 摘要 深度学习和迁移学习的巨大成功拓宽了故障诊断的范围，尤其是进一步提高了迁移学习多种工况下诊断准确性。然而，尽管大多数现有尝试考虑了不同的特征分布，但都假设标签分布是域不变的。这不能适应不同工况下故障模式分布的多样性，并削弱了对不平衡域自适应 (Imbalanced Domain Adaptation, IDA) 场景的泛化能力。因此，针对不同工况下特征偏移和标签偏移同时存在的挑战性场景，本文提出了一种用于轴承故障诊断的新型深度不平衡域自适应 (Deep Imbalanced Domain Adaptation, DIDA) 框架。具体而言，DIDA 克服了类不平衡标签偏移，并通过成本敏感学习和分类对齐实现了细粒度的潜在空间匹配。此外，引入了边缘损失正则化项以进一步优化分类边界并提高 IDA 故障诊断任务的跨域泛化能力。最后，我们在多种工况的案例下进行了实验，验证了所提出框架的有效性和优越性。
关键词： 故障诊断，轴承，域适应不平衡，标签偏移，域偏移
2 引言 近年来，以深度学习（Deep Learning, DL）的一系列应用为代表的智能诊断方法受到越来越多的关注。具体来说，许多深度网络，如深度信念网络、卷积神经网络、循环神经网络、自动编码器，甚至最新的注意力机制Transformer等都得到了深入研究，为故障诊断提供了出色的框架。这些方法以时域数据、频域特征、时频域图作为输入，充分利用深度学习这种特征学习技术，从海量数据中学习判别表示。因此，它们获得了高度可区分的故障相关特征，并建立了从输入特征到特定故障模式的非线性映射。但这也是传统深度学习模型的不足之处，即对大量数据的需求限制了其在现实场景中的应用。此外，这些模型所基于的独立同分布（Independent and identically distributed, i.i.d.）假设要求训练和测试数据具有一致的分布，因此无法应用于更广泛的跨领域任务。
因此，迁移学习 (Transfer Learning, TL)，尤其是领域自适应 (Domain Adaptation, DA)，已被引入到多种可变工况背景的故障诊断中。迁移学习的目标是利用以前的经验和知识来提高新领域的学习能力。因此，许多新的故障诊断方法应运而生，以提高跨域泛化能力。例如，Wen 等人 提出了一种用于故障诊断的深度迁移学习，使用自动编码器从原始数据中提取特征，并应用最大平均差异 (Maximum Mean Discrepancy, MMD) 项来最小化差异惩罚。Qian 等人提出了一种带有深度迁移学习网络的卷积自动编码器，它将相关性对齐 (CORrelation ALignment, CORAL) 损失和域分类相结合以实现域自适应。Wang等人提出了一种用于跨机器故障诊断的多鉴别器深度加权对抗网络(Multidiscriminator Deep Weighted Adversarial Network, MDWAN)。Xia等设计了一种基于数字孪生和深度迁移学习的机械智能故障诊断框架。Han等人将边缘分布自适应扩展为联合分布自适应 (Joint Distribution Adaptation, JDA)，并提出了一个框架来实现更准确的故障诊断分布匹配。
图1 (a) 只有UDA的特征偏移；
(b) 具有特征偏移和相同的不平衡分布；(c) 对于IDA同时具有特征偏移和标签移位
所有这些故障诊断研究都试图提取域不变表示，以减少由于不同工作条件导致的特征分布差异，即特征偏移，就像图 1(a) 所示的标准无监督域自适应 (Unsupervised Domain Adaptation, UDA) 一样。虽然许多跨域故障诊断任务都通过这样的设置得到了有效的解决，但它们都忽略了这样一个问题：不同的工作条件不仅带来特征分布的差异， 尽管已经对两个域之间的特征迁移问题和单个域上的不平衡分布问题进行了大量研究，但当这两个问题都出现在源域和目标域上时，很少研究这一困境，这是一个更现实和具有挑战性的情况。 因此，本文引入了不平衡域自适应（Imbalanced Domain Adaptation, IDA）的命题，该命题假设除了UDA之外，还存在标签偏移，如图1（c）所示。我们将在后面的部分进一步详细介绍IDA的问题设置。IDA的主要困难如下： （1）用于故障诊断的主流DA方法只能对齐特征分布，而对标签偏移没有帮助；（2）当目标域标签未知时，对齐条件概率分布 据我们所知，包含分布差异和故障模式的IDA故障诊断方法的研究虽然满足现实需求，但是尚未有相关内容的研究 （1）我们提出了一种新型 DIDA 框架，用于同时解决源域和目标域之间具有挑战性的特征偏移和标签偏移，以实现具有复杂域差异的不平衡跨域故障诊断。 （2）为了提高 IDA 可变工况背景下的诊断准确性，我们结合了成本敏感的重新加权和分类对齐来校准类别不平衡损失并缩小类别特征分布差异。此外，还采用了边缘损失正则化来增强决策边界。 （3）我们提供了在实验数据集上解决 IDA 问题的通用设置。相应地，我们验证了所提出的 DIDA 的有效性。与其他最先进方法的比较表明，DIDA 在 IDA 故障诊断方面具有独特的优势。 本文的其余部分安排如下。在第3节中，我们简要回顾了相关工作。然后，我们在第4节中详细介绍了我们提出的 DIDA 和相应的故障诊断过程。我们在第5节进行了实验案例研究。最后，第5节总结了本文。 3 预备知识 3.1 不平衡学习
不平衡学习，尤其是不平衡分类问题，已被广泛研究，以缓解现实世界大规模数据集中长尾标签分布的挑战。当使用不平衡数据集训练深度模型时，一个主要的挑战是多数类样本在目标函数中占主导地位。学习到的判别模型倾向于对这些类表现出偏好，而对其他稀缺类样本表现较差。一般来说，有两种策略：重新采样和成本敏感的重新加权。 重新采样方法通过对多数类别进行下采样或对少数类别进行过采样来直接调整样本数量。代表性方法如合成少数过采样技术 (Synthetic Minority Over-sampling Technique, SMOTE)通过插值生成非复 制样本。相比之下，成本敏感学习为样本分配权重以匹配给定的分布，充分利用可用的数据集进行训练。例如，通常使用按类别频率倒数 (Inverse Category Frequency, INV)加权或平方根倒数 (Square Root Inverse, SQINV)的平滑版本。 最近，尽管许多研究尽力避免特征偏移与标签偏移同时出现，但他们仍然将不平衡学习归类进存在标签偏移的迁移学习任务。在常见的标签偏移解决方案中，估计标签偏移后重新采样和重新加权仍然是主要途径。 4 不平衡条件下深度域适应 我们制定了具有挑战性但实用的不平衡域适应 (Imbalanced Domain Adaptation, IDA) 问题设置，如下所示。给定来自源域 给定一个由 4.2 方法概述
图2 概述所提出的DIDA，其中包括（a）有监督分类， (b）成本敏感的重新加权，（c）分类对齐，（d）边缘损失正则化 我们针对 IDA 任务提出了一种新颖的 DIDA 架构，它包含 4 个部分，如图 2 所示。与大多数结构风险最小化策略类似，我们的 DIDA从经验风险最小化 (Empirical Risk Minimization, ERM) 开始，以学习源域 4.3 成本敏感的重新加权
然而，大量研究表明，使用原始 ERM 学习不平衡的数据集 会导致严重的性能下降。具体而言，由于标签空间分布不平衡，学习到的分类器倾向于预测多数类的标签而不是少数类的标签，以降低整体风险。为了克服这一困境，我们引入了具有独特类平衡损失（Class-Balanced Loss, CBL）的成本敏感学习。
给定一个带标签的样本 ，其中标签 ，假设 类的预测概率向量为 其中， 表示与数据集总量相关的预设超参数。对于所谓的类别平衡，重新加权因子 因此，满足 然后，对于来自 需要强调的是，为了方便起见，我们在公式中省略了归一化表示。以 softmax 交叉熵损失为例，给定一个类标签为 利用类平衡损失进行代价敏感的重新加权，可以初步解决源域的不平衡问题。而且，CBL充分考虑了样本容量，因此比简单的类别频率倒数 (Inverse Category Frequency, INV)加权或平方根倒数 (Square Root Inverse, SQINV)的平滑版本提供更准确的不平衡损失校正。 4.4 分类对齐 基于不平衡的监督学习，充分利用目标域中的未标记数据需要基于语义的域自适应，即对齐两个域的类别特征空间。类别对齐一方面比全局域自适应具有更好的细粒度对齐，另一方面其类别性质可以避免类别不平衡的影响。与以前的CBL仅纠正源域上的类别不平衡损失不同，它是解决域间特征偏移和标签偏移的核心。 这里我们引入了局部最大均值差异（Local Maximum Mean Discrepancy,LMMD）来对齐两个子域的分类分布， 其中， 其中， 是 4.5 边缘损失正则化
成本敏感的重新加权和分类对齐有助于网络从不平衡的跨域中学习域不变表示，但由于标签分布不均匀，基于这些特征的分类决策边界仍然很脆弱。一个常见的思路就是对样本稀缺类别进行比样本丰富类更强的正则化，以进一步提高少数类别的泛化能力。然而，如何在不牺牲多样本类别拟合度的情况下对其进行正则化是一项具有挑战性的任务。 现在我们从边距的角度开始。以二分类为例，第 进一步考虑 文献推导了一种适用于多个类别的最佳类别相关边距，其形式为 其中， 从经验上看，hinge损失的非平滑特性使其难以优化。因此，提出了具有强制边距的交叉熵损失平滑版本，可以表示为： 其中， 这种标签相关的正则化与之前的重新加权是正交的，也就是说，它们可以同时用于不平衡学习，从而都有助于更好的不平衡泛化。 4.6 目标函数 我们提出的 DIDA 结合了上述特点，从而实现了长尾分布式域的细粒度信息对齐和域自适应。总之，总体目标函数是： 其中， 表示具有 LDAM 正则化的类平衡交叉熵 (the Class-Balanced Cross-Entropy, CBCE)，
故障诊断框架如图4所示。
5 实验:自建轴承数据集案例研究
在ABLT-1 A实验台上采集6205个不同故障模式的滚动轴承信号，如图5所示。振动信号采用三轴加速度传感器采样，采样频率为12800Hz，垂直安装在轴承座上。在零载荷条件下，模拟6种故障模式，即正常（N）、内圈故障（IRF）、外圈故障（ORF）、滚珠故障（BF）、内外圈复合故障（IORF）和外圈滚珠复合故障（ORBF），如图6所示。所有这些类型都以4种不同的速度运行，以模拟不同的运行条件，即（A）1200 rpm，（B）1500 rpm，（C）1750 rpm和（D）2000 rpm。每段样本切割成长度为2400，共采集4×6×1000=24000个样本。
5.2 IDA任务设置
图7 使用自建数据集（a）B2I、（b）I2B、（c）I2I 的源域和目标域训练集分布 将每个操作条件下的样本混合形成一个子集，其中20％用作测试集，其余用作训练集。然后需要对训练集进行过滤以形成指定的分布。包含不平衡训练集的3个数据集的分布如图7所示。
5.3 结果分析 表1 自建数据集故障诊断案例研究的DIDA准确度（%）平均值±标准差
表2 自建数据集故障诊断案例研究的基线准确率（%）平均值±标准差
我们用四种IDA进行了所有六个案例研究，每个场景重复了10次。表1列出了使用DIDA的案例研究的所有平均结果，其中我们还计算了每种IDA或迁移案例中 DIDA 的平均准确率。表2列出了具有基线的相同案例研究。 如表1所示，DIDA 在所有场景中都取得了令人满意的结果，平均准确率为 96.55%。考虑到 IDA比传统UDA更具挑战性，诊断结果在所有场景中都令人满意。即使特征偏移和标签偏移 (A↔D-I2I) 非常大，我们的 DIDA 仍然具有高于 90% 的可接受分类准确率。 总体而言，我们的 DIDA 可以很好地适应具有不同特征和标签偏移的场景。相比之下，没有 DIDA 的基线显然无法胜任艰难的 IDA 任务，尤其是当源域数据集不平衡（I2B 和 I2I）时，其性能下降是不可接受的。这似乎表明，我们任务设置中极其严苛的标签偏移比所涉及的特征偏移更具挑战性。
此外，我们在图8中绘制了 DIDA 的结果，并得到了以下发现： （1）不同的IDA对泛化能力影响很大。在B2B中，只有特征偏移而没有标签偏移，因此我们的DIDA在此协议下获得了最佳的泛化能力，甚至在某些情况下实现了100％的跨域预测准确率。B2I在目标域中引入了不平衡分布，从而导致源域和目标域之间的标签偏移，这略微增加了预测的难度。这可能是由于不平衡分布的构造减少了可用样本的大小，并且阻碍了对目标域中 特征分布的估计。 相反，I2B在源域中引入了不平衡分布，因此带来了以下挑战：（1）有标记数据集的不平衡分布大大增加了监督学习的难度，（2）较少的标记数据增加了网络过度参数化的风险。最终，I2I 在源域和目标域中使用反向不平衡分布，产生极大的标签偏移，从而受到上述所有挑战。 （2）特征偏移的程度也会影响结果。这一点其实很明显，在之前许多仅涉及特征偏移的研究中也得到了体现。我们构建的六种迁移案例代表了不同程度的特征偏移，这是由于轴承运行条件的不同变化所致。B2B中特征差异最大的两种情况的性能略逊于其他四种情况。当标签偏移和特征偏移同时存在时，这种现象仍然存在，即更大的特征偏移进一步降低了已经被标签偏移削弱的准确性。 6 结论 针对IDA下的故障诊断挑战性任务，本文提出了一种深度不平衡域自适应框架，并介绍了其在多种工作条件下轴承故障诊断的实现。我们的DIDA有效地克服了源域和目标域上同时存在的特征偏移和标签偏移，以排除类不平衡分布干扰并减少域差异，从而提取更多判别性域不变特征。此外，我们设计了在实验数据集上模拟IDA的设置，并通过该设置进行了DIDA的案例研究。详细的比较研究验证了与最新方法相比DIDA的有效性和更高的准确性。进一步的研究充分验证了在IDA场景中DIDA设计的合理性和必要性。话虽如此，我们认为使用IDA进行故障诊断仍然值得更深入的研究。我们将进一步探索更复杂条件下的迁移特性，并在未来提供更多的理论工作。我们认为，提出更简单的解决方案比混合多种策略更有效。因此，直接衡量跨域特征偏移和标签偏移的指标将非常可取。我们也期待为IDA开展更多相关工作。
校核：李正平、陈凯歌、赵栓栓、赵学功、白亮、任超、海洋、冯珽婷、陈宇航、陈莹洁、王金、赵诚
该文资料搜集自网络，仅用作学术分享，不做商业用途，若侵权，后台联系小编进行删除
