近年来，迁移学习的研究受到越来越多的关注，特别是在滚动轴承和齿轮故障诊断领域。其中，基于最大均值差异（Maximum Mean Discrepancy，MMD）的方法多数迁移方法都使用到了均值来度量分布差异，本文作者钱泉博士提出了一种新的基于振动特性的分布对齐度量来增强差异表示能力。该论文发表于Mechanical Systems and Signal Processing 期刊，非常值得阅读！

论文链接：通过点击最左下角的阅读原文进行在线阅读及下载。

代码链接：

Tensorflow框架:

https://qinyi-team.github.io/2024/05/Variance-discrepancy-representation/；

Pytorch框架:

https://github.com/liguge/Variance-discrepancy-representation-pytorch

注：如果下载不了代码，文末有免费获取方法。

1 论文基本信息

论文题目：Variance discrepancy representation: A vibration characteristic-guided distribution alignment metric for fault transfer diagnosis

论文期刊：Mechanical Systems and Signal Processing

Doi：https://doi.org/10.1016/j.ymssp.2024.111544

论文时间：2024年

作者：Quan Qian, Huayan Pu, Tianjia Tu and Yi Qin

所属机构：

State Key Laboratory of Mechanical Transmission, Chongqing University, Chongqing 400044, People’s Republic of China;

College of Mechanical and Vehicle Engineering, Chongqing University, Chongqing 400044, People’s Republic of China

第一作者简介：钱泉，重庆大学机械工程专业博士研究生，中共党员，重庆大学在校生最高荣誉——学生年度人物获得者，长期从事于机械装备故障诊断与预测性维护，共发表国际知名SCI论文15篇，其中以一作发表中科院一区9余篇、中科院二区1篇、IF>10高水平论文3篇，谷歌学术累计被引380余次，累计影响因子110+；已经申请发明专利14项，其中以学生一作授权中国专利4项、公开中国专利5项和英国专利1项。

2 目录

1 论文基本信息

2 目录

3 摘要

4 引言

5 VDR分布对齐度量

5.1 对于MMD重新思考

5.2 VDR的定义

5.3 经验VDR

5.3.1 有偏VDR

5.3.2 无偏VDR

5.4 Student核函数

5.5 VDR模型

6 实验研究

6.1 基于轴承公开数据集的实验验证

6.2 基于2MW和3MW风电涡轮机轴承的实验验证

7 总结

注：本文只选中原论文部分进行分享，若想拜读，请下载原论文进行细读。

小编能力有限，如有翻译不恰之处，请多多指正~

3 摘要

基于最大均值差异（Maximum Mean Discrepancy, MMD）的领域自适应模型已被应用于故障迁移诊断。MMD使用希尔伯特空间中的均值来度量分布差异，但在某些情况下不能准确反映分布关系。同时，MMD的作用机理还有待于进一步研究。为此，提出了一种新的MMD方法，并从空间映射的角度对MMD的工作原理进行了理论探讨。本文提出了一种基于振动特性的分布对齐度量——方差差异表示（Variance Discrepancy Representation, VDR），该度量方法能够表达方差信息，以增强差异表示能力。本文建立了有偏和无偏的经验VDR，并推导了这两种统计量与真实的分布偏差之间的误差界，以保证VDR的可靠性。此外，设计了一种新的Student核函数，以保证VDR的鲁棒性和泛化能力。最后，构建了基于Student核的VDR故障诊断模型。在3个轴承数据集和涡轮机齿轮箱实际振动信号上的实验结果表明，与典型的、先进的故障迁移诊断方法相比，所提出方法具有优越性。

4 引言

深度学习的成果在很大程度上依赖于足够的标签数据和训练数据集与测试数据集之间的相同分布假设，这在真实的工程中无法实现。由于我们不允许机器长时间工作在故障或接近故障的状态，这会导致故障数据的收集是非常费力的。此外，定期维护也会加剧故障数据的缺乏。由于工作条件的变化、机械结构的不同、噪声环境的特殊性等因素，也不可避免地会产生分布差异。因此，一个优秀的故障诊断方法，应当需要很少或根本没有标签数据。

鉴于上述问题，基于领域自适应（Domain Adaptation, DA）的诊断方法提供了一种很有前景的解决方案，它可以通过消除两个领域之间的差异来将源域的先验知识迁移到不完整的目标域，以提高目标域的诊断准确性[11-13]。根据目标域标签信息的可用性，DA可以概括为三种类型：无监督DA，半监督DA和监督DA，其中无监督DA是最具挑战性和最受欢迎的。研究者探索了两个域的标签空间之间的关系的组合，封闭DA [14]，部分DA [15，16]，开放DA [17]和其他多个DA任务[18]。此外，根据目标和源域的数量，还生成了多目标封闭DA [19]，多源DA [20，21]和其他几个变体[22]。许多学者开始关注细粒度的类条件分布对齐（Conditional Distribution Alignment, CDA）[23]，以增强边缘分布对齐（Marginal Distribution Alignment, MDA）和CDA的域混淆能力。此外，许多联合分布对齐（Joint Distribution Alignment, JDA）的智能诊断算法，提出了更好地减小分布差距。此外，还建立了一些改进的JDA机制，以完善基于贝叶斯理论，从而获得更高的任务得分[18，24]。此外，为了提高类内紧致性和类间可分性，出现了基于判别度量学习的迁移故障诊断方法[25]。基于DA的诊断方法虽然具有很强的诊断精度提高能力，但每次新的诊断任务都需要从头开始训练，不能满足实际诊断的实时性要求。因此，提出了基于通用域泛化（Domain Generalization, DG）的方法来解决这个问题[26]，其中目标域数据在训练阶段不可用。与DA任务类似，根据数据主题的数量来研究各种DG任务。

显然，上述所有迁移学习方法成功的关键在很大程度上依赖于一个优秀的差异度量指标。通用度量可分为基于显式度量的分布差异和基于隐式度量的分布差异。前者主要包括MMD[27]和相关性对齐（Correlation Alignment, CORAL）[28]，可直接用于评估数据集偏倚。后者主要由

[29]和

[30]组成，它们由对抗机制间接执行[31，32]。

和

的测量原理分别基于单分类器判别和双分类器异或运算。

与基于度量的分布差异相比，基于对抗机制的方法难以达到纳什均衡，导致损失振荡和不稳定。MMD是显式分布对齐度量中最常用的，因为它具有出色的差异表示能力。然而，由于它是基于测量的差异的平均值，这导致在一些故障诊断案例它不能准确地反映分布的差异关系。具体地说，一维振动信号通常用作实现端到端诊断的输入，并且它们沿x轴近似沿着对称。通过对公开数据集不同正常轴承样本的概率密度函数可视化后可以看出，方差比平均值更能反映分布差异。虽然MMD可以通过空间映射扩大分布差异，但低维空间的差异表示能力差仍然限制了它的应用。

针对上述问题，本文提出了对MMD的新认识，并通过从低维到高维的空间映射，从理论上探讨了MMD的工作原理。首先在高维空间中构造一组能够表达方差信息的基。然后通过这些基向量扩展出一个希尔伯特空间。其次，基于核技巧提出了一种新的振动特征引导的分布对齐度量——VDR，以增强差异表示的能力，从而更好地实现领域混淆。此外，考虑到采集的振动监测信号通常服从长尾分布，甚至可能混杂一些异常样本，设计了一种新的Student核函数，以保证VDR的鲁棒性和泛化能力。最后，构建了基于VDR的DA故障诊断模型，实现了包括实验室轴承和实际风电涡轮机齿轮箱的故障迁移诊断。主要贡献和创新如下：

本文从空间映射的角度对MMD的工作原理进行了理论上的探讨，为分布式一致性度量的发展奠定了基础。
为了提高分布差异的表征能力，提出了一种基于自定义再生核Hilbert空间的振动特征引导VDR分布对齐度量。此外，推导了有偏和无偏的经验VDR统计量，并给出了这两种统计量与真实的分布差异的误差界。
针对目前常用的高斯核函数对具有长尾离散性的异常样本鲁棒性差的问题，提出了一种新的Student核函数。

5 VDR分布对齐度量

5.1 对于MMD重新思考

图2 空间映射的实例说明

MMD中的“最大值”一词来源于空间映射，它将低维样本空间中的数据点映射到无限维Hilbert空间中的数据点，然后计算两域的平均差异表示。为了直观地展示空间映射的物理意义，图2中示出了将二维空间映射到三维空间的空间映射。通过空间映射，三维空间中的数据点比二维空间中的数据点获得更好的差异表示。

其次，从理论上探讨了MMD中空间映射的工作原理。设

是一个Hilbert空间，

是它的共轭空间，对于每个有界线性函数

，存在唯一的

使得[37]：

根据上式可以知道，

中的任意函数都可以表示为在基上的投影，其中

和

可以看作是无限维向量。现在，如何找到

中的基集成为一个关键问题。核函数

具有简单的数学运算性质，可以通过参考文献[38]满足上述要求：

基于上式，我们可以用

作为基的集合来生成Hilbert空间

，称为再生核Hilbert空间（RKHS）。因此，RKHS中的函数

可以表示为：

因此，低维原始样本空间中的数据点x通过函数被映射到无限维RKHS中，

意味着内核有一个固定在x的变量。核函数可以将低维样本空间的数据点转化为RKHS空间的数据点，从而实现空间映射。

MMD通过空间映射获得RKHS上两域的样本映射的平均差异表示。进而得出不同核函数所生成的RKHS具有特定物理意义的结论，为研究其他统计量的差异表示提供了理论保证和良好的指导。

5.2 VDR的定义

如引言部分分析，故障监测信号的方差表示比均值表示更有意义。虽然MMD可以通过高维空间映射来提高线性可分性，但它仍然存在差异表示不佳的风险。因此，我们探索了RKHS中一种新的分布对齐度量，称为VDR。

通过上一小节的结论，可以通过以下基

构造一个新的RKHS

，它可以反映方差信息：

然后，VDR度量定义如下：

VDR的平方用于方便地计算公式(14):

根据两个希尔伯特空间的张量积

仍然是另一个希尔伯特空间

，通过内积的双线性可以得到以下等式：

其中，

和

，从上式中可以看出，VDR的工作特性也像MMD一样简单。

5.3 经验VDR统计量

5.3.1 有偏VDR统计

给定m个数据样本

，并且在

中有n个数据样本

，则有偏VDR是两个V统计量和样本平均值之和。

根据VDR的工作特性和可以得到：

类似于以及可以分别表示为：

可以看出，这些式子完全依赖于VDR的数学性质。这也揭示了为什么我们在方程中使用张量积，而不是直接定义方差形式（点积）。

5.3.2 无偏VDR统计

无偏VDR统计量是两个U统计量和一个样本平均值的总和。

应当注意，考虑VDR的工作特性中的平均值，上式减去一个自由度。

尽管无偏VDR统计与有偏VDR统计相比不具有系统误差，但以下不等式可以成立：

因此，当数据样本相对充足时，建议使用有偏VDR统计量来衡量两个域之间的分布差异。反之亦然，当数据样本有限时，更推荐无偏VDR统计量，以减少经验误差。

作者在此处进行了有偏和无偏统计量的经验误差界理公式推导，建议读者下载文章仔细阅读哦！

5.4 Student核函数

从上一章节中经验VDR统计量的定义，可以看出核函数

对于VDR的差异表示很重要。常用的高斯函数对异常样本和长尾分布的鲁棒性较差。然而，由于噪声干扰、人为操作误差等因素的影响，这种情况在实际中总是存在。

图3 模拟信号的分布拟合: (a) N(0, 1); (b) N(0, 1)+N(10, 0.1)

为了更好地说明问题，图3绘制了模拟信号的分布拟合，其中信号用高斯分布

模拟，异常干扰用

模拟。从图3(b)中可以观察到，当信号离开干扰时，Student分布比高斯分布更有鲁棒性。

为此，Student内核函数由Student分布设计和激励，即：

其中，

是自由度，

是伽马函数，可以表示为：

显然，当

固定时，可以精确地计算

。

5.5 VDR模型

图4 基于VDR的诊断模型

如图4所示，基于VDR的DA诊断模型采用一维卷积神经网络作为主干网络来提取故障特征。为了节省计算资源，所有的优化损失都放在最后一个全连接层。

本文研究的是一般情境，即无监督域自适应，其中只有源域数据有标签。SoftMax交叉熵损失在源域上工作，通过监督学习获得区分特征。提出的有偏VDR分布对齐方法也就是VDR损失来缩减两域之间的差距。

6 实验研究

6.1 基于轴承公开数据集的实验验证

作者使用了CWRU，JNU和SEU三个轴承公开数据集，以及几个常用的基于分布对齐度量的智能诊断模型被用作比较方法来评估VDR的有效性和优越性，其中包括基于

距离的DANN [31]，基于

距离的MCD [32]，基于CORAL距离的DCORAL [46]和具有高斯核的基于MMD距离的DDC [47]。

6.2 基于2 MW和3 MW风电涡轮机轴承的实验验证

图11 实际2 MW风力涡轮机的传动结构

图13 实际3 MW风力涡轮机的传动结构

为了进一步评估所提出的VDR分布对齐度量的有效性，作者使用了2 MW风力涡轮机齿轮箱轴承(Wind Turbine Gearbox Bearing, WTGB)和3MW风力涡轮机变速齿轮箱轴承的实际振动信号进行验证。

作者在文中进行了充分的对比实验和消融实验，建议读者下载文章仔细阅读哦！

6.3 局限性和未来工作

所提出的VDR度量与Student核的验证，只有封闭的迁移诊断任务。在实际工程中，源域和目标域之间的标签空间关系是不可预测的，也可能是开集和部分集。另一方面，VDR优良的差异表示能力主要取决于方差统计量。然而，方差统计量不一定适用于电流、电压、温度等其它监测信号，这两个局限性极大地限制了VDR的工程价值和应用潜力。在未来的工作中，我们将针对其他监测信号的特点，设计一种更通用的分布对齐度量，并将该度量与基于均值的度量相结合，以增强故障迁移诊断任务中的差异表示能力。

7 总结

本文从空间映射的角度，对MMD的工作原理进行了理论探讨。然后，提出了一种新的VDR分布对齐度量，该度量能够表达方差信息，以提高差异表示能力，实现域混淆。在有限样本条件下，给出了有偏和无偏VDR统计量及其误差界，以供真实的应用。此外，提出了一种新的Student核函数，以帮助VDR消除异常样本的干扰，获得良好的鲁棒性。基于Student核的VDR模型在6个交叉方位迁移任务中的平均诊断准确率超过87%。最后，利用实验室轴承数据集，将该方法成功应用于实际涡轮机齿轮箱轴承故障诊断。实验表明，该方法比其他分布式对齐度量方法具有更强的迁移诊断性能。值得注意的是，VDR可以很容易地扩展到其他DA任务中，例如多源DA、开放DA和部分DA。

免费获取方法

点击1次文末广告，对本文点赞+在看，发送截图至后台，即可免费获得链接（代码+论文）。由于是人工发送，不一定及时发送，最晚24h内发送。

客官，球球再点个广告，再走吧~

编辑：曹希铭

校核：李正平、陈凯歌、赵栓栓、赵学功、白亮、陈少华、任超

该文资料搜集自网络，仅用作学术分享，不做商业用途，若侵权，后台联系小编进行删除

点击左下角阅读原文，即可在线阅读论文。

来源：故障诊断与python学习

UG