首页/文章/ 详情

故障诊断开源代码推荐 | 一种增强型半收缩小波权值初始化网络(EWSNet)

1年前浏览6949

针对故障诊断领域开源代码较少,小编整理搜集了一些开源代码与大家进行分享。本期分享的是北京交通大学何超博士提出的一种增强型半收缩小波权值初始化网络(EWSNet)。该论文是2023年发表在Journal of Manufacturing Systems上的,提供有该网络的开源代码,即插即用,且抗噪性能不错,因此这篇开源代码适合参考借鉴并在上面进行改进,适合具备一定的深度学习基础知识的学习者。

代码链接https://github.com/liguge/EWSNet

1 论文基本信息

论文题目Physics-informed interpretable wavelet weight initialization and balanced dynamic adaptive threshold for intelligent fault diagnosis of rolling bearings
论文期刊Journal of Manufacturing Systems
论文时间:2023年
作者:Chao He(a, b) and Hongmei Shi(a, b) and Jin Si(c) and Jianbo Li(a, b)
机构

a School of Mechanical, Electronic and Control Engineering, Beijing Jiaotong University, Beijing 100044, China

b Collaborative Innovation Center of Railway Traffic Safety, Beijing 100044, China

c Key Laboratory of Information System and Technology, Beijing Institute of Control and Electronic Technology, Beijing 100038, China

史红梅,北京交通大学教授,博士生导师,机电学院副院长,长期从事轨道交通安全检测技术研究,主持和参加科研项目50余项。研究方向包括:机电液系统先进控制、智能检测与故障诊断、载运工具及基础设施检测与控制、智能制造与智能运维等。

2 摘要

基于深度学习的滚动轴承智能故障诊断方法取得了前所未有的进展。然而,对于权值初始化和降噪阈值设置的研究还很少。提出了一种新颖的深度三流网络EWSNet(Enhanced Semi-shrinkage Wavelet weight initialization Network),提出了一种小波权值初始化方法和一种平衡动态自适应阈值算法。首先设计了一个增强的小波基函数,并定义了尺度平滑因子以获得更合理的小波尺度;其次,提出了一种即插即用的深度神经网络小波权重初始化方法,该方法利用了物理信息小波先验知识,具有更强的适用性。建立了平衡动态自适应阈值,增强了模型的抗噪鲁棒性。最后,设计了归一化激活映射,从视觉角度而不是实验结果来揭示Z-score的有效性。通过四个数据集,在恒定和波动速度条件下,验证了EWSNet的有效性和可靠性。

关键词卷积神经网络;小波权值初始化;连续小波变换;平衡自适应阈值;规范化激活映射;可解释故障诊断

3 目录

1 论文基本信息

2 摘要

3 目录

4 引言

5 预备知识

5.1 小波卷积层和残余收缩块

5.2 FAM和TGAM

6 增强型半收缩小波权值初始化网络(EWSNet)

6.1EWSNet故障诊断方法流程

6.2 小波加权初始化方案

6.2.1 增强的小波卷积层

6.2.2 小波权值初始化

6.2.3 多类型EWConv和多通道EWConv

6.3 平衡动态自适应阈值(BDAT)

6.4 三流EWSNet

6.5 规范化激活映射(NAM)的可解释性

7 案例分析与讨论

7.1 案例分析

7.1.1 匀速工况

7.1.2 变速工况

7.1.3 北京交通大学数据集

7.1.4 抗噪鲁棒性

7.2 讨论

7.2.1 小波权值初始化

7.2.2 平衡动态自适应阈值

7.2.3 归一化策略

7.2.4 消融实验

7.2.5 多类型EWConv和多通道EWConv的分析

8 模型可解释性分析

8.1 小波权值初始化的内在可解释性

8.2 EWSNet的后验可解释性

9 结论及未来工作

10 README.md

注:本文只选中原论文部分进行分享,若想拜读,请下载原论文进行细读。

4 引言

前人鼓舞人心的成果为这一领域带来了巨大的贡献。还存在一些需要注意的问题:
(1)  以小波核作为特征提取器,偏重于应用,缺乏针对性的分析和改进。由于一些小波基函数包含指数分量,导致小波值的分布距离较大,不利于训练。如何缩小差距,使这些因素趋于一致,是一个需要解决的问题。
(2)  常用的Kaiming、Xavier等初始化方法更适合图像数据。据我们所知,IFD(intellegent fault diagnosis)领域缺乏定制的权重初始化方法。
(3)  软阈值和硬阈值各有其局限性,其中硬阈值函数不连续,软阈值函数容易丢弃高频信息。因此,在不增加太多模型复杂性的情况下平衡它们是必要的。
(4)  对于后验解释,FAM(Frequency Activation Mapping)仍然有缺点,因为它们只适用于精心设计的模型。同时,这些后验可解释是对预测结果的反向推理,以提高模型的可解释性。然而,很少有研究关注对预处理信号的解释,即前向推理。
为了解决上述问题,本文提出了一种新型的通用深度三流网络EWSNet,该网络在不增加网络层的情况下初始化第一层卷积核的权值。具体而言,将基于信号处理的改进小波字典作为先验知识。WDCNN表明,第一层卷积对模型的鲁棒性至关重要。为了降低噪声干扰,设计了平衡动态自适应阈值(BDAT, Balanced Dynamic Adaptive Threshold)。此外,FAM还扩展到数据预处理的可视化解释,称为规范化激活映射(NAM, Normalization Activation Mapping)。时序梯度激活映射(TGAM, Time-series Gradient Activation Mapping)解释了热图对EWSNet的可解释性。
主要研究成果如下:
(1)  提出了一种新型的轴承故障诊断三流网络,该网络嵌入了小波信号处理技术和阈值降噪算法,提高了EWSNet在匀速和变速工况下的鲁棒性。
(2)  设计了一种改进的小波基函数,并定义了尺度平滑因子,使小波变换中的尺度因子与平移因子保持一致,使小波变换具有更好的可解释性和可训练性。
(3) 设计了一种即插即用、可解释的权值初始化方法,利用上述增强的小波基函数对第一卷积层的权值进行初始化,使模型具有较好的外推能力,比Kaiming、Xavier初始化等传统初始化方法更适合实际工业场景的应用。
(4)  设计了一种可微阈值降噪校正系数。在训练过程中,通过自适应调整该参数实现软硬阈值的自动权衡,使模型具有更好的泛化能力,同时减轻了手工制作的超参数的干扰。
(5) 提出了一种可解释的归一化激活映射机制来揭示Z-score预处理的有效性。通过NAM将Z-score处理后的信号表示为视觉形式,证明了它可以增强原始信号的频域信息。
利用分别来自江南大学(JNU)、西安交通大学(SQV)、凯斯西储大学(CWRU)和北京交通大学(BJTU)的四个轴承数据集验证了EWSNet的有效性。本文的其余部分如下:
  • 第二部分主要关注之前的工作;
  • 在第3节中,详细讨论了EWSNet;
  • 第4节通过实验和分析证明了EWSNet的优越性能;
  • 第5节将讨论模型的可解释性;
  • 第6节中形成了结论和进一步研究的建议。

5 预备知识

5.1 小波卷积层和残余收缩块
在原始卷积的基础上形成小波卷积(WConv, Wavelet convolution),原始卷积的输出为:
       (1)
其中    和    分别表示权重和偏差。    为原始信号。
在时域内,小波基本字典为    :
     (2)
式中,    为小波基函数,𝑡为时间,𝑠为尺度因子,𝑢为平移因子,𝑠和𝑢为动态自适应参数,完全可微。小波卷积    的构造如下:
       (3)
在图1(a)中,残余收缩块利用SE获取自适应阈值𝜂,如式(4)用于设置软阈值进行去噪。将修正系数α插入到图1(b)中的公式(4)中。
       (4)
式中,    为小波系数。
图1 收缩块和半收缩块

5.2 FAM and TGAM

FAM基于提取的特征和分类权值之间的关系来可视化频域信息。频率映射    定义为:
       (5)
其中    表示功率谱,而    表示最后一个卷积层的输出,𝑘为通道。
FAM表示为频率图    的加权和
       (6)
这里𝑐是样本类,    表示全连接层的权重。
TGAM[29]表示一维的Grad-CAM++。Grad-CAM++是为图像数据设计的,不适合一维时间序列信号。TGAM计算特征映射的重要性      
       (7)
其中𝐾表示通道数,𝑐表示目标类别,𝑙表示时间位置,    表示SoftMax函数的值,    表示特征层激活图的值,    表示梯度的权重。
得到的类梯度激活值如式(8)所示。
       (8)
其中interp()表示为线性插值。

6 增强型半收缩小波权值初始化网络(EWSNet)

6.1 EWSNet故障诊断方法流程

故障诊断的工作流程如图2所示,其中实线表示训练过程,虚线表示测试过程。首先,用采集设备采集原始信号,用Z-score对样本进行归一化处理。然后,对训练集、验证集和测试集进行分割。然后构造EWSNet,将首层卷积权值初始化为小波权值。训练完成后,保存训练好的模型参数。最后,在有限样本条件下对模型的性能进行了评价。

图2 EWSNet故障诊断方法流程

6.2 小波加权初始化方案

6.2.1 增强的小波卷积层

输入通道被表示为    。输出通道表示为    ;卷积核大小表示为𝐾。
剖析wavetkernelnet的理论,可以注意到,除了参考文献[7]中提到的,WConv还需要遵循几个准则
(1)      。𝑠、𝑢是大小为    的等差数列,说明通道变换与𝑠、𝑢相关,卷积核的通道可以表示一个小波基函数;
(2)  𝑡∈(0,𝐾−1),大小为𝐾的等差数列,表示卷积核的一个单位表示一个时间步长;
(3)  需要判断小波基函数的对称性来构造时间尺度𝑡。
以    ,     , 拉普拉斯小波为例,构造了增强小波卷积(enhanced wavelet convolution, EWconv)。由于原始信号属于实数信号,故采用实数拉普拉斯小波基函数[33]:
     (9)
其中𝑓为采样频率,𝜉为粘滞阻尼比。    是一个小波归一化函数。    表示时间参数。
实际的拉普拉斯小波字典(LWdic, Laplace wavelet dictionary)     可由Eq.(2)和Eq.(9)计算:
     (10)
可以注意到𝑠和𝑢的取值范围并不一致。因此,将    替换为    ,并引入尺度平滑因子𝜁:
     (11)
如图3(a)和3(d)所示,波动较大的小波值范围不利于优化,因此需要用四个激活函数处理指数分量:    、    、    、    。
     (12)
     (13)
     (14)
     (15)
例如,将Eq.(12)代入Eq.(11),得到增强的拉普拉斯小波可以表示为:
    (16)
图3(a)显示了根据3.2.1节第2段中的规则构建的LWdic。在图3(a)中,单位卷积核代表单位时间,但是,    的规律性很小。因此,LWdic极限𝑡∈(0,1),但单位卷积核不再代表单位时间,因此失去了物理意义(图3(b))。从图3(a)到3(e),当𝑡∈(0,𝐾)时,采用    和    可以更好地满足正则性和稀疏性(图3(e)),并且3(f)比图3(e)增加了一个尺度平滑因子。此外,图3(f) ~ 3(i)分别是由激活函数    ~    构建的增强LWdic。
图3 拉普拉斯小波字典

6.2.2 小波权值初始化

WConv的主要目的是建立一个物理先验小波核,通过反向传播自适应调整参数,从而推断出最优的小波核。
微调用更少的样本重新训练预训练参数,以获得比直接在下游任务中训练更好的结果,这是一种构造先验嵌入卷积权值的思想。
本文通过将增强的WConv层转换为小波权值初始化,将原始权值嵌入到先验物理知识中,有利于提高训练速度,更好地与模型配合。将基于信号处理的修正小波字典先验知识作为神经网络的权值初始化。
本文在提出的小波权值初始化中构造了5个小波基函数,分别是Laplace、Morlet、Mexican Hat、Gaussian和Shannon,见式(9)、(17)∼(20)。
     (17)
    (18)
    (19)
    (20)
在式(2)中,      的初始化方法一般有随机初始化、kaiming初始化和Xavier初始化,主要针对图像相关字段设计。然而,目前研究缺乏专门针对故障信号的初始化方法。显然,本文提出的小波初始化将填补这一空白。特别是    。小波初始化方法的效果特别好。
算法1提供了CNN权值增强小波权值初始化的伪代码。

6.2.3 多类型EWConv和多通道EWConv

Wconv的输入通道通常被限制为一个通道,具有单一的小波基函数。为了获取更多的信息,我们提出了多类型多通道EWConv,如图4所示。在第一步,多通道WConv从WConv改进而来,其中    重复操作    次数为    。然后,Multi-type EWConv组合了各种小波核,其中    表示每个通道包含两种小波核,    表示正向的    通道是一个小波核,反向的    通道是另一个小波核。
图4 左侧为“Multi-type EWConv”,右侧为“Multi-channel EWConv”

6.3. 平衡动态自适应阈值( (BDAT)

如图1(b)所示,特别考虑自适应阈值校正系数,将校正系数    插入到原始软阈值Eq.(4)中,如下所示
    (21)
其中    和    可微分    。当    或1时,Eq.(21)分别退化为硬阈值和软阈值,我们可以适当调整    使    其更接近真实的小波系数。
根据上述BDAT和Adam,参数更新如下:
     (22)
其中,    表示学习率。
我们不寻求解决硬阈值不连续,但解决软阈值系数。当    或1时,将单独讨论。

6.4 三流EWSNet

EWSNet的具体结构如图5所示,取以    ,    和𝐾= 250为例进行说明。
WDCNN表明,第一个卷积层对模型的鲁棒性至关重要[34]。因此,第一卷积层的权值被限制为小波权值Branch_1进行小波BDAT去噪Branch_2集成4个非线性激活层提取高频特征Branch_3提取低频特征。简而言之,多流聚集了多尺度特征,促进模型具有更丰富的特征
在前向传播过程中,对三个分支提取的特征进行线性求和融合:
     (23)
其中    ,    ,    分别为Branch_1, Branch_2, Branch_3三个分支提取的特征。    为融合特性。
最终,利用Adam优化器的反向传播过程可以写成:
      
其中𝜃1,𝜃2,𝜃3表示三个分支的参数集,𝐿表示交叉熵损失。
在可解释性方面,第一个卷积核被约束为小波权值,其中Branch_1构成小波BDAT去噪模块。TGAM直观地解释了EWSNet。
图5 三流EWSNet的具体结构

6.5 规范化激活映射(NAM)的可解释性

数据归一化可以加速收敛过程。Z-score也使CNN获得了更好的准确率[35]。与实验方法不同,我们注意到Z-score增强了信号的频域信息,使CNN可以更好地学习这些特征。FAM利用分类层的权重和提取的特征来说明频域信息,但它不能揭示归一化方法的影响。因此,在NAM中,正确标签的权值为1.0,特征是经过归一化方法处理的信号,可以直观地看出哪种归一化方法拥有更多的频域知识。由式(25)定义NAM为:
      
在𝑙𝑟𝑒𝑎𝑙才是真正的标签和𝑙𝑡𝑎𝑟𝑔𝑒𝑡测试标签。
以JNU(800 r/min)数据集和SQV数据集为例,图6和图7显示了四种归一化方法的效果,分别为
  • 𝑔1:[0,1]归一化;
  • 𝑔2:最大值归一化;
  • 𝑔3:[−1,1]归一化和;
  • 𝑔4:Z-score。
纵坐标为故障类型,横坐标为故障类型对应的频率。颜色映射表示能量的大小。无论速度是恒定的还是急剧变化的,与未处理的样本(图6(a)和7(a))相比,Z-score可以增强频域信息的强度(图6(e)和7(e))。
对于速度波动的其他归一化方法(图7(b)~7(d)), Z-score的特征最为丰富。对于SQV,在轻度和中度内圈故障条件下,原始信号的频率特征是明显的。但在使用Z-score后,正常状态(12,25,62Hz)、轻度内圈故障(8.6~8.7kHz)、中度内圈故障(12.3~12.5kHz)、重度内圈故障(12Hz)、轻度外圈故障(12Hz,8kHz)、中度外圈故障(4kHz,7.9~8.1kHz)和重度外圈故障(12,25,37Hz)的特征都更为明显。然而,正常状态和重度故障的频率比较接近,可能导致错误的故障分类。
图6 JNU中的规范化可视化
图7 SQV中的规范化可视化

7 案例分析与讨论

7.1 案例分析

我们使用小波核网(wavelet - kernelnet, RWNet)[7]、DRSN-CW[15]、DRSN-CS[15]、DCA-BiGRU[29]、FAM-CNN (FCNN)[31]、vanilla CNN(vCNN)进行比较,它们的结构与已发表的论文相同,只是为了输入不同的样本量而做了一些调整。此外,EWSNet的第一个卷积层是用小波权值初始化的,vCNN与EWSNet具有相同的卷积层。wavetkernelnet和EWSNet都采用拉普拉斯小波。损失函数采用标签平滑正则化(LSR, label smoothing regularization)。定义参数:    ,    [7],batch_size = 16。采用提前停止以减轻过拟合。为了保证算法的稳定性,所有方法都进行了5次实验。

7.1.1 匀速工况

JNU的采样频率为50 kHz,有三种不同的速度(600、800和1000 r/min)。轴承的状态分为正常状态(NC)、内圈故障(IF)、外圈故障(OF)和滚动体故障(BF),分别对应于标签0、1、2、3。研究了600 r/min(数据集A)800 r/min(数据集B)的情况。使用滑动窗口,样本长度为1024,然后用Z-score进行规范化。每个状态有200个样本,而训练样本从10到80,步长为10。𝜁的参数为−0.3。
与数据集B相比,数据集A包含更强的噪声,如图8(A)和8(B)所示,在各种模型下精度都有所下降。DCA-BiGRU是最糟糕的,因为它主要使用小卷积核,所以不能处理强噪声。而在双流分支中采用小波权值初始化,提高了6%。在数据集A中,FCNN的准确率在60% ~ 70%之间,鲁棒性较差,未进行小波权值初始化的vCNN在有限样本下的准确率不如EWSNet。由于BDAT去噪模块和小波权值初始化,EWSNet具有最高的精度。即使在每类训练样本量为10的情况下,它也达到了90.39%,比vCNN提高了约10%。对于数据集B中信号特征显著的情况,ESWNet可以提高大约4.5%。此外,基于软阈值(DRSN)的方法优于基于小波卷积层(RWNet)的方法。
实验步骤与上面描述的相同,80个用于训练,100个用于测试。与其他初始化方法的实验结果对比如表1所示。在经典模型中,尤其是在一些简单的经典模型(LeNet和AlexNet)中,小波权值初始化效果最好。
表1 不同初始化方法的比较(%)
7.1.2 变速工况

SQV[38](数据集C)的试验台如图9(a)所示,主要由电机、转子和负载三大部分组成。数据集采集自电机轴承型号NSK6203,采样频率为25.6 kHz。同时,在速度的连续变化过程中获取SQV数据集,其中包含了从静止状态逐渐加速到3000 rpm,然后保持稳定,最后逐渐减速到0的完整加速和减速过程。如图9(b)所示,除正常状态(N)外,还模拟了6种故障状态,分别为轻度内圈故障(IF_1)、中度内圈故障(IF_2)、重度内圈故障(IF_3)、轻度外圈故障(OF_1)、中度外圈故障(OF_2)和重度外圈故障(OF_3)。数据预处理后的频域信息如图7所示,样本长度为2048,𝜁= 0.1。
如图8(c)所示,FCNN的性能最差。此外,当样本量为10 ~ 30时,EWSNet的准确率比vCNN下降了约1%,而当样本量为40 ~ 60时,EWSNet的准确率提高了约2%,并且始终优于DRSN。

7.1.3 北京交通大学数据集

如图2所示,BJTU数据集来自双跨双转子故障实验平台,型号为NSK6308深沟球轴承。采样频率为10kHz,速度为900rmp/min。在数据集D中,模拟了内圈失效、外圈失效、滚动体失效和正常四种状态(如图2所示),𝜁= 0.5。
从图8(d)中,一方面,当每个类有10个样本时,EWSNet达到了最大的96.5%,比不使用小波权值初始化的情况提高了1.5%。软阈值层的性能略优于基于ResNet的小波卷积层。小波权值初始化与BDAT的结合优于仅使用一种策略的SOTA模型。
另一方面,随着样本量的增加,模型之间的性能差距变得越来越小。在表2中,EWSNet可以大大缩短训练时间,大约比更复杂的模型(如DRSN)快3 ~ 10倍。训练速度比vCNN快3.5 s左右,说明小波权值初始化更有可能驱动神经网络更快收敛,更适合处理原始信号。
在Eq.(16)中,不同的尺度平滑因子𝜁对模型有重要的影响。根据表3,我们考察了不同𝜁在训练集为20时的效果。当𝜁= 0.5时达到99.75%,因为适当的尺度平滑因子可以构造更合适的小波尺度来构建权重初始化
图8 不同模型的性能
图9 数据采集平台及模拟故障轴承
表2 样本量为80时模型的训练时间
表3 不同情况下的精度
图10 不同模型在噪声条件下的性能

7.1.4 抗噪鲁棒性

CWRU数据集已被广泛应用于各种算法的验证[37]。采集10个状态,采样频率为12kHz。训练集和测试集的比例为7:3。EWSNet、RWNet和DRSN-CW分别在高斯噪声、拉普拉斯噪声和粉红噪声条件下进行抗扰性测试,信噪比为- 6 dB ~ 4 dB:
      
其中,    为原始信号功率,    为噪声功率。
从图10可以看出,RWNet的性能较差,因为提取的时频信息中含有较多的噪声。EWSNet采用小波权值初始化和BDAT,能有效滤除噪声。此外,低信噪比的拉普拉斯噪声对模型的干扰更大。然而,从图10(b)中可以看出,拉普拉斯小波权值初始化(EWSNet-L)对拉普拉斯噪声的关注不够,甚至可能比SNR为- 6的Morlet小波权值初始化(EWSNet-M)更渐进。

7.2 讨论

7.2.1 小波权值初始化

表4中,A表示数据集A, C表示数据集C,建立了五种小波权值初始化。拉普拉斯和Morlet小波权值在提取匀速数据集的特征方面具有优势,在匀速数据集中,它们对样本量不太敏感。当样本量为10时,其余三个小波基函数方法的准确率均在86%以下,且无法保留信号特征。对于SQV,样本量对模型的影响最为显著。结合图8(c),当样本量较大时,高斯小波可以更好地提取特征。然而,对于第一层卷积核,样本较少,小波权值初始化相对于随机权值初始化改善不大。
表4 不同样本下不同小波基函数的表现(%)

7.2.2 平衡动态自适应阈值

选取数据集A,每类有40个训练样本,160个测试样本,五种阈值方法的性能如表5所示。(无特别说明,训练和测试样本与上述数据划分保持一致。)
通过插入校正参数𝜂,BDAT可以更好地平衡硬阈值和软阈值,使估计的    更接近真实的    。此外,引入自适应斜率的参数    ,不能有效地消除噪声,其性能不如软阈值。自适应校正因子    仅添加到𝜂。

7.2.3 归一化策略

表6给出了各种归一化方法下各种小波函数的性能,其中    表示不归一化。
总体而言,拉普拉斯小波、Morlet小波和Shannon小波具有较高的诊断效率,且性能差距不大恒速下,归一化拉普拉斯小波权值初始化更有利于提取有效信号特征,比    提升4.5%左右,收敛速度更快,但Mexican Hat小波和Gaussian小波可能无法生成有利于EWSNet的权值。对于SQV,    归一化Gaussian小波权值初始化的EWSNet达到98.04%,但需要更多的训练时间。
表6 不同映射函数对不同小波基函数的影响

7.2.4 消融实验

对拉普拉斯小波权值初始化进行了消融实验。
从表7可以看出,每次修改都可以提高EWSNet的性能。对于恒速,当单位时间𝑡代表单个卷积核时,EWSNet表现出色,这表明单个卷积核更有效地从原始信号中保留了更多的信息。在速度变化较大的情况下,将缩放因子𝑠改为    ,可以提高2.59%。Sigmoid提高了3.39%,使用(d)策略提高了2.23%。综上所述,当构造的卷积核具有物理意义时,更能提取有效特征,降低神经网络的训练难度。同时,结合优化策略可以提升收敛速度(如归一化方法)。
表7 各种改进部件的消融实验
如图11所示,几种方法在EWSNet和ResNet上的性能比较:
  • 方法1:使用拉普拉斯小波卷积层;
  • 方法2:将拉普拉斯小波卷积层转化为拉普拉斯小波权值初始化;
  • 方法3:引入增强拉普拉斯小波卷积层;
  • 方法4:本文提出的增强拉普拉斯小波权值初始化。
对于EWSNet和ResNet,小波权值初始化保持了物理先验知识,比小波卷积更适合提取基本信息,提高了精度。方法1和方法2表明,用小波权值初始化代替小波卷积层可以显著提高性能。与方法1和方法3相比,在使用小波卷积层的情况下,增强拉普拉斯小波卷积提取信息的能力更强。综上所述,所提出的小波权值初始化方法具有普遍适应性。
图11 EWSNet和ResNet的性能

7.2.5 多类型EWConv和多通道EWConv的分析

对多类型、多通道EWConv进行了研究。表8显示了不同方案的性能。
  • 方案Ⅰ表示仅在第一层采用增强拉普拉斯小波权重初始化;
  • 方案Ⅱ是对所有卷积层都采用增强的拉普拉斯小波权值初始化,很大程度上类似于Algorithm Unrolling [6];
  • 方案Ⅲ方案Ⅳ采用Morlet小波;方案V表示第一卷积层采用拉普拉斯小波与Morlet小波拼接的核,如图4(a)所示;
  • 方案VI表示采用连接Laplace和Morlet通道的核,如图4(b)所示。此外,建立了两种特征融合方法,其中方案VII是将拉普拉斯和Morlet小波权值提取的特征融合;
  • 方案VIII是将拉普拉斯和Morlet小波卷积层提取的特征融合。
表8 不同小波核设计方案的性能比较
除了方案II和方案IV,其他方案只处理第一层卷积。方案VI可以达到最好的精度,证明混合小波比单个小波具有更好的特征提取能力。在等速条件下,所有卷积核都使用小波权值,不利于提取有用信息。值得注意的是,Morlet小波的精度下降了6.09%(方案四),表明小波权重可能不擅长挖掘深度信息。
对于SQV数据集(数据集C),大多数用小波权值初始化的卷积获得了出色的性能。这是因为数据由于连续的速度变化而具有紧密而复杂的脉冲。小波加权能较好地把握从浅到深的特征信息。将方案VII和方案VIII与方案VI进行比较,方案VI提取的特征比方案VII更有效。
方案V性能较差,表明每个通道包含Laplace和Morlet等两种核,破坏了连续小波变换中只涉及一种小波的物理原理,并且由于stride的存在,有些信号点只能与一种小波进行卷积,有些信号点可以与两种小波进行卷积,导致特征混淆,从而导致识别精度下降。相比而言,高性能的Scheme VI(称为多通道EWconv)没有遇到这个问题,它对前侧的二进制操作(𝑘)通道进行拉普拉斯小波卷积,对后侧的二进制操作(𝑘)通道进行Morlet小波卷积,提取了更丰富的表示特征,有助于提高识别精度。

8 模型可解释性分析

8.1 小波权值初始化的内在可解释性

小波权重初始化和随机权重初始化如图12所示。每个图包含训练前(蓝色)和训练后(橙色)的小波权重。由小波权值初始化的卷积核将信号变换成多尺度频带,并自适应学习更多与故障相关的特征。
经过训练后,拉普拉斯小波权重调整最小,说明拉普拉斯小波权重更接近最优小波权重(图12(a))从训练前后小波权值的一致性来看,拉普拉斯小波、Morlet小波和Shannon小波具有较好的一致性,不需要进行大量的调整。但Mexican Hat小波和Gaussian小波需要更大的调整。
图12 训练前后EWSNet的小波权值初始化

8.2 EWSNet的后验可解释性

图13和图14显示了数据集A和数据集C的结果分别用TGAM可视化。蓝色表示EWSNet的关注度较低。相反,红色表示强烈的注意力它们显示了原始信号不同区域的集中程度。
图13 JNU不同故障分类权值的可视化
图14 SQV中不同故障分类权值的可视化
从数据集A来看,NC的主要焦点是“峰凹”脉冲,而IR的主要焦点是“峰凸”脉冲对于OR,主要的重点是第一个较短的脉冲对于BF,主要关注的是脉冲后的区域
对于数据集C来说,IR故障的振动幅值较为稳定,而OR故障的振动幅值则有上升和下降的趋势。此外,重度故障包含更集中的蓝色 区域。EWSNet主要关注负方向的峰值阈值,以及中度外圈故障(OF_2)。如IF_1负方向的峰值被映射为红色,说明EWSNet对这部分的关注,这是确定故障分类的依据之一。
(注:负方向的峰值个人理解为为负数的峰值)

9 结论及未来工作

本文提出了具有泛型和物理可解释性的先验嵌入小波权值初始化方法,可广泛应用于基于CNN的第一卷积层权值初始化。针对滚动轴承,在速度恒定或变速的条件下,利用不同的数据集研究了各种小波权值初始化策略的性能。此外,本文还提出了一种平衡动态自适应阈值算法,该算法在实验中取得了较好的效果。综上所述,本研究表明,在未来用于故障诊断的骨干网络中,不仅需要宽卷积核,还需要本文提出的小波权值初始化的支持。下列问题值得进一步审议。首先,小波权值初始化对𝜁很敏感,不合适的𝜁可能导致结果不稳定,如何通过计算获得合适的参数是一个难题。此外,本文主要关注轴承,未来的研究可以扩展到其他旋转机械,如齿轮箱或轴。最后,小波权值初始化对迁移学习的影响将在未来进一步研究。

10 README.md

Highlights

 A novel deep triple-stream network called EWSNet is proposed for fault diagnosis of rolling bearings under the condition of constant or sharp speed variation.
 An enhanced wavelet convolution kernel is designed to improve the trainability, in which a scale smoothing factor is employed to acquire rational wavelet scales.
 A plug-and-play and physics-informed wavelet weight initialization is proposed to construct an interpretable convolution kernel, which makes the diagnosis interpretable.
 Balanced dynamic adaptive threshold is specially devised to improve the antinoise robustness of the model.
 Normalization activation mapping is designed to visually reveal that Z-score can enhance the frequency-domain information of raw signals.

Normalization Activation Mapping

Data normalization can accelerate the process of convergence. Also, Z-score makes CNN get better accuracy. Unlike experimental methods, we notice that Z-score enhances frequency-domain information of signals so that CNN can learn these features better.
FAM illustrates the frequency-domain information by utilizing the weights of the classification layer and extracted features, but it can not reveal the influence of normalization methods. Therefore in NAM, the weight of the correct label is 1.0, and the features are signals processed by the normalization methods and it can visualize which normalization method possesses more frequency-domain knowledge.

Example:



































class CNNNet(nn.Module):
   def __init__(self, init_weights=False):        super(CNNNet, self).__init__()        self.conv1 = nn.Conv1d(1, 64, 60, padding=2)        self.conv2 = nn.Conv1d(32, 32, 3, padding=1)        self.conv3 = nn.Conv1d(16, 48, 3, padding=1)        #self.sage = sage(channel=16, gap_size=1)        self.conv4 = nn.Conv1d(24, 64, 3, padding=1)        self.pool = nn.MaxPool2d(2)        self.fc1 = nn.Linear(32*60, 512)        self.fc2 = nn.Linear(512, 4)        if init_weights:            self._initialize_weights()

   def _initialize_weights(self):        for m in self.modules():            if isinstance(m, nn.Conv1d):                if m.kernel_size == (60,):                    m.weight.data = fast(out_channels=64, kernel_size=60, eps=0.2, mode='sigmoid').forward()                    nn.init.constant_(m.bias.data, 0.0)
   def forward(self, x):        x = self.pool(F.relu(self.conv1(x)))        x = self.pool(F.relu(self.conv2(x)))        #x = x + self.sage(x)        x = self.pool(F.relu(self.conv3(x)))        x = self.pool(F.relu(self.conv4(x)))        x = x.view(x.shape[0], -1)        x = F.relu(self.fc1(x))        x = self.fc2(x)        return x

Citation

@article{HE,

Ackowledgements

The authors are grateful for the supports of the Fundamental Research Funds for the Central Universities (Science and Technology Leading Talent Team Project) (2022JBXT005), and the National Natural Science Foundation of China (No.52272429).

References

 von Rueden L, Mayer S, Beckh K, Georgiev B, Giesselbach S, Heese R, et al Informed Machine Learning – A Taxonomy and Survey of Integrating Prior Knowledge into Learning Systems. IEEE Trans Knowl Data Eng 2023;35(1):614–633. https://doi.org/10.1109/TKDE.2021.3079836
 Vollert S, Atzmueller M, Theissler A. Interpretable Machine Learning: A brief survey from the predictive maintenance perspective. In: 26th IEEE International Conference on Emerging Technologies and Factory Automation, ETFA 2021, Vasteras, Sweden, September 7-10, 2021 IEEE; 2021. p. 1–8. https://doi.org/10.1109/ETFA45728.2021.9613467
 Li T, Zhao Z, Sun C, Cheng L, Chen X, Yan R, et al WaveletKernelNet: An Interpretable Deep Neural Network for Industrial Intelligent Diagnosis. IEEE Trans Syst Man Cybern Syst 2022;52(4):2302–2312.  https://doi.org/10.1109/TSMC.2020.3048950
 Zhao M, Zhong S, Fu X, Tang B, Pecht M. Deep Residual Shrinkage Networks for Fault Diagnosis. IEEE Trans Industr Inform 2020;16(7):4681–469 https://doi.org/10.1109/TII.2019.2943898
 Kim MS, Yun JP, Park P. An Explainable Neural Network for Fault Diagnosis With a Frequency Activation Map. IEEE Access 2021;9:98962–98972 https://doi.org/10.1109/ACCESS.2021.3095565

Contact

 Chao He

 chaohe@bjtu.edu.cn 


编辑:李正平

校核:何超、张泽明、张勇、王畅、陈凯歌、赵栓栓

该文资料(EWSNet)搜集自网络,仅用作学术分享,不做商业用途,若侵权,后台联系小编进行删除。


来源:故障诊断与python学习
MechanicalSystem振动非线性旋转机械通用轨道交通python理论电机多尺度控制
著作权归作者所有,欢迎分享,未经许可,不得转载
首次发布时间:2023-10-20
最近编辑:1年前
故障诊断与python学习
硕士 签名征集中
获赞 70粉丝 66文章 143课程 0
点赞
收藏
未登录
还没有评论
课程
培训
服务
行家
VIP会员 学习 福利任务 兑换礼品
下载APP
联系我们
帮助与反馈