故障诊断学习｜论文学习 第1篇 中

论文题目：A Deep Learning Method for Bearing Fault Diagnosis Based on Time-frequency Image

期刊、年份：IEEE Acess (SCI 2区，简称Q2)，2017

作者：Jianyu Wang, Zhenling Mo, Heng Zhang, Qiang Miao*

机构：四川大学航空航天学院航空航天信息处理与应用中心，成都

内容概括：用8种时频图片分别作为CNN模型的输入，从5%-90%不同比例的训练集数据分别进行训练得到的结果进行展示比较。在CWRU等两个数据集进行了实验。

(该节一般是介绍理论及公式，对非专业选手不是很友好，但幸好的是对读懂论文影响不大，可略过不看，但在自己写论文时可以照搬一些公式)

本节将介绍CNN的基本架构。CNN是一种特殊的深度前馈神网络，主要由

输入层(Input)、

卷积层(Convolutional)、

池化层(Pooling)、

全连接层(Fully connected)、

分类层(classification)或回归层(regression)构成。CNN的优点之一是神经细胞[43]具有优秀的局部稀疏特征视野感受能力，与传统神经网络相比，它减少了权值和偏差的数量。也就是说，它可以自动从原始数据中提取更有效的特征，减少对训练数据的依赖。在深度学习中还引入了一些优化参数，如dropout层[44]、批处理归一化层(Batch normalization)[45]、整流线性单元(ReLU)[46]等，提高了分类性能。

3.1 卷积层

数字信号处理中有三种卷积运算，即fully convolution、same convolution和valid convolution。它们主要用于完成特征映射，通过共享权重表达图像的特征。与BP神经网络中的全连接结构不同，它是由多个卷积滤波器稀疏连接的。经过卷积处理后，将原始图像映射到矩阵中的不同特征。由于在CNN中经常选择valid convolution，所以本文采用了valid convolution。例如，一维值x和映射值y的定义如下:

式中conv表示valid convolution的卷积运算; ω∈Rm表示一维滤波器。同时，m为滤波器中权重值的个数;w(i)表示滤波器的第i个权值;N是信号x的长度;Y (t)是第t个映射值。看一下图3，就很容易理解了。

图 3 卷积运算

Eq.(2)可以推广为矩阵的形式。修正线性单元(ReLU)是深度学习中广泛采用的一种激活函数，被认为是一种可以避免梯度扩散和爆炸的激活函数。卷积层的输入由X∈R^A×B定义，其中A和B为输入数据的维数。进一步，卷积层输出可计算如下：

式中*表示卷积运算；cn为卷积滤波器的个数;Wcn和cn分别为第cn次滤波器的权矩阵和偏置;f为激活函数，如ReLU。最后，可以计算出输出Ycn的第cn个特征映射。

3.2 池化层

下采样层通常紧跟在卷积层之后，下采样层也称为池化层。该层的目的是减小空间尺寸和计算负荷，有利于降低过拟合风险。池化进程的类型包括最大池化、平均池化、对数池化、标准池化等。最大池化是CNN[26]中常用的方法，它可以从卷积输出层Ycn中提取最大值，如下图所示：

式中，S^M×N为池化矩阵；M和N是S的维数。在池化过程中，从Ycn中的M×N矩阵中提取最大值，直到SM×N以固定的步长扫过整个Ycn。例如，如果S是一个2×2矩阵，则Ycn中的参数数将减少到1/ 4，并在池化输出层中赋给Pcn。

CNN一般由卷积层和池化层组合而成。随后，几个完全连接层将跟在后面，这时需要将矩阵展开为列或行。最后，利用softmax函数估计各类的概率，概率最大的那一类被判为其分类结果。

3.3 随机梯度下降

CNN的学习过程与传统的BP神经网络相似，以获得最小误差为目标。换句话说，实际输出值yik和预测标签值dik之间的差值应该尽可能地减小。因此，训练过程依赖于权值ω和偏差b的不断迭代更新。代价函数有很多类型，下面只介绍均方误差(MSE) [47]。(6)为MSE计算公式，(7)为随机梯度下降表达式。

式中m为神经元数量;n为第n步迭代;η为学习率。动量随机梯度下降优化器(stochastic gradient descent with momentum, SGDM)是基于随机梯度下降的，它可以随机选择一些参与训练过程的样本，而不是选择所有的样本，从而加速学习过程，动量有助于减小沿最陡路径向最优方向的振荡[48]。

（该节是重点，首先看的应该是方法流程图或框架图，因为它清晰详细地介绍了论文模型的结构，这是复现论文的关键点。然后再具体读论文，了解流程图每一步的是怎么操作，尤其关注这样做的好处或解释，可以思考自己的方法或模型是否可以借鉴。）

如引言部分所述，许多CNN模型已经应用于机械故障诊断。然而，CNN模型很难达到卓越的性能，因为最优的CNN模型依赖于合适的结构和合适的参数，这非常耗时。Alexnet模型由Hinton等人[16]提出，该模型在图像识别中比其他方法具有更好的性能。到目前为止，Alexnet模型仍然在许多领域发挥着重要的作用。因此，本文提出了一种新的基于Alexnet的迁移学习框架，输入形式为原始信号的各种时频图。

Alexnet在ImageNet LSVRC-2010竞赛中接受了120万张高质量图像的训练，将1000个不同类别的目标分类。预训练Alexnet模型包含6000万个参数和65万个神经元。五个卷积层和三个完全连接层是Alexnet最基本的架构。在Alexnet中还应用了许多优化方法。例如，ReLU函数具有加速训练过程、减少迭代次数、有效避免过拟合等优点。但是，ReLU的输出仍然是一个分散的正值，可能会阻碍学习过程。因此，采用局部响应归一化方法增强分类的泛化能力。与传统方法中减去平均值不同，其主要思想是采用一些核方法来达到“亮度归一化”。另外，减少Alexnet模型过拟合的两种方法是数据增强和dropout策略。通过旋转、镜像、改变RGB通道的强度来增强数据是最简单的方法，而在一维信号中通常采用重采样，dropout会丢弃一些隐藏的神经元节点在训练过程中暂时无法进行。换句话说，这些被丢弃的神经元不参与前向传播迭代过程。一般情况下，选择dropout的值通常为50%。

Alexnet的结构如下：首先，输入一幅大小为224× 224×3的图像，其中224× 224表示图像的长度和宽度，3表示三个通道的RGB图像。然后，第一卷积层对原始图像进行特征提取，其中96个核的大小为11×11×3，第二卷积层由256个核的大小为5×5×48。这两个层后面是归一化层和池化层。在没有任何后处理层的第三和第四卷积层中，有384个不同大小的核，分别为3×3×256和3×3×192。第五层是卷积层，后面接着池化层，有256个大小与第四卷积层相同的核。在三个依次连接的完全连接层中，前两层有4096个神经元，后一层有1000个神经元。在模型的最后设置Softmax层和分类输出层，对每个标签的可能性进行估计。关于Alexnet的更多细节可以在[16]和图4中找到。

图4 本文所提CNN模型训练框架图

迁移学习可以将记忆的知识或框架从其他方面转移到一个新的应用领域。看起来像是能从一个事实推断出其他事情的人。将该技术应用于机械故障诊断领域，可以节省大量的精力和时间来探索新的诊断方法。将Alexnet模型转化为轴承故障诊断最简单的方法是继承其体系结构。由于ImageNet LSVRC-2010比赛中使用了1000个不同的标签，所以只需要替换最后一个完全连接的1000个神经元层。因此，在Alexnet中，一个只有4个神经元的全连接层取代了最后一个全连接层。换句话说，该方法可以判断四种状态，即内滚道故障、外滚道故障、滚动故障和正常状态。所提方法的结构如图4所示，只需要用新的神经元1×1@4替换原来的1×1@1000神经元。

1、由于本文翻译篇幅过大，本篇到此结束，下一篇将介绍论文实验及结果部分。

作者：小平

如需转载，请后台联系作者

说明：部分图片来源网络，若有侵权，烦请联系处理