本篇论文是针对在实际工程中采集数据流产生新类别故障数据后模型如何有效更新而开展的研究，因为在实际开放环境中数据是以流的形式不断涌入，当出现新故障类别数据时，以往构建的诊断模型无法识别，需要模型更好地处理新故障类别的诊断任务。这实际上是一种跨域故障类别增量问题。因此提出了一种跨领域类别增量宽度网络。适合于深度学习、迁移学习、故障诊断、增量学习研究领域学习者。论文链接：通过点击最左下角的阅读原文进行在线阅读及下载。1 论文基本信息论文题目：Cross-Domain Class Incremental Broad Network for Continuous Diagnosis of Rotating Machinery Faults Under Variable Operating Conditions论文期刊：IEEE Transactions on Industrial InformaticsDOI：10.1109/TII.2023.3345449论文时间：2024年作者：Mingkuan Shi (a), Chuancang Ding (a), Shuyuan Chang (b), Changqing Shen (a), Weiguo Huang (a), Zhongkui Zhu (a)机构:a: School of Rail Transportation, Soochow University, Suzhou 215131, PR China；b: Key Laboratory of Advanced Manufacturing Technology, Beijing University of Technology, Beijing 100124, PR China.2 摘要机器学习模型在智能故障诊断领域取得了广泛的成功。目前大多数现有的机器学习模型部署在静态环境中，依赖于预先收集的数据集进行离线训练，这使得一旦模型被建立后无法进一步更新。然而，在实际的开放动态环境中，数据总是以流的形式不断涌入，包括持续生成的新类别数据。此外，由于机械设备的运行工况是时变的，导致数据流呈现非独立同分布特点。在工业应用中，非独立同分布的连续数据流的诊断问题被称为跨领域类别增量诊断问题。为解决跨领域类别增量问题，提出了一种新颖的跨领域类别增量宽度网络（Cross-Domain Class Incremental Broad Network，CDCIBN）。具体而言，为了解决非独立同分布问题，首先设计了一种新的域适应损失函数，使传统的宽度网络能够很好地处理类别增量任务。然后，设计了一种跨域类别增量学习机制，在学习新类别的同时，能够很好地保留旧类别的知识，而无需重放旧类别数据。通过多个机械增量故障的案例评估了所提方法的有效性。实验分析表明，设计的CDCIBN框架在可变工况类别增量应用中具有显著优势。关键词：宽度学习系统；类增量学习；智能故障诊断；变工况3 目录1 论文基本信息2 摘要3 目录 4 引言5 相关工作 5.1 基于正则化的方法 5.2 基于回放的方法 5.3 基于参数隔离的方法 6 方法介绍 6.1 问题描述 6.2 域适应CDCIBN目标函数 6.3 跨域类增量机制7 实验验证与分析 7.1 实验设备 7.2 实验设置 7.3 模型验证8 结论注：本文只选中原论文部分进行分享，若想进一步拜读，请下载原论文进行细读。小编能力有限，如有翻译不恰之处，请多多指正~4 引言在现代工业中，智能故障诊断（Intelligent Fault Diagnosis，IFD）不仅可以确保机械设备的稳定可靠运行，还能提高生产效率并降低维护成本[1]，[2]，[3]。作为工业领域的一个重要研究课题，基于数据驱动的故障诊断技术由于其能够规避对部件故障机理先验知识或先验信息的需求，已经引发了广泛关注[1]。近年来，随着技术不断进步和人工智能领域快速发展，机器学习已成为当今最热门和最具前景的领域之一。在故障诊断和模式识别中，机器学习技术取得显著成果，并广泛应用于各个行业[4]，[5]，[6]。深度学习的成功又将机器学习的发展推向了一个新的高度。然而，在现实世界中，机器学习系统总是会遇到学习连续任务的问题，如何有效学习连续任务成为当前研究重点。尽管现有机器学习方法在特定任务上性能表现优异，但这些方法往往局限于封闭的静态环境，也称为孤立学习。这种学习只考虑任务内部的信息，而忽略了学习任务之外的信息。换句话说，模型在给定任务下的训练和推理过程仅在符合独立同分布假设的数据上进行。显然，这种学习方式效率低下，因为现实世界是一个开放动态环境。在开放动态环境中，训练样本通常以数据流的形式出现。面对不断涌现的新数据，直接使用这些数据进行模型更新可能会导致模型灾难性遗忘。也就是说，在学习新数据的同时，模型可能会忘记之前学习的旧数据的特征和规律，失去区分旧数据的能力，从而导致模型分类性能急剧下降。同时，收集旧数据和新数据来重新训练模型所需成本极高。这些问题严重限制了机器学习模型在工业应用中的发展潜力。一个理想的机器学习模型应该能够使用数据流中的新样本来更新模型，同时避免浪费重复的计算资源。近年来，引入增量学习可以有效解决现有机器学习方法无法从数据流中持续学习的问题。增量学习的目标是实现模型持续更新，在学习新类别或任务的同时，保持模型在已学习类别或任务的性能。目前，已有学者研究并提出几种增量学习方法来应对数据流的挑战。Peng等人[7]提出了一种基于监督对比知识蒸馏的工业过程下的增量智能故障诊断方法。Chen等人[8]设计了一种应用于齿轮箱故障类型增量诊断的终身学习智能故障诊断方法。此外，Bojian等人[9]开发了一种能够实现机器增量的持续学习的智能故障诊断方法。Liu等人[10]提出了一种基于生成特征回放的类别增量智能故障诊断方法，以解决灾难性遗忘问题。与深度学习相比，宽度学习系统（Broad Learning System, BLS）[11]由于其训练快速、准确性高和增量学习等优点，在各个领域获得了广泛应用[12]，[13]，[14]，[15]。Fu等人[16]提出了一种广义自编码智能故障诊断方法，即通过利用宽度学习系统的增量属性来实现类别增量学习（Class Incremental Learning， CIL）。总体而言，上述类别增量学习方法已取得令人满意的结果，但在实际工业应用中仍面临一些未解决的挑战。具体来说，现有的基于深度学习的增量学习方法在满足最小计算、存储和时间要求的同时，难以减轻灾难性遗忘。此外，基于深度学习的增量学习算法在处理任务序列时严重依赖反向传播算法，这不仅增加了训练负担，还在超参数设置上极其敏感。相比之下，基于宽度学习系统的增量学习方法由于其独特的网络结构，能够以较低的时间复杂度和空间复杂度自动提取高质量特征信息，因此是一种更具前景的方法，也是本文的核心。然而，在处理增量类别时，宽度学习系统缺乏测量旧类别与新类别之间相似性的能力，且模型的训练时间随着节点数量的增加而增加。上述基于类增量学习的故障诊断方法都基于数据同分布的假设。在实际工业过程中，设备运行条件需要灵活适应不同的任务要求，难以保持稳定的工作状态，导致连续流数据表现出非独立同分布的特征。在面对分布变化的数据流时，现有增量学习故障诊断方法将失去其有效性，这可能容易导致对故障类别的误判。总之，工业应用中持续出现的故障类别和数据分布的改变对现有智能故障诊断方法提出了重大挑战。因此，迫切需要探索有效的方法来利用具有不同分布的数据流进行动态增量故障诊断。为了应对这些挑战，提出了一种新的跨域类增量宽度网络，用于不同操作条件的旋转机械的数据流下的智能故障诊断，如图1所示。在CDCIBN中，首先基于最大均值差异（Maximum Mean Discrepancy， MMD）框架和图嵌入框架设计了一种新的域自适应学习损失函数，可以使两个不同域之间的距离更近，从而使传统的BLS能够更好地处理不同分布的数据流。然后，设计了一种跨域CIL机制，该机制保留了旧类别的知识，并在不重放旧类别数据的情况下很好地学习了新类别的知识。具体而言，本研究的具体贡献总结如下：1. 基于源域和目标域之间的相似性，设计了一种新的域自适应学习损失函数，使传统的宽度网络能够很好地处理不同分布的类增量任务。2. 设计了一种跨域CIL机制，该机制有效地保留了先前类的知识，而不需要在学习新类时重放它们的数据。3. CDCIBN拥有高效的闭合解，能够快速准确地更新模型，而不需要大量的时间和计算资源进行模型迭代训练和优化。4. 提出了一种基于CDCIBN的机械IFD方法，并成功应用于不同操作条件下的故障增量场景。5. 与现有的类增量故障诊断方法不同，CDCIBN通过有效地解决复杂的跨域类增量问题，为旋转机械故障诊断领域提供了一个新的视角。图1 变工况下跨域类增量学习用于智能故障诊断5 相关工作5.1 基于正则化的方法基于正则化的方法通过在模型的训练过程中添加正则化项来约束模型的参数，从而减轻灾难性遗忘。例如，弹性权重巩固（Elastic Weight Consolidation，EWC）[17]通过计算模型中的参数对旧知识的重要性，然后在新数据下限制这些重要权重的更新。无遗忘学习[18]使用旧模型对当前数据的输出来获得软标签，然后通过结合数据本身的分类损失和根据软标签计算得到的蒸馏损失来微调模型。5.2 基于回放的方法基于回放的方法有效地将新类别数据与原始类别数据集成在一起，模型在学习新类别的同时回顾旧数据，确保模型在学习新类别时不会忘记旧类别。例如，Rebuffi等人[19]首先提出了一种基于数据回放的类增量学习方法，称为增量分类器和表征学习（ incremental Classifier and Representation Learning，iCaRL）。Xiang等人[20]使用对抗训练策略来生成与旧数据分布相似的中间层卷积特征表示，以减轻对旧知识的遗忘。5.3 基于参数隔离的方法方法为每个新任务提供不同的模型参数，以防止灾难性遗忘。具体地，该方法可以通过动态调整网络结构来适应不断变化的环境。这种训练方法允许对网络进行选择性训练，并根据需要扩展网络以适应新任务的学习。例如，一种名为自适应聚合网络的新型动态聚合网络可以解决类别增量学习中的稳定性-可塑性困境问题。6 方法介绍6.1 问题描述给定一组由多个数据块组成的数据流 ，其中第一个数据块表示为 ，第二个数据块表示为 ，以此类推，第k个数据块可以表示为 。数据流中的每个数据块可以代表一个增量任务，每个数据块中包含有大量的源域样本 和少量目标域样本 。初始阶段，首先使用训练出初始模型 。此时测试集的类别数目为初始数据集的类别数目。在第k个增量阶段使用 更新 的模型参数得到 。此时测试类别数目为全训练阶段的类别数目。6.2 具有域适应学习能力的CDCIBN目标函数为构建高性能的跨域类增量模型，本文在决策层考虑源域数据和目标域数据之间的差异。这是因为决策层对模型的学习性能有直接影响。具体而言，设计了一种新的域自适应学习损失函数，使传统的宽度网络能够很好地处理不同分布的类增量任务。首先，根据MMD测量原理，通过匹配源域和目标域的投影均值来缓解源域和目标域之间的数据分布差异。随后，利用图嵌入理论使类内样本更紧凑，进一步减小源域和目标域数据之间的分布差异。6.2.1 故障特征提取给定数据集 , 是对应的标签矩阵，d 代表样本特征维度，m 代表类别总数。CDCIBN首先随机化权重 和偏置 ，通过一个线性变换将输入数据 映射为特征节点 。 由于权重和偏置是随机生成，具有一定的不可预测性。通过引入稀疏自编码器来约束参数。 其中 需要被稀疏自编码器学习。通过稀疏自编码器学习的特征，相较于传统映射特征更为稀疏和有效。新特征节点表示为： 然后，CDCIBN进一步将特征节点 映射至增强节点 ： 紧接着，将特征节点表示和增强节点表示组合，获取特征矩阵 ： 6.2.2 故障分类损失学习的输出层权重表示为 ，训练集 对应标签为 。预测损失使用欧式距离来度量。真实标签 和预测标签 之间的误差被表示为： 所有样本的分类误差表示为： 6.2.3 MMD度量损失MMD通过比较两个概率分布之间的距离来评估它们之间的相似性或差异性。因此，本文采用MMD度量来缓解源域和目标域之间的分布差异，从而实现域自适应。MMD的具体计算如下： 和 分别表示源域样本和目标域样本。公式（8）可以被表示为： 6.2.4 域适应图嵌入损失为了提高所提增量模型在目标域上的泛化性能，使用图嵌入理论构建了同域样本之间和不同域样本之间的结构关系，进一步减少源域和目标域数据之间的分布差异。具体来说，首先利用样本之间的距离关系和域之间的相关性来构建邻接图 ，其中 是特征矩阵， 是权重矩阵。 具体被描述为： 其中， 是数据点 的 k 个相邻点的集 合。 ， 为训练集样本数， 为 和 的欧式距离。域自适应图嵌入损失 由下面计算得出： 6.2.5 总损失函数CDCIBN的损失函数通过结合标签预测误差损失、MMD度量损失以及域适应图嵌入损失获得。即结合公式（7）,（9）,（12）得出。 其中λ，β 和 γ 为正则化参数。令上式导数等于0求解 。通过岭回归理论可以有效确定 ： 6.3 跨域类增量机制6.3.1 初始学习给定初始的训练集 ，其中源域样本数量为 ，目标域样本数量为 。 。初始训练集的输入矩阵可以表示为 ，对应标签矩阵为 。根据公式（17）可以计算初始数据块的输出权重： 6.3.2 类增量学习假定一个新训练数据块 ，其中源域样本数量为 ，目标域样本数量为 。 。输入矩阵可以表示为 ，对应标签矩阵为 。根据初始数据集和新数据集可以计算权重矩阵： 进一步推导，可以得到： 令 则 此时 可进一步表示为 上述增量学习的过程可进一步扩展到对第k+1个数据块学习的场景。此时权重矩阵 可计算得到： 其中， 7 实验验证与分析7.1 实验设备 轮对测试系统如图2所示。在轮对测试系统中，电机转速分别设置为400、600和800 r/min。施加的载荷分别为1.6kN和2.4 kN。分别为试验轴承滚子和内圈设置五种不同的故障尺寸（0.2、0.3、0.4、0.5和0.6 mm）共十种故障模式。采样频率设置为32768Hz。表1 给出故障的详细信息和对应标签。图2 轴承试验平台表1 故障类别信息 实验设置了各种跨域类增量诊断任务，包括不同速度、不同负载以及不同的速度和负载场景。详细的诊断任务设置见表2。表中任务“1.6-400”代表负载为1.6kN，速度为400r/min。表2 诊断任务信息7.2 实验设置实验引入宽度自编码器（Broad Auto-Encoder, BAE）、基于宽度学习的类增量方法（BLS-based CIL，BLS-CIL）、CDCIBN-A1、CDCIBN-A2与所提CDCIBN方法进行比较，评估CDCIBN的有效性。CDCIBN-A1未考虑MMD损失项，CDCIBN-A2没有考虑域适应图嵌入损失项和MMD损失项。为确保实验公正，BLS-CIL、CDCIBN-A2、CDCIBN-A1、CDCIBN和BAE配置了200-100个节点。每项试验进行10次，这10次试验的平均精度作为评估指标。训练集源域中的样本数设置为20，目标域样本数设置为5，因此每个类别总共有25个训练样本。总共使用每种故障模式的100个样本进行测试。7.3 模型验证首先进行单故障类增量分析。在这种情况下，初始学习时，类别数量设置为1，每次递增学习1个类别。考虑总共有十种故障类型，需要九次增量学习来完成模型训练。图3展示了所提方法的在类别增量下预测精度。CDCIBN在初始化阶段和第一个类别增量学习阶段都表现出100%的准确性。随着类别数量的增加，整体增量精度往往会降低。然而，CDCIBN在类别增量学习任务中显示出明显的性能优势，并且在长时间的连续增量学习中仍然保持良好的性能。结果表明CDCIBN可以很好地处理跨域类增量诊断任务。图3 单故障类别增量下方法的增量预测精度为了更直观比较不同方法的性能，图4展示了每种方法的平均增量精度（average incremental accuracy ，AIA），即计算每个增量学习阶段的平均精度。实验结果表明，CDCIBN能够有效地保留旧类别的知识，并在跨域类别增量学习中成功学习新类别。图4 基于单故障类别增量下不同类别增量方法的平均增量预测精度为了研究CDCIBN在基于多故障的跨域类增量诊断任务中的性能，初始化类别数量设置为2，每次增量的类别数量设为2。图5展示了每种方法的平均增量预测精度。可以发现，CDCIBN的性能远优于对比方法。结果充分证明了所提CDCIBN方法在跨域类增量诊断方面具有出色的能力，有效地解决了工业应用中不同工作条件下的流数据诊断问题。图5 基于多故障类别增量下不同类别增量方法的平均增量预测精度8 结论本文提出了一种新的CDCIBN模型，用于不同工作条件下的故障增量诊断任务。CDCIBN利用MMD度量理论和图嵌入理论构建损失函数，实现域适应学习，从而使CDCIBN能够在不同的数据分布条件下有效地处理类增量任务。此外，在CDCIBN中设计了一种跨域类增量机制，使CDCIBN能够在不同的分布式数据流中不断学习新的故障类别。同时，CDCIBN网络结构简单，不需要知识回放和迭代优化，具有较低的时间复杂度和空间复杂度。本研究为故障诊断的跨域类增量学习提供了一种新的解决方案。在动态变化的工业场景中，有效利用大量源域数据和少量目标域数据进行跨域类增量学习是有价值和意义的。未来，这种方法将扩展到没有目标域数据的类增量学习，从而可以仅使用源域数据在可变操作条件下很好地评估工业数据流。 编辑：任超校核：李正平、陈凯歌、赵栓栓、曹希铭、赵学功、白亮、陈少华该文资料搜集自网络，仅用作学术分享，不做商业用途，若侵权，后台联系小编进行删除。点击左下角阅读原文，即可在线阅读论文。来源：故障诊断与python学习