首页/文章/ 详情

ESWA论文学习 | 基于先验知识引导多任务动态学习的小样本下故障诊断方法

15小时前浏览12

本期给大家推荐的文章是《基于先验知识引导多任务动态学习的小样本下故障诊断方法》。本文提出了一种基于先验知识引导的多任务动态学习模型,用于少样本故障诊断。作者将所提出的框架应用于两个小样本故障诊断案例,并证明与现有最先进的方法相比,所提出的解决方案在仅有20个故障训练样本的情况下,故障识别准确率可高达0.9803适合于研究少样本学习先验知识嵌入方法融合的学习者。

论文基本信息

论文题目:Prior knowledge-informed multi-task dynamic learning for few-shot machinery fault diagnosis

论文期刊:Expert Systems With Applications

论文日期:2025年

作者:

Tianci Zhang(a,b), Jinglong Chen(c), Zhisheng Ye(d), Wenting Liu(e), Jinyuan Tang(a,b)
机构:
a: State Key Laboratory of Precision Manufacturing for Extreme Service Performance, Central South University, Changsha, 410083, China;
b: College of Mechanical and Electrical Engineering, Central South University, Changsha, 410083, China;
c: State Key Laboratory for Manufacturing and Systems Engineering, Xi’an Jiaotong University, Xi’an 710049, China;
d: Department of Industrial Systems Engineering & Management, National University of Singapore, Singapore 117576, Singapore;
e: School of Business, Singapore University of Social Sciences, Singapore 599494, Singapore
作者简介:

张天赐,工学博士,中南大学机电工程学院讲师。2023年获西安交通大学工学博士学位,2022-2023年于新加坡国立大学访学。曾获陕西高等学校科学技术研究优秀成果一等奖等荣誉。研究方向为复杂装备(航空航天发动机、人形机器人等)的健康管理与智能运维,在IEEE TII、IEEE TIE、MSSP等国际著名学术期刊发表研究论文22篇(ESI高被引论文3篇),论文被引总次数1600+,单篇最高被引次数410+,H-index为16,公开授权国家发明专利1项。

目录

1 摘要
2 引言
3 方法
3.1 问题描述
3.2 所提出的方法
3.3 先验特征集
3.4 特征提取器
3.5 动态学习策略
      3.5.1 分类损失
      3.5.2 知识不一致损失
      3.5.3 动态权重分配
4 实验验证与分析
4.1 概述
4.2 对比方法
4.3 评估标准
4.4 基于SQ故障实验数据的案例研究
      4.4.1 实验与数据描述
      4.4.2 动态权重的有效性
      4.4.3 小样本下的故障诊断
      4.4.4 鲁棒性分析
      4.4.5 计算负担
      4.4.6 多任务网络的学习机制
4.5 基于TX故障实验数据的案例研究
      4.5.1 实验与数据描述
      4.5.2 小样本下的故障诊断
      4.5.3 利用未标记数据进行故障诊断
4.6 讨论
5 结论

1 摘要 

在现代工业应用中,机器故障数据的缺乏使得少样本故障诊断变得尤为重要。如果能够在学习过程中融入先验知识,少量样本就足以训练出一个好的模型。本文提出了一种基于先验知识引导的多任务动态学习模型,用于少样本故障诊断,该模型包括一个用于故障识别的主任务和一个用于先验知识学习的辅助任务。所提出模型以信号特征指标作为先验知识的来源。之后,设计了一个动态的先验知识不一致性惩罚,该惩罚可以根据训练需求进行调整,用于辅助先验知识学习任务。辅助任务中学习到的知识通过专用的共享网络被主任务利用,从而减少了主任务对训练数据的需求。我们将所提出的框架应用于两个小样本故障诊断案例,并证明与现有最先进的方法相比,我们的解决方案在仅有20个故障训练样本的情况下,故障识别准确率可高达0.9803。

关键词:机器故障诊断;小样本学习;多任务学习;先验知识

2 引言 

复杂设备(如航空发动机)在发生故障时可能会遭受严重损坏。故障诊断是预测性健康管理(Prognostics Health Management, PHM)的核心组成部分,它在机器监测数据与其健康状态之间起到桥梁作用。在工业环境中,状态监测和故障诊断对于降低运营和维护成本以及提高设备可靠性至关重要。

振动分析是机器故障诊断中最广泛使用的技术之一。传统上,工程师使用小波变换等方法分析振动监测数据,并依赖专家知识来评估机器的健康状况。然而,这些方法严重依赖人工专业知识,给快速准确的数据分析带来了挑战。在过去十年中,机器学习的显著进展推动了深度神经网络在智能诊断模型开发中的广泛应用。这些模型能够分析大量监测数据以检测潜在的故障信息。尽管这些智能模型能够快速准确地处理数据,但它们的性能与训练数据集的丰富性直接相关,更全面的数据可以带来更好的结果。在工业环境中,机器故障是少见的,直接收集足够的故障数据非常困难。此外,在实验室中进行故障模拟实验以生成此类数据成本高昂。因此,用于训练智能模型的故障数据非常有限。因此,开发能够在有限故障数据下有效工作的故障诊断模型仍然是一个关键且实际的挑战。

学者们对少样本智能故障诊断领域进行了大量研究,目标是利用有限的训练样本开发诊断模型。这些研究可以分为三种主要方法:基于数据增强的方法、基于算法优化的方法和基于迁移学习的方法。第一种方法旨在通过数据增强技术提高泛化性能。例如,Zhang, Li et al.提出了一种基于深度生成对抗网络的方法来增强机器监测数据,从而在小样本情况下提高诊断模型的泛化能力。在 Zhang, Kong et al.研究中,提出了条件最小二乘生成对抗网络来生成故障样本用于模型训练。同样,其他数据增强模型(如变分自编码器)也被应用于有限样本的机器故障诊断。第二种方法专注于从有限的故障数据中提取更丰富的故障特征。例如,Wang et al利用基于逆残差块和协作自注意力的轻量级模型进行少样本故障诊断。在 Ye et al研究中,提出了一种残差卷积融合网络,用于从有限样本中提取轴承故障特征。在Zhanget al的研究中,采用了一种基于相似性的对比学习方法,用于在有限训练样本的情况下进行机器故障诊断。第三种方法涉及利用相关数据集转移诊断知识以解决少样本诊断任务。例如,Kim and Youn提出了一种可转移的孪生网络用于故障诊断,该网络可以通过知识转移提取小样本的故障特征。Liu et al.提出了一种基于深度领域自适应的迁移学习框架,用于在目标域中样本量较小的情况下进行轴承故障诊断。在 Dong et al.的研究中,使用了一种新的动态迁移学习模型来解决小样本的轴承故障诊断问题。然而,值得注意的是,基于数据增强的方法消耗大量的计算资源,给开发人员带来了挑战。此外,基于算法优化的方法可能由于数据有限,在复杂的假设集中难以找到最优解。此外,基于迁移学习的方法需要合适的迁移对象,在某些情况下存在负迁移的风险。

图1 先验知识引导的机器学习框架

近年来,机器学习领域对将先验知识整合到模型学习过程中的研究兴趣日益增加,这种范式被称为先验知识引导的机器学习(Prior Knowledge-informed Machine Learning, PK-ML)(von Rueden et al., 2021)。如图1所示,PK-ML与传统数据驱动的机器学习不同,它不仅由训练数据引导,还受到先验知识约束。这种整合允许先验知识限制模型的假设集,从而缩小其搜索空间。因此,模型只需要较少的训练数据就能够找到合适的最终假设。因此,PK-ML被认为是一种减少模型开发所需训练数据的有效方法。在机器故障诊断领域,学者们积累了大量的专业知识,包括故障特征、故障机理、诊断规则等。这些知识源于对故障机理的细致分析和丰富的工程经验,因此在应用于机器故障诊断任务时既可靠又稳定。因此,将这种领域知识整合到智能诊断模型的学习过程中具有重要意义。例如,Liu et al. (2025) 提出了一个带有知识引导的有限脉冲响应滤波核网络模型,用于小样本下的故障诊断。Lu et al. (2025) 应用了一种先验知识嵌入的卷积自编码器,用于小样本下的故障诊断。因此,通过利用先验知识,即使在有限的故障数据下,也有可能开发出令人满意的诊断模型。

多任务学习能够将从一个任务中学习到的知识转移到其他任务中,是整合先验知识的有效方法。在模型开发中,多任务学习通常涉及一个主任务和几个相关的辅助任务,开发者的先验知识可以嵌入辅助任务中。例如,在基于多任务学习的面部标志检测中,主任务是面部标志检测,而辅助任务包括性别识别和面部姿态识别等。这些辅助任务通过专家先验知识帮助模型学习与面部标志检测相关的面部特征。因此,通过辅助任务整合先验知识,主任务的性能得到了增强。

综上所述,将先验知识整合到诊断模型的学习过程中可以显著减少其对故障数据的依赖。同时,多任务学习已被证明是整合此类知识的有效策略。基于这些见解,本文提出了一种面向少样本机器故障诊断的先验知识引导的多任务动态学习网络。所提出的方法包括一个专注于故障识别的主任务和一个专门用于学习先验诊断知识的动态辅助任务。根据故障诊断领域的知识,我们认识到振动信号的特征指标(如峰度和偏度)在一定程度上可以反映机器的健康状态。因此,我们首先选择一系列信号特征指标来形成先验特征集,这些先验特征的有效性已在许多研究中得到验证。在辅助任务中,我们的网络旨在通过优化动态知识不一致性损失从输入数据中学习这些先验特征。这种动态损失可以根据主任务和辅助任务的实时训练进度进行调整。鉴于共享的网络结构,辅助任务所获得的知识也可供主任务使用,从而减轻主任务的学习负担并减少其对大量训练数据的需求。因此,主任务有望在有限的训练数据下实现准确的故障识别。

本文的贡献可以总结如下:

  1. 定义了一个多任务动态学习网络,能够从输入数据中发现先验知识,从而可从小样本数据中提取高度可靠的特征。
  2. 提出了一种基于多任务动态学习的先验知识引导的诊断方法,用于解决具有挑战性的少样本故障诊断问题。
  3. 基于两个机械故障模拟实验台的广泛实验验证了所提方法的有效性。与现有最先进的方法相比,我们的解决方案在小样本场景下具有显著优势。

本文的其余部分安排如下:第2节详细描述了所提出的方法;第3节通过两个机械故障模拟实验验证了所提方法的优越性;第4节总结了整篇文章。

3 方法 

表1 使用的符号和其对应含义

首先,为了更清晰地表达,本节中使用的符号及其对应含义可以在表1中找到。

3.1 问题描述

本研究专注于旋转机械的状态监测与故障诊断,特别是轴承和齿轮这些关键部件。目标是对这些被监测部件的故障位置和严重程度进行诊断,为机器的PHM提供重要的决策支持。

我们采用的是振动传感器和数据采集设备收集的机器振动信号。从轴承或齿轮收集到的振动信号被分割并标记,以创建数据集    ,其中,    表示第    个样本,包含    个振动数据点,而    是健康状态标签。考虑到样本数量有限的情况,我们将    限制为小于或等于20。利用该数据集,本研究旨在开发一种用于旋转机械的故障诊断方法,能够仅使用少量故障样本学习从振动信号到健康状态学习非线性映射    

3.2 所提出的方法

图2 所提方法的框架

在工业环境中,机器故障数据通常非常有限。现有的智能诊断模型,尤其是基于深度神经网络的模型,由于其众多参数,需要大量的故障数据进行训练。最近的研究表明,将先验知识整合到模型训练过程中可以显著减少模型对大量训练数据的需求。

为解决这些挑战,本研究提出了一种利用先验知识的多任务动态学习网络,用于在样本量有限的情况下进行机器故障诊断,如图2所示。主任务    专注于故障诊断,而辅助任务    专注于先验特征学习,其中    表示预定义的先验特征集。主任务    通过共享特征提取器利用    获得的知识,从而减少对大量训练数据的依赖。所提出方法的训练目标可以表示为:

 

其中,    是主任务    中的分类损失,    是其权重因子;    是辅助任务    中的知识不一致性损失,    是其权重因子。

3.3 先验特征集

表2 先前的10个特征指标

在故障诊断领域,专家们积累了大量的诊断知识,包括故障机理、故障特征、诊断规则和特征提取算法,这些构成了该领域的先验知识。故障特征包括信号特征指标(如峰度和偏度),这些指标可以反映机器的健康状况,它们通常基于对故障机理的严格分析和丰富的专家经验,并且其有效性已在实际应用中得到了广泛验证。

在本方法中,我们选择了十个信号指标来构成先验特征集    ,其中    是第    个先验指标,如表2所示。我们从训练数据中提取这十个先验特征,并使用零均值归一化进行标准化。

3.4 特征提取器

表3 特征提取器架构

在所提出的方法中,主任务    和辅助任务    共享特征提取器,这是该方法的骨干网络。特征提取器由卷积层、池化层和全连接层组成,其结构和参数设置如表3所示。 在特征提取器中,第u个卷积层的输出为:

 

其中,    是该层的特征向量,    和    分别是该层的卷积核和偏置。    表示第    个最大池化层的输出。 最大池化层的输出为:

 

其中,    和    分别表示窗口大小和步长。激活函数    定义为:

 

第u层全连接层的输出    为:

 

其中,    和    是该层的权重和偏置。

3.5 动态学习策略

如公式(1)所示,所提出方法的训练目标包含两项:分类损失    旨在识别故障类型,而知识不一致性损失    旨在最小化预测特征与先验特征之间的差异,从而使模型能够从先验知识中学习。

3.5.1 分类损失    

在主任务中,学习到的特征被送入Softmax分类器进行分类。Softmax分类器的操作可以表示为:

 

其中,    是Softmax分类器的参数。 主任务中的分类损失是一个交叉熵损失,可以表示为:

 

3.5.2 知识不一致性损失    

在辅助任务中,学习到的特征通过一个全连接层输出一个10维向量    ,并通过优化均方误差来近似先验特征    。因此,知识不一致性损失    可以定义为:

 

动态权重分配

算法1 所提出方法的训练过程

在多任务学习中,不同任务的损失值大小可能不同。如果直接将这些损失值相加以得到最终模型损失,其中一个任务可能会主导学习过程。因此,为每个任务的损失分配适当的权重至关重要。

本模型的目标是实现最优的分类准确率,通过在训练过程中动态调整辅助任务的权重    来实现。因此,我们直接将权重    设置为1,并调整辅助任务    的权重以优化主任务的性能。

通过初步实验,我们观察到在训练初期,    通常小于    ,辅助任务收敛速度更快,表明模型倾向于优先学习辅助任务。因此,为了协调两个任务的训练进度,我们设计了一个动态权重分配方案,如公式(9)所示。该方案根据实时损失值调整    ,防止模型在训练初期被辅助任务主导。此外,它还能在训练后期使主任务最优收敛,最终使模型达到最高的故障分类准确率。 动态权重    的计算公式如下:

 

其中,    表示训练的迭代次数。 最终,所提出方法的训练过程可以总结为算法1。

4 实验验证与讨论 

4.1 概述

在本节中,我们进行了两个机械故障测试实验:Spectra Quest(SQ)轴承故障测试实验和TianXian(TX)轴承和齿轮故障测试实验。通过这两个实验数据集验证了所提出方法的有效性,并进行了讨论。具体来说,我们使用SQ数据验证了模型在小样本场景下对轴承的诊断性能,并分析了所提出方法的学习机理。此外,鉴于工业环境中无标签数据易于获取,我们还探索了所提出方法利用无标签监测数据的潜力,并使用TX数据进行验证。 验证过程在一台64位Windows 10操作系统、Intel Core i3-4170 CPU @ 3.70 GHz的计算机上完成。编程语言为Python 3.6.12,运行环境为TensorFlow 1.13.1。 对于所有实验,所提出方法使用的优化器为Adam,学习率为0.0005。每次训练包含100个迭代周期。此外,每个实验重复10次,取平均结果用于分析。

4.2 对比方法

为了验证所提出方法的优越性,我们选择了六种方法进行对比实验,包括与所提出方法相关的两种方法和五种最先进的诊断方法。

1:PFS:使用表2中的十个信号特征指标作为输入,并通过Softmax分类器直接输出分类结果。

2:DCNN:使用深度卷积神经网络处理数据并输出健康标签。DCNN的结构、超参数和训练设置与主任务相同。

3:KEAE:Chen et al提出了一种知识嵌入自编码器网络,用于小样本下的故障诊断,同样利用领域知识减少了训练数据量。

4:R-Net:Yang et al构建了一种具有宽卷积核的残差卷积神经网络,并将其应用于有限故障样本下的机器故障诊断。

5:S-Net:Wen et al提出了一种具有少样本学习能力的孪生神经网络,用于小样本下的机器故障诊断。

6:FCGAN:Zhang et al使用基于生成对抗网络的信号增强模型,可以提高小样本条件下的诊断模型泛化能力。

7:PKCA:Lu et al提出了一种先验知识嵌入的卷积自编码器,用于小样本下的轴承故障诊断。

4.3 评估标准

为了更全面地评估所提出方法的有效性,我们采用了三种常见的评估标准。准确率(Accuracy)反映了模型正确预测的样本数占总样本数的比例,公式如下:

 

其中,TP表示实际为正且预测为正的样本数,FP表示实际为负且预测为负的样本数,FN表示实际为负但预测为正的样本数,TN表示实际为正但预测为负的样本数。

F1分数(F1-Score)综合考虑了模型正确预测的故障样本比例,公式如下:

 

曲线下面积(AUC)从概率角度评估模型的分类性能,更高的AUC分数表明模型输出的概率更准确。公式如下:

 

其中,    和    分别表示正样本和负样本的数量,表示第个正样本的排名索引。

4.4 基于SQ故障实验数据的案例研究

4.4.1 实验与数据描述

图3 SQ轴承故障实验台,(a)实验台全貌,(b)被测故障轴承

SQ机械故障测试实验在SQ测试台上进行。如图3(a)所示,SQ测试台包含一个感应电机、转子、磁粉制动器、数据记录器和振动传感器。根据Chen et al的研究,约40%的电机故障与轴承相关。因此,我们选择了电机的驱动端轴承进行测试,该轴承为NSK6203型号。使用灵敏度为50 mV/g的振动加速度传感器收集振动信号。在实验中,电机的转速设置为40 Hz,数据记录器的采样频率为25.6 kHz。 如图3(b)所示,在轴承的内圈和外圈上加工出六个单点损伤,以模拟不同的轴承故障。这六种故障分别为:轻微内圈故障(IF-1)、中等内圈故障(IF-2)、严重内圈故障(IF-3)、轻微外圈故障(OF-1)、中等外圈故障(OF-2)和严重外圈故障(OF-3)。此外,还包含一个正常状态(NC-0)的轴承用于测试。因此,在SQ故障测试实验中,共收集了七种不同健康状态的振动信号。我们选择1024个连续数据点作为一个数据样本。每种健康状态的信号被划分为1125个数据样本,这些数据样本是模型训练和测试的数据来源。

4.4.2 动态权重的有效性

图4 不同权重值下的故障分类准确率结果

首先,我们希望验证所提出方法中动态权重    的有效性。由于固定权重是多任务学习中常见的选择,我们选择了从0.5到4.0的八个固定值作为辅助任务的权重。这一范围的设置基于预实验结果,我们发现在此范围内方法能够实现相对较高的准确率。实验中,从每个类别中选择10个数据样本作为训练样本,其余样本作为测试样本。方法的故障分类结果如图4所示。

图5 不同权重值下的损失变化情况

当使用固定权重时,方法在权重为2时能够实现最高的准确率0.9038。然而,当应用动态权重时,准确率提升至0.9300。因此,从准确率的角度来看,动态权重表现更好。此外,我们记录了训练过程中损失值和    的变化,结果如图5所示。

在图5(a)中,当使用固定权重时,主任务和辅助任务的收敛速度存在显著差异,其中辅助任务的收敛速度比主任务更快。这种差异可能导致模型更倾向于辅助任务,从而无法获得最佳的诊断性能。出现这种现象的原因在于两个任务的学习难度不同,而固定权重无法平衡实时训练进度。在图5(b)中,动态权重能够有效地平衡两个任务的学习速度,使两个任务几乎同时收敛。因此,所提出的方法能够充分利用辅助任务中学到的知识,并最终在主任务中实现最高的诊断准确率。

图6 训练过程中的损失值及分类准确率变化

图6展示了训练过程中模型的训练损失和分类准确率的变化。可以看到,随着训练损失逐渐收敛,模型的分类准确率也逐渐达到峰值并保持稳定。

4.4.3 小样本下的故障诊断

表4 基于SQ实验数据的分类准确率结果

表5 基于SQ实验数据的F1-Score结果

表6 基于SQ实验数据的AUC结果

所提出的方法旨在解决工业场景中的少样本故障诊断问题。受Zhang et al的启发,我们将小样本定义为每个类别不超过20个训练样本。与SQ实验数据集中每个类别的总样本数(1125)相比,这一阈值被认为是很小的。在实验中,我们从每个类别中分别选择了1、5、10、15和20个样本作为训练样本,其余样本用于测试。所提出方法的分类准确率结果以及六种对比方法的结果如表4所示。分类F1分数如表5所示。分类AUC结果如表6所示。

上述表格中的结果可以总结如下:

(1)先验特征的有效性:即使只有一个训练样本,PFS方法的准确率也能达到0.7061,显著高于其他四种对比方法。这表明先验特征在少样本故障识别中的有效性。PFS通过使用手动计算的信号特征而不是神经网络提取的特征,避免了小样本条件下参数过拟合的问题。

(2)多任务学习的有效性:所提出的方法在所有任务中均优于DCNN。鉴于DCNN与所提出方法的主任务拥有相同的网络结构和参数,这些结果表明多任务学习框架在小样本条件下提升了模型的诊断性能。

(3)相较于最先进方法的优越性:与五种最先进的方法相比,所提出的方法在所有场景中均展现出更高的性能。这表明所提出的方法可能更擅长解决实际工业环境中的少样本故障诊断难题。此外,从上述三个表格中呈现的结果来看,所提出方法的预测结果通常具有更小的标准差,表明该方法在有限训练样本条件下具有更强的鲁棒性。

图7 10个训练样本下的故障特征提取结果

此外,我们利用t-SNE技术将所提出方法提取的故障特征降维至二维并进行可视化,结果如图7所示。图7中的故障特征提取基于10个训练样本。可以看到,即使在训练样本较少的情况下,所提出的方法仍能够从大量的轴承监测数据中提取出清晰可区分的故障特征。

4.4.4 鲁棒性分析

在工业环境中,从机器上收集的监测信号通常包含大量的背景噪声,这些噪声可能会掩盖故障信息,阻碍诊断方法对故障的准确识别。因此,对噪声的鲁棒性是评估诊断方法在工业环境中实际应用能力的关键因素。

图8 不同噪声水平下的外圈轻微故障信号

图9 不同噪声水平下的故障诊断准确率结果

为了模拟真实场景中噪声污染的监测信号,我们在监测信号中人为地添加了不同水平的高斯噪声。采用信噪比(SNR)来量化噪声强度,较低的SNR值表示更高的噪声强度。在实验中,我们将监测信号的SNR从20 dB逐步调整到0 dB。为了说明,图8展示了在不同SNR条件下OF-1故障类别的监测信号。此外,训练样本的数量设置为20。所提出方法与其他方法的诊断结果如图9所示。

如图9所示,随着噪声强度的增加,所有方法的诊断准确率显著下降。然而,所提出的方法在几乎所有任务中均实现了最高的诊断准确率。即使在0dB时,噪声强度与原始信号相当,所提出的方法仍保持了0.7698的准确率。这表明,与其他方法相比,所提出的方法在处理工业环境中的含噪监测信号方面更为有效,从而能够满足工程应用需求。

4.4.5 计算负担

表7 模型计算负担分析

鉴于工业环境中计算资源通常有限,计算负担已成为评估诊断模型的另一项关键指标。因此,表7列出了每种方法的训练时间、测试时间、参数数量和浮点运算次数(FLOPs)。需要注意的是,表7中的结果是基于10个训练样本得出的。

在表7中,PFS方法的参数数量被省略,因为其特征是通过手动计算而非神经网络得出的。与最先进的方法(不包括PKCA)相比,所提出的方法在参数数量和计算复杂度方面略高。就训练时间而言,依赖于数据增强的FCGAN比其他方法需要更长的时间。对于测试时间,尽管所提出的方法比四种最先进的方法稍慢,但其性能在工业场景中仍然可以接受。具体来说,所提出的方法处理7×1115个样本需要12.06秒,而这相当于312.2秒的监测周期,从而能够满足状态监测的实时性要求。

4.4.6 多任务网络的学习机制

在本节中,我们通过检查网络权重来阐述所提出方法的学习机制。所提出方法的核心是利用辅助任务所学到的知识来指导主任务的学习过程,这意味着主任务的权重受到辅助任务所学知识的影响。

为了观察和评估多任务结构的影响,我们记录了辅助任务的权重分布    和整个所提出方法的权重分布{{P}_{m}}。当方法仅执行辅助任务时获得分布    ,而初始权重分布设置为正态分布    。由于主任务和辅助任务共享特征提取器的参数,我们绘制了特征提取器的权重分布。结果如图10所示。此外,为了量化权重分布    和    之间的相似性,我们计算了它们的Wasserstein距离,它是评估分布相似性的标准度量。

图10 特征提取器中的权重部分,WD代表Wasserstein距离。(a)(b)(c)(d)分别代表第1/2/3/4层卷积层的权重分布

在图10中,与初始分布    相比,第一卷积层的权重分布发生了显著变化。具体来说,    和    之间的Wasserstein距离为0.003102,表明这两个分布之间具有高度相似性。这种相似性表明,多任务网络的权重受到辅助任务的显著影响。

图11 特征提取器中三个权重分布的关系图

此外,我们探讨了分类任务中分布    、    和    之间的关系,该分类任务仅由训练数据指导。如图11所示,当所提出的方法仅执行主任务时,得到分布    。分布呈现出一定的对称性,两侧分布较密集,中间分布较稀疏。相比之下,    的中间分布并不明显低于两侧。与此同时,    整合了    和    的特征。这一观察结果表明,多任务学习网络的权重既受到训练数据的指导,也受到辅助任务中先验特征的指导。

4.5 基于TX故障实验数据的案例研究

4.5.1 实验与数据描述

图12 TX故障实验台,(a)为实验台全貌,(b)为被测轴承及齿轮

TX故障测试实验在TX测试台上进行。如图12(a)所示,TX测试台包括电机、齿轮箱、数据记录器和振动加速度传感器。与SQ实验不同,TX实验中的测试对象包括轴承和齿轮。被测试的轴承和齿轮安装在齿轮箱中,如图12(b)所示。在实验中,我们分别为每个被测试的轴承加工了六个单点损伤,并在被测试的齿轮上加工了一个故障。我们进行了七次实验以收集这些故障对象的振动数据。此外,我们还收集了正常状态下的振动数据。所用传感器的灵敏度为50 mV/g,电机转速为800 rpm,数据记录器的采样频率为5 kHz。

这八种健康状态可以缩写如下:轴承保持架故障(CF-0)、轴承滚子故障(RF-0)、轴承外圈点焊故障(OF-0)、轴承外圈轻微故障(OF-1)、轴承外圈中等故障(OF-2)、轴承外圈严重故障(OF-3)、齿轮故障(GF-0)和正常状态(NC-0)。我们使用1024个连续数据点作为一个数据样本,每种健康状态的数据被划分为774个数据样本。

4.5.2 小样本下的故障诊断

表8 基于TX实验数据集的分类准确率结果

表9 基于TX实验数据的F1-Score结果

表10 基于TX实验数据的AUC结果

图13 20个训练样本下的分类结果

(a)为分类结果的混淆矩阵,(b)为特征可视化结果

我们基于所提出的方法和相关方法进行了实验。实验结果如表8、表9和表10所示。在上述表格中,所提出的方法优于相关方法。此外,我们还给出了当使用20个训练样本时,方法的分类混淆矩阵和特征可视化结果。结果如图13所示。从图13可以看出,所提出的方法能够使用少量训练样本区分不同类别的数据。

4.5.3 利用未标记数据进行故障诊断

在工业场景中,有标签监测数据较为稀缺,因为标记数据是一项劳动密集型任务。与此同时,无标签监测数据更容易获取。在故障诊断中,许多论文都专注于利用无标签数据来提高诊断模型的性能。

所提出的方法也能够利用无标签数据。在所提出的方法中,辅助任务从原始数据中学习先验特征,这一过程不需要数据标签。因此,我们可以将额外的无标签数据用于辅助任务的训练。在这种情况下,所提出的方法可以从更多数据中学习先验知识,这有望进一步提高所提出方法的性能。

图14 在不同无标签训练数据下的故障分类准确率结果

为了验证无标签数据的增强效果,我们将有标签训练样本的数量固定为20个。我们分别取20、40、60、80和100个无标签样本用于学习辅助任务。我们记录了每种情况下的故障识别准确率,结果如图14所示。

图15 在20个有标签样本及100个无标签样本下的故障诊断准确率结果

从图14可以看出,无标签样本有助于所提出的方法获得更好的性能。当不使用无标签样本进行训练时,所提出方法的准确率为0.8806。当使用100个无标签样本时,准确率提高到0.9516。当无标签样本数量为100时的混淆矩阵和特征可视化结果如图15所示。与图13相比,使用无标签数据使所提出的方法获得了更强的分类能力和更具区分性的特征。

4.6 讨论

所提出方法的优势总结如下:

(1)该方法能够在训练数据极少的情况下实现准确的故障识别,这在工业环境中故障数据有限的情况下尤为有利。(2)该方法对噪声具有鲁棒性,使其适用于实际工业环境中普遍存在的强噪声污染场景。(3)它能够利用无标签数据来增强诊断性能,从而提高了其在工业场景中的实际应用价值。

与最先进的诊断方法相比,我们的方法在诊断准确率方面表现出一定的优势,在仅使用20个训练样本时,诊断准确率达到了0.9803。在计算复杂度方面,我们采用浮点运算次数(FLOPs)作为衡量指标。除PKCA外,所提出方法的计算成本在FLOPs方面略高于其他几种选定的最先进的方法。在网络骨干方面,我们的方法采用标准卷积神经网络(CNN),其设计相对简单,与其他方法中使用的骨干网络相比更容易实现。在知识利用方面,我们的方法与KEAE和PKCA一样,均利用了故障诊断领域知识。在应用可扩展性方面,我们认为其他方法经过适当调整后也有潜力应用于其他诊断场景。例如,FCGAN可以通过调整数据生成比例来解决不平衡数据集中的故障诊断问题。所提出的方法由于其简单且易于替换的网络骨干以及在故障诊断中普遍适用的先验知识,展现出更好的应用可扩展性。例如,所提出的方法可以选择对齿轮故障更敏感的信号特征作为先验特征,从而实现有限样本下的齿轮故障诊断。详细的比较结果如表11所示。

最后,关于未来的研究方向,短期内我们将专注于所提出方法的理论分析和优化。这具体包括动态权重分配函数的最优设计、模型训练稳定性的增强以及对过拟合和局部最小值的控制。在中期内,我们的研究方向将是将所提出方法应用于各种场景下的轴承诊断,包括不平衡数据场景和变化的工作条件下。长期研究方向包括两个方面。首先,我们计划整合其他故障诊断领域的知识,例如故障机理。其次,我们计划将所提出方法的应用扩展到其他机械部件的诊断,例如齿轮箱和转子系统。详细的研究计划可以在表12中找到。

5 结论 

由于机器故障数据并不总是充足的,因此在有限样本的情况下构建数据驱动的诊断模型是一个挑战。在本研究中,我们提出了一种基于先验知识引导多任务动态学习网络的少样本故障诊断方法。该方法同时实现了先验诊断知识的学习和故障识别。由于共享的网络结构,该方法仅使用少量故障数据就能提取高度可靠的故障特征。我们设计了两个少样本故障诊断场景,以验证所提出方法在不同任务条件下的有效性。广泛的实验结果表明,与最先进的方法相比,所提出的方法能够使用极其有限的故障样本实现更可靠的故障识别。所提出的方法在仅有20个故障训练样本时实现了高达0.9803的诊断准确率。此外,通过使用无标签数据,该方法的性能可以进一步提高。因此,所提出的方法是一个强大的工具,能够克服由于故障样本稀缺而带来的诊断挑战。

编辑:曹希铭

校核:李正平、陈凯歌、赵栓栓、赵学功、白亮、任超、海洋、冯珽婷、陈宇航、陈莹洁、王金、赵诚、肖鑫鑫

该文资料搜集自网络,仅用作学术分享,不做商业用途,若侵权,后台联系小编进行删除

来源:故障诊断与python学习
ACTMechanicalSystem振动非线性旋转机械航空航天python海洋理论电机Electric机器人数字孪生控制
著作权归作者所有,欢迎分享,未经许可,不得转载
首次发布时间:2025-03-20
最近编辑:15小时前
故障诊断与python学习
硕士 签名征集中
获赞 77粉丝 95文章 182课程 0
点赞
收藏
作者推荐

EAAI开源代码推荐 | 基于平衡域自适应的种子替换深度迁移回归方法

本期给大家推荐的文章是《基于平衡域自适应的种子替换深度迁移回归方法》。本文提出了一种用于设备健康预测的深度迁移回归模型,作者使用了私有、公开数据集进行验证,证明所提出框架的有效性和优越性。作者写作思路清晰,实验丰富,结果分析详实非常适合于研究回归模型和迁移学习方法融合的学习者,小编建议阅读公 众号简介推文后对全文仔细研究。如因网络及权限问题无法获取原文及代码,通过点击本文左下角的阅读原文进行在线阅读及下载论文基本信息论文题目:A deep transfer regression method based on seed replacement considering balanced domain adaptation论文期刊:Engineering Applications of Artificial Intelligence论文日期:2022年论文链接:https://doi.org/10.1016/j.engappai.2022.105238代码链接:https://github.com/ZhangTeng-Hust/DTRSR/tree/main作者:Teng Zhang (a), Hao Sun (a), Fangyu Peng (b), Shengqiang Zhao (a), Rong Yan (a)机构:a: The National NC System Engineering Research Center, School of Mechanical Science and Engineering, Huazhong University of Science and Technology, Wuhan, Chinab: The State Key Laboratory of Digital Manufacturing Equipment and Technology, School of Mechanical Science and Engineering, Huazhong University of Science and Technology, Wuhan, China作者简介:张腾,机械科学与工程学院机械工程专业2020级博士研究生,中共党员,师从彭芳瑜教授,研究方向为大型复杂零件机器人加工精度控制,现任数控工程中心博士生党支部书记。 华中科技大学2023-2024学年度“三好学生标兵(研究生)”获得者。曾获优秀学生干部、三好研究生、一等学业奖学金、潍柴动力奖学金、无锡惠山太湖奖学金等荣誉与奖励。在RCIM、EAAI等机器人加工与智能制造顶级期刊中发表SCI论文9篇,其中一作6篇,EI论文8篇,授权发明专利7项。作为骨干深度参与国家重点研发计划项目、国家自然科学基金联合基金项目等数十项国家及省部级项目,主持中央高校基本科研业务费专项资金资助(研究生创新基金)重点项目一项。率队开展“喻竹计划”科技服务项目,服务地方企业科技发展。(信息摘自网页,如有错误或侵权可后台联系)目录1 摘要2 引言3 相关工作:表征学习4 方法4.1 问题描述4.2 平衡分布自适应方法框架4.3 种子替换4.4 所提出方法框架 4.4.1 结构冻结与参数迁移 4.4.2 融合损失函数 4.4.3 模型微调5 实验结果与分析5.1 数据描述和迁移任务定义 5.1.1 刀具磨损 5.1.2 电池容量5.2 对比方法 5.2.1 与其他方法的对比 5.2.2 参数设置5.3 模型预测结果6 结论1 摘要随着深度迁移学习的发展,模型在相似场景下的泛化能力显著提升。然而,针对回归任务,现有方法往往忽略边缘分布或条件分布的适配性。此外,由于过度依赖损失函数自动学习,领域知识的表征与学习过程缺乏主动性。本文提出一种基于种子替换的深度迁移回归方法(Deep Transfer Regression Method based on Seed Replacement, DTRSR)。DTRSR由四部分组成:结构冻结与参数迁移、深度特征提取、种子替换以及融合损失函数。先通过结构冻结和参数迁移在模型层面获得领域知识,然后在数据层面利用种子替换进行源域与目标域的知识学习,最后构建基于平衡分布适应的融合损失函数。此外,种子替换提升了知识学习的主动性,不再只依赖损失函数自动学习。研究在刀具磨损、电池容量数据集上,使用所提出的DTRSR与九种对比方法进行实验验证。结果表明,该方法在多数任务中性能优异,证实了其在回归任务中的有效性与应用潜力。关键词:深度迁移学习,回归,种子替换,平衡域自适应2 引言模型泛化性能差与数据需求量大是智能学习算法面临的两大核心挑战。针对上述问题,迁移学习应运而生。与传统智能算法不同,该方法充分考虑领域分布差异特性。根据目标域数据的可用性,迁移学习可分为两类:域适应和域生成。域适应更常用于实际应用场景,其通过少量目标域标注样本,实现源域知识向目标域的迁移。迁移学习主要应用于分类任务领域,近年来,由于工程领域对数值预测需求的增长,越来越多的研究聚焦于迁移学习在回归任务中的应用。该方法在频率响应预测、刀具磨损预测等回归任务中取得显著成效。然而,针对数据分布差异问题,现有方法通常假设边缘分布差异与条件分布差异中的某一项相似,而仅关注另一项的适配。例如,Wang等人在铣削力预测中通过关注边缘分布差异实现适配,Liu等人在设备健康预测中针对条件分布差异进行建模,根据以上讨论,将研究差距归纳如下:现有回归任务的研究未同时关注边缘分布与条件分布,导致领域知识学习不充分。模型训练仅依赖损失函数,对领域知识学习与表征缺乏主动探索。针对上述研究,本文提出基于种子替换的深度迁移回归方法(Deep Transfer Regression Method based on Seed Replacement, DTRSR),构建面向回归任务的平衡分布适应损失函数,实现领域知识的充分学习,通过种子替换结合聚类技术实现领域知识的主动表征与学习。主要的贡献如下:通过平衡域适应损失函数同步度量边缘分布差异与条件分布差异,实现领域知识的充分学习。采用种子替换技术,以聚类结构与聚类中心形式融合源域—目标域知识,实现领域知识的主动学习。提出DTRSR方法,从模型架构、数据表征和损失函数三方面构建充分且主动的回归任务学习框架。全文其余部分具体安排如下:第2节,综述迁移学习与回归任务领域相关研究。第3节,详述域适应理论、种子替换技术及DTRSR方法实现流程。第4节,基于三组数据集的实验设计与结果展示。第5节,实验结果分析与讨论。第6节,总结研究结论并展望未来方向。3 相关工作:表征学习随着迁移学习的发展,学术界日益关注什么是迁移和知识是如何呈现的两个问题。知识表征不局限于特征选择与神经网络自动提取,新的方法有:从数据结构的视角来表示领域知识成为新兴范式。基于图的域适应方法利用图结构的拓扑特性实现知识表征与学习,以及通过标签函数谱理论,实现图形式跨域知识迁移。 除了上述方法外,还有许多基于聚类的知识表示和学习方法,该方法不是关注单个样本,而是应用聚类来研究整个数据集,通过基于聚类的全局分析以及聚类结构实现知识表征与存储,并通过聚类中心匹配与局部流形自学习,获得目标域特征。为提升知识学习主动性,突破传统损失函数依赖,本文提出基于聚类的知识表征方法,通过聚类结构实现从被动优化到主动知识构建的范式转变,融合全局聚类模式与局部流形特征的多粒度知识表达。4 方法4.1 问题描述迁移学习定义:在迁移学习中,通常定义源域与目标域两组数据,而非传统的训练集/测试集划分。源域数学公式表示为: 其中, 为源域样本特征向量, 为对应标签, 为样本数量,所有样本均带标签,且数量充足(可训练鲁棒模型)。目标域数学公式表示为: 其中,含 个带标签样本,其余为无标签样本。所研究问题的挑战在于,有标记样本太少而无法训练鲁棒模型,并且目标域和源域在边际分布和条件分布方面存在差异,这在工程领域是常见的。分布满足: 和 。4.2 平衡分布自适应方法框架本文研究了两个域之间边缘分布和条件分布不同的问题。为了同时考虑边缘分布差异和条件分布差异,将分类任务中的策略应用于回归任务,计算和的加权 和 表达式如下: 其中, 是平衡因子,用来控制两类分布差异的权重。当 →1时, 则应更多地关注边缘分布差异。当 →0时,则域之间的边缘分布差异几乎可以忽略不计,但条件分布差异占主导地位,应更多地关注条件分布差异。 可以通过在 [0,1] 区间内以 0.1 的间隔采样来确定。此外它还可以通过随机猜测或最大最小平均法确定。4.3 种子替换 图1 种子置换过程(以C1-C4迁移任务为例): (a)源样本和标记的目标样本;(b)第一部分:聚类;(c)第二部分:匹配;(d)第三部分:替换。种子样本是目标域中少量带标签的样本,用于引导迁移过程,公式可以表示为: 种子替换是DTRSR算法的一部分。以刀具磨损数据集中的C1-C4任务为例进行数据分布可视化,描述种子替换的过程,使用t-SNE在3D特征空间降维。图1(a)中红色圆点为源域数据,蓝色圆点为带标签目标样本。在该实现中,首先通过k_means++将源域聚类到多个类中,其中多个类是标记的目标样本的数量,如图1(b)所示。聚类中心为 ,距离矩阵可以表示为: 接下来对距离矩阵按列进行最小化操作。当前聚类中心与已标记目标样本之间的对应关系通过下式确定: 其中, 表示欧氏距离,已标记目标样本与聚类中心的对应关系可表示为: 随后,计算每个源域样本与其对应聚类中心的偏差,得到: ,构造一个与源域数据 ,同态的零矩阵 ,并根据对应关系,将 叠加到对应的目标数据上。种子替换的伪代码详见算法1。算法1 种子替换 4.4 所提出方法框架 图2 拟定方法的流程图:(a)结构冻结和参数传递;(b)深度特征提取;(c)种子替换;(d)融合损失函数本节提出深度迁移回归种子替换方法。图2展示了DTRSR的流程图。从结构上看,该方法包含四个核心模块:(a)结构冻结与参数迁移,(b)深度特征提取,(c)种子替换以及(d)融合损失函数。由于深度特征提取模块仅用于从原始传感器数据中提取高维特征。其余三个模块的具体实现如下所述。 4.4.1 结构冻结与参数迁移在深度神经网络中,浅层网络负责通用特征提取,深层网络则与任务相关特征相关联。DTRSR框架中,浅层对应卷积块,深层对应附加在卷积块上的全连接层。 采用预训练与微调策略将知识从源域迁移至目标域。具体而言,源域预训练模型中卷积块的参数在模型训练过程中被冻结并保持固定,而源域模型全连接层的参数将作为目标模型的初始参数,如图2(a)所示。 4.4.2 融合损失函数完成结构冻结与参数迁移后,全连接层参数可通过微调策略进行学习。然而,本文研究的原始数据为传感器测量的时间序列信号,需通过卷积块提取通用特征,如图2(b)所示。本文选取第一个全连接层后的中间输出作为提取的特征数据,并对其应用种子替换操作如图2(c)所示。 本文损失函数由三部分组成。第一部分为标记目标样本与种子替换后新数据集的均方误(MAE)回归损失,其表达式为: 其中, 表示从提取特征到标签的映射函数。将种子替换后新数据集的回归损失纳入损失函数的原因是:新数据集既包含以聚类结构形式存在的源域知识,又包含以聚类中心形式存在的目标域知识。因此,该部分回归损失可使模型有效融合两域特征,更充分地继承源域与目标域的知识。此外,为对齐新数据集与标记目标样本间的边际分布差异,量化边际分布差异损失: 类似地,为对齐标记目标样本与未标记目标样本间的条件分布差异,量化条件分布差异损失: 通过上式,目标域中的标记样本可以准确表示所有目标域样本的分布。对边际分布差异和条件分布差异损失进行加权,得到整体平衡域适应损失: 综上所述,融合损失函数可表示为: 它由三个部分组成,即回归损失、平衡域适应损失和 L2 正则化,后者用于防止过拟合。 和 是权衡参数,用于调整回归损失和平衡域适应损失之间的大小关系,以防止模型训练朝着数值过大的方向发展; 是正则化系数。4.4.3 融合损失函数 在模型微调过程中,按照上述描述,卷积块 𝐶𝑜𝑛𝑣𝑆 的参数被冻结并迁移到目标模型。只有全连接层的参数从 𝐹𝑐𝑆 更新到 𝐹𝑐𝑇,通过最小化融合损失函数来实现,如公式 所示。DTRSR 的伪代码在算法 II 中给出。算法2 DTRSR 5 实验结果5.1 数据描述和迁移任务定义5.1.1 刀具磨损刀具磨损数据集来自2010年PHM挑战赛。提供了加工过程中六种不同刀具的原始数据,但只有三种刀具被标记,即C1、C4和C6。原始数据集中的传感信号以50 kHz的频率采样,包括铣削力信号x、y和z方向的振动信号以及加工过程中的声发射信号。在本文中,三个方向的铣削力信号被用作模型的输入,每个刀具的三个刀片的平均磨损值被选作输出,以构建迁移任务。5.1.2 电池容量电池容量数据集由NASA Ames研究中心的卓越预测中心构建,所有电池老化都是通过在室温下对电池进行多周期充放电实验来加速的。在电池运行过程中,收集了电压、电流和电池容量随时间变化等传感数据。选择NO.5,NO.6和NO.7电池放电阶段的电压传感数据作为输入,电池容量作为输出,以构建迁移任务。表1 本文所完成的迁移任务摘要 图3 两个公开数据集的分布差异矩阵。 (a)工具磨损数据集的边际分布差异;(b)工具磨损数据集的条件分布差异; (c)工具磨损数据集的边际分布差异和条件分布差异总和;(d)电池容量数据集的边际分布差异; (e)电池容量数据集的条件分布差异;(f)电池容量数据集的边际分布差和条件分布差之和两个研究的数据集构建了12个迁移任务,如表1所示。每个数据集的输入和标签及其维度也在表1中进行了总结。这12个迁移任务用于比较各种方法的性能。近似计算每个数据集中任务的边缘分布差异和条件分布差异,分布差异矩阵如图3所示。每个方格代表两个对应任务之间的分布差异。由于分布差异的存在,非对角线的单元格以不同的颜色显示。若一个方块的颜色不是蓝色,则两个对应任务之间存在分布差异,且该差异与具体数值无关。因此可以得出结论:所研究的三个数据集在边际分布和条件分布方面均存在差异。必须同时考虑边际分布差异和条件分布差异。5.2 对比方法5.2.1 与其他方法的对比为客观、准确地评估DTRSR的性能,选取了九种方法进行对比。这些方法可分为三类:一种基准方法、五种消融实验方法以及三种最先进的方法。具体描述如下:直接预测(Predict directly, PD)指直接使用训练好的源模型对目标任务进行预测,该方法被定义为基准方法。五种消融实验定义如下:(1)重新训练模型(Re-training the model, RT):选取目标域中少量标注样本从头训练新的回归模型。(2)微调全连接层(Fully Connected Layers, FC):迁移训练好的源模型参数,并基于少量目标域标注数据微调全连接层参数,仅考虑回归损失。(3)边缘分布适配:在微调全连接层时,仅将边缘分布差异加入损失函数。(4)条件分布适配:在微调全连接层时,仅将条件分布差异加入损失函数。(5)平衡分布适配:在微调全连接层时,对边缘分布差异和条件分布差异进行加权后加入最终损失函数。三种最先进的方法描述如下:迁移成分分析:基于最大均值差异进行高维特征映射,随后使用传统机器学习方法预测目标域任务。深度适配网络(Deep Adaptation Network, DAN):在全连接层采用多核MMD技术,以适配不同域间的分布差异。两阶段TrAdaBoost.R2:通过自适应样本权重更新策略和基于Boosting的算法学习目标域知识。通过五项消融实验与基线方法对比,验证各模块有效性。这三种SOTA方法分别涵盖:基于特征的迁移学习,基于模型的迁移学习,基于样本的迁移学习,用于验证DTRSR方法的性能。对于无法处理原始数据的模型,论文采用预训练模型卷积块提取的高维特征。采用以下指标评估方法性能:使用目标域预测任务的平均绝对误差,平均绝对百分比误差,均方根误差,决定系数。当R²越接近1,MAE/MAPE/RMSE值越小表示性能越优。当R²小于0时,预测结果劣于均值预测。5.2.2 参数设置表2 每个数据集的预训练模型的结构由于不同数据集的数据特征不同,我们分别定义了不同的模型结构(如表2所示)。同一数据集中的不同任务采用相同模型结构,以确保结果的可比性。除了结构差异外,超参数设置对所有方法的性能至关重要。针对本文研究的数据集:边际分布核函数通过搜索最优σ值(在[0.5,1.5]范围内以0.1为步长)选定为 ,其中核函数形式为 ,条件分布核函数采用 ; 参数统一设置为1;学习率在预训练阶段分别设为2e−2、2e−3和2e−2,微调阶段设为2e−3、2e−4和2e−3;正则化系数 分别设为1e−4、1e−4和1e−5;训练轮数统一设为100;超参数 、 、 分别通过[0.1,1]、[100,1000]和[0,1]区间搜索确定, 取1、0.9、0.3(步长0.1), 取200、300、500(步长100), 取0.1、0.2、0.2(步长0.1),最终选用Adam优化器最小化融合损失函数。5.3 模型预测结果 表3 DTRSR在18项任务中的平均结果为验证DTRSR在回归任务中的有效性,每个任务通过随机选取不同标记目标样本进行10次实验。表3展示了DTRSR的平均结果(最优结果以粗体标注)。 图4.不同方法对18项任务的平均MAE,包括(a)工具磨损、(b)电池容量 此外,图4对比了所有方法在12个任务上的平均MAE(平均绝对误差)。6 结论本文提出了一种基于种子替换的深度迁移回归方法DTRSR,该方法采用平衡域适应策略。首先,通过结构冻结和参数传递,在模型级将源域的知识传递到目标域。其次,通过种子替换在数据级主动继承源域和目标域的知识。最后,在融合损失函数中加入考虑边缘分布差异和条件分布差异的均衡分布自适应,在损失函数层面实现了对领域知识更充分的学习。总之,领域知识是积极和充分的学习,通过DTRSR在模型,数据和损失函数的水平。DTRSR已在两个公共数据集(刀具磨损和电池容量)上进行了验证,并在12个任务中的大多数任务上实现了最佳性能,这验证了其在回归任务中的有效性和巨大潜力。此外,对结果的分析表明,DTRSR在性能稳定性和效果显著性方面具有很大的优势,预示着DTRSR在相关工程领域应用的巨大可能性和前景。然而,DTRSR在模型时间消耗和噪声数据鲁棒性方面存在一些局限性。在未来的研究中,我们将对DTRR的结构进行优化,以减少训练时间,并分析噪声对模型性能的影响。此外,我们将继续探索更多领域知识学习方法的可能性。编辑:曹希铭校核:李正平、陈凯歌、赵栓栓、赵学功、白亮、任超、海洋、冯珽婷、陈宇航、陈莹洁、王金、赵诚、肖鑫鑫该文资料搜集自网络,仅用作学术分享,不做商业用途,若侵权,后台联系小编进行删除来源:故障诊断与python学习

未登录
还没有评论
课程
培训
服务
行家
VIP会员 学习计划 福利任务
下载APP
联系我们
帮助与反馈