首页/文章/ 详情

综述 | 故障预测与健康管理的类ChatGPT大模型:综述和发展路线图(上)

1月前浏览1120

    本期给大家推荐李彦夫教授的故障预测与健康管理的类ChatGPT大模型:综述和发展路线图(上)近年来,基于人工智能(Artificial Intelligence, AI)故障预测与健康管理(Prognostics and Health Management, PHM)方法取得了显著成就。ChatGPTDALLE-E等大模型(Large-Scale Foundation Models, LSF-Models)的出现,标志着AIAI-1.0进入了AI-2.0的新时代,深度模型从单模态、单任务、有限数据的研究范式迅速演变为多模态、多任务、海量数据和超大模型的范式。然而,PHM领域对于如何应对这一重大变革尚未达成共识。因此,本文阐述了LSF-Models的关键组件和最新发展,系统地回答了如何构建适用于PHM任务的LSF-Models,并概述了这一研究范式面临的挑战和未来发展路线图。

    论文链接:通过点击本文左下角阅读原文进行在线阅读及下载

    论文基本信息

    论文题目:
    ChatGPT-like large-scale foundation models for prognostics and health management: A survey and roadmaps

    论文期刊:Reliability Engineering and System Safety

    论文日期:2024年

    论文链接https://doi.org/10.1016/j.ress.2023.109850

    作者:Yan-Fu Li (a, b), Huan Wang (a, b), Muxia Sun (a, b)

    机构:

    a: Department of Industrial Engineering, Tsinghua University, Beijing 100084, China;

    b: Institute for Quality and Reliability, Tsinghua University, Beijing 100084, China

    通讯作者邮箱: huan-wan21@mails.tsinghua.edu.cn

    作者简介:

    李彦夫清华大学质量与可靠性研究院院长、清华大学工业工程系长聘教授。2011-2016年任教于法国巴黎中央理工与高等电力学院。长期致力于系统可靠性、预测性维护(PdM)理论与方法的研究。代表性论文发表在《Production and Operations Management》、《INFORMS Journal on Computing》、《IEEE Transactions》系列、《IISE Transactions》等国际著名期刊,其中ESI高被引6篇,2019-2023年连续入选爱斯维尔中国高被引学者榜单,2020-2022连续入选美国斯坦福大学发布的全球前2%顶尖科学家榜单。出版专著2部,编著教材2部,授权发明专利11项。主持国家自然科学基金重点项目、国家重点研发计划课题以及市场监管总局委托项目。与华为、南方电网等头部企业长期合作,多项研究成果企业应用转化。获得中国运筹学会应用奖、省部级科技进步二等奖1项,以及多项国际国内学会论文奖项。服务质量强国战略,开展质量政策研究,多项资政报告成果被市场监管总局、全国人大财经委等部门采纳。担任可靠性旗舰期刊《Reliability Engineering & Systems Safety》和《IEEE Transactions on Reliability》副主编、中国系统工程学会系统可靠性专委会副主任委员、中国质量奖评审专家。

    目录

    1 摘要

    2 引言

    大模型的关键组成部分

    3.1 基于Transformer的特征提取

    3.2 基于自监督学习的特征表示

    3.3 多模态融合

    4 大模型的进展

    4.1 NLP中的大模型

    4.2 CV中的大模型

    4.3 研究趋势与未来方向

    5 PHM领域的大模型

    5.1 用于PHM的大规模数据集

        5.1.1 研究现状

        5.1.2 解决方案

    5.2 用于PHM的Transformer

        5.2.1 研究现状

        5.2.2 解决方案

    5.3 用于PHM的自监督学习

        5.3.1 研究现状

        5.3.2 解决方案

    5.4 用于PHM的多模态融合

        5.4.1 研究现状

        5.4.2 解决方案

    (以上标记章节为本文内容)

    6 挑战与未来路线

    总结

    1 摘要

    故障预测与健康管理(Prognostics and Health Management, PHM)技术在工业生产和维护中至关重要,它能够识别和预测潜在的设备失效及损坏,从而实施主动维护措施,提高设备可靠性并降低生产成本。近年来,基于人工智能(Artificial Intelligence, AI)的PHM方法取得了显著成就,并广泛应用于铁路、能源、航空等多个行业的状态监测、故障预测和健康管理。ChatGPT和DALLE-E等大模型(Large-Scale Foundation Models, LSF-Models)的出现,标志着AI从AI-1.0进入了AI-2.0的新时代,深度模型从单模态、单任务、有限数据的研究范式迅速演变为多模态、多任务、海量数据和超大模型的范式。ChatGPT因其出色的自然语言理解能力成为这一研究范式的标志性成果,为通用AI带来了希望。然而,PHM领域对于如何应对这一重大变革尚未达成共识,需要系统的综述和路线图来阐明未来的发展方向。因此,本文阐述了LSF-Models的关键组件和最新发展,系统地回答了如何构建适用于PHM任务的LSF-Models,并概述了这一研究范式面临的挑战和未来发展路线图。

    关键词:故障预测与健康管理;故障诊断;大模型;表征学习

    2 引言

    故障预测与健康管理(Prognostics and Health Management, PHM)是确保工业设备安全可靠运行的关键技术[1, 2]。通过全面监测和管理设备,PHM可降低设备失效概率,减少生产停机时间,从而提高设备可靠性和生产效率,为企业创造显著经济效益[3, 4]。随着工业设备日益精密复杂,运行监测数据量不断增长,工业数据分析、设备状态监测和健康管理的自动化成为必然需求[5]。这种自动化能够显著降低工业资产的维护成本,提高设备状态识别和故障预测的效率与准确性,增强设备运行的可靠性和安全性。

    近年来,随着机器学习(Machine Learning, ML)和深度学习(Deep learning, DL)技术的进步,PHM发展迅速[6, 7],实现了工业设备状态的自动监测和故障预测,极大地提升了工业资产维护的智能化水平。自20世纪初以来,ML技术在实现PHM的智能识别和决策方面发挥了关键作用[8, 9]。基于ML的PHM模型主要包括特征工程和ML模型两个核心部分。特征工程利用统计分析和信号分析技术[10, 11]从工业监测数据中提取与健康相关的特征信息,ML模型则使用支持向量机(Support Vector Machines, SVM)[8, 9]、K-近邻(K-nearest Neighbor,KNN)[12, 13]等各种预测和识别模型来实现智能决策。这一研究范式使PHM初步实现自动化,减少了工业设备维护中的人力需求。然而,仍需手动进行特征工程限制了PHM处理大规模数据的能力。ML模型有限的学习能力使其难以适应大数据时代的挑战。

    自2012年以来,DL技术[14, 15]凭借其强大的数据分析、特征提取和智能决策能力,颠覆了各个研究领域的范式。DL通过构建多层神经网络结构实现对复杂数据的自动特征提取和模式识别,能够自动处理高维、非线性和大量数据,并具有自适应和泛化能力。因此,DL已成为PHM的主流工具[7, 16, 17],不断提高工业资产维护的自动化和智能化水平。针对不同的PHM应用和任务,人们提出了各种深度网络模型,如自编码器[18, 19]、卷积神经网络(Convolutional Neural Networks, CNNs)[20-24]和循环神经网络(Recurrent Neural Networks, RNNs)[25, 26]等。自编码器通过数据压缩或重构实现无监督表征学习,在数据降噪、降维和异常检测等任务中表现出色[27]。CNN基于卷积理论,通过权值共享和分层学习实现高效的时空特征提取,适用于工业设备的健康监测、故障预测与诊断以及剩余使用寿命(Remaining Useful Life, RUL)预测[28]。RNN擅长编码长距离时序特征,非常适合分析和处理各种时序信号[29],因此在各种工业PHM应用中得到广泛使用。DL技术通过构建端到端的智能决策模型,显著减少了工业PHM应用中的人力需求[30]。然而,现有的DL模型在多任务、泛化性和认知能力方面仍存在局限性。因此,如何突破这些限制,实现具有高泛化和认知能力的综合多任务智能模型是一个亟待解决的问题。

    在过去两年中,GPT-3[33, 34]和ChatGPT[35, 36]等大模型(Large-Scale Foundation Models, LSF-Models)[31, 32]通过流畅的文本对话展示出高度智能的自然语言理解能力。大规模多模态文本和图像理解模型,如GPT-4[37]、DALL-E-2[38]和Segment Anything模型(Segment Anything Model, SAM)[39],进一步展示了这一研究范式在多模态对话、图像生成和分割方面的非凡成就。基于人工智能(Artificial Intelligence, AI)的深度模型已从单模态、单任务、有限数据的研究范式(AI-1.0)迅速发展为多模态、多任务、海量数据和超大模型的研究范式(AI-2.0)。图1清楚地展示了这两种研究范式之间的差异。AI-2.0的核心是具有跨域知识的LSF-Model,它能够理解数据的一般概念,并在无需额外训练的情况下对未见过的数据实现零样本泛化[39]。该模型的实现主要基于以下三个关键部分:强大的特征提取模型[40, 41]、无监督表征学习算法[42]和多模态融合(Multi-Modal Fusion, MMF)算法[43, 44]。此外,大量未标记或标记的多模态数据是这一发展的先决条件。然而,如何在PHM中构建具有跨域知识的LSF-Model仍是未知的,对于如何开发适用于PHM领域的特征提取、表征学习和MMF算法,也缺乏足够的研究和分析。此外,PHM领域应如何应对AI领域的这一巨大变化尚无定论,且缺乏系统的文献综述以及未来研究方向的路线图。为填补这一空白,本文首先介绍了LSF-Models的关键组成部分和前沿进展,然后系统地回答了如何构建适用于PHM领域的有效的LSF-Models。我们还详细阐述了这一研究范式将面临的挑战和未来发展路线图。我们主要使用学术数据库(如 Web of Science 和Google Scholar)搜索相关研究工作。为确保综述论文的前沿性和新颖性,引用的大多数论文都在过去五年内。文献搜索过程中使用的关键词包括PHM, large-scale model, Transformer, self-supervised learning以及其他与大模型和PHM相关的关键词。

    图1 从AI-1.0到AI-2.0,DL的研究范式发生的巨大变化  

    具体而言,本文的主要贡献如下:

    (1)对LSF-Models的三个关键组成部分及其各自的研究进展进行了全面综述。

    (2)结合PHM的实际情况,系统分析并回答了如何构建适用于工业PHM应用的有效的LSF-Models。

    (3)讨论了PHM中LSF-Model研究的路线图,并详细分析了这一研究范式面临的挑战和解决方案。

    (4)尽我们所知,这是第一篇讨论LSF-Models在PHM领域应用和研究的综述论文,有望为该领域的研究提供有价值的指导。

    本文其余部分组织如下:第2节重点介绍LSF-Models的关键组成部分;第3节回顾LSF-Models的研究进展;第4节系统地回答如何在PHM中实现LSF-Models;第5节全面讨论PHM中LSF-Model研究面临的挑战及其未来路线图;第6节给出结论。

    3 大模型的关键组成部分

    LSF-Models是一类由数十亿参数组成的大规模DL模型[32]。这些模型在大量数据上进行训练,以捕捉数据的复杂关系和一般概念,从而具备跨任务和跨域的零样本泛化能力。LSF-Models的发展得益于多种技术的进步,包括计算硬件的提升、大数据的可用性、表征学习的发展、模型架构的改进以及MMF算法的进步。计算硬件的提升和大数据的可用性是LSF-Models的基本条件[45],这主要得益于近年来计算硬件和互联网的发展,为实现LSF-Models提供了硬件基础和数据基础。此外,算法和神经网络的发展在LSF-Models的开发中也发挥了不可或缺的作用。例如,Transformer架构的提出为大模型提供了强大的特征提取能力[41],自监督学习(Self-supervised Learning, SSL)促进了大模型强大的无监督特征表征能力的发展[42],MMF算法使大模型能够跨模态交互。此外,其他算法(监督学习、强化学习)和优化算法对于改进LSF-Models也至关重要。在构建模型时,需要根据任务和数据选择合适的算法。

    3.1 基于Transformer的特征提取

    Transformer[46]是一种基于自注意力机制的强大网络模型,最初应用于序列建模和自然语言处理(Natural Language Processing, NLP)[47]等领域。图2展示了Transformer的基本架构,它是一种典型的编码器-解码器架构,编码器和解码器由多个Transformer块组成。编码器将输入序列编码为隐藏向量表示,解码器则合成隐藏向量的上下文信息以生成序列信息。每个Transformer块包含多头注意力(Multi-head Attention, MHA)机制、前馈神经网络(Feed-Forward Neural Network, FFNN)、残差连接[48]和层归一化[49]。


    图2 Transformer、自注意力模型和多头注意力模型的架构细节(图来自[21, 46])

    Transformer的开创性架构设计使其能够获得出色的特征提取性能,从而吸引学者不断改进和优化其关键组成部分。注意力机制是Transformer的核心,其主要改进方向包括:(1)稀疏注意力[50]:致力于在注意力机制中引入稀疏性偏差;(2)线性化注意力[51]:专注于优化自注意力的特征交互以实现线性复杂度;(3)优化MHA机制[52, 53]:重点是使不同的注意力头能够充分捕获不同的有价值特征;(4)注意力机制的替代方案[54, 55]:致力于寻找新的方案以实现更快、更高效的全局信息交互机制。此外,学者们在改进和优化Transformer的激活函数[56, 57]和FFNN[58]方面也做了大量工作。除了对Transformer内部核心组成部分的研究,优化Transformer的整体架构也是一个研究重点[59]。

    随着视觉Transformer(Vision Transformer, ViT)[60]的提出,Transformer逐渐被引入图像处理[41]、视频分析[61]等相关领域,并在这些领域表现出色。为此,各种ViT架构如雨后春笋般涌现[40]。例如,Liu等[62]提出了一种基于移位窗口的新型分层Transformer架构,可广泛适用于各种视觉应用。Transformer模型已发展成为一个超大系统,并出现了大量的研究工作,详细综述和分析可参考相关综述论文[41]。

    3.2 基于自监督学习的特征表示

    SSL[42]是一种无监督学习,通过从未标记数据中生成监督信号来发现有效的特征表示。与需要大量标记数据的传统监督学习不同,SSL利用未标记数据的丰富信息,减少对人工标记数据的依赖。通常,SSL通过设计一个前置任务,使模型在解决该任务的过程中获取有价值的表示。SSL的流程图如图3所示。SSL在计算机视觉(CV)和NLP中有许多经典算法,主要包括以下方法:

    图3 以PHM应用为例的SSL算法流程图  

    掩码语言建模(Masked Language Modeling, MLM):该方法的基本概念是在输入序列中随机掩码特定的单词或字符,然后提示模型预测被掩码的标记[63, 64]。MLM是当前NLP领域最流行的预训练方法之一。除MLM外,还有一些相关的SSL方法,如下一句预测[65, 66]和回译[67]等,这些技术可用于预训练NLP应用,以增强模型的泛化能力和性能。

    自回归模型:该方法常用于NLP领域的预训练,它根据给定的上下文预测下一个单词[68, 69]。例如,GPT[68]就是一种典型的基于自回归的方法,通过这种方式,GPT能够学习丰富的上下文相关信息,并在NLP应用中取得了显著成功。XLNet[69]引入了广义自回归预训练技术,突破了基于Transformer的双向编码器(Bidirectional Encoder Representations from Transformers, BERT)的限制,实现了更好的上下文依赖学习。

    自编码器:自编码器是一种经典的表征学习算法,由编码器和解码器组成[70, 71]。编码器将输入数据映射到潜在空间,解码器从潜在空间重构输入数据。这些算法通过最小化重构误差从图像中学习有价值的特征表示。Lin等[71]提出了一种掩码自编码器预训练策略来处理文本和视觉数据,实现了多模态特征表示。

    对比学习:该方法旨在将相似样本映射到相近的空间,将不相似样本映射到较远的空间[72]。这有助于模型学习数据之间的差异和变化,从而提高模型的泛化能力和性能[73]。一般来说,对比学习方法包括两个阶段:构建对比对和训练模型。在对比对构建阶段,通常使用随机数据增强等技术生成相似和不相似的样本对。在随后的模型训练阶段,通常采用对比损失函数来最小化相似样本对之间的距离,并最大化不相似样本对之间的距离。

    基于图像增强的自监督方法:这些方法主要包括旋转预测、图像着色、图像拼图、图像修复和图像超分辨率等。这些方法作为前置任务,利用了图像数据的固有特性。旋转预测[74]通过旋转输入图像并预测旋转角度,使模型学习图像的旋转不变性;图像着色[75]通过为灰度图像添加合适的颜色,获取有价值的上下文信息,增强模型对数据的理解;图像拼图[76]将图像分割成块并重新组装,让模型学习不同图像部分之间的关系,提高其捕获图像特征的能力;图像修复[77]旨在掩盖或去除图像中的特定区域,教导模型推断和填充缺失部分,从而增强其理解图像特征的能力;图像超分辨率[78]专注于从低分辨率数据生成高分辨率数据,使模型能够更有效地学习详细的图像信息。

    SSL的优势在于能够利用数据的固有特性,使模型从大量未标记数据中学习通用和高质量的数据特征以及潜在关系,这有助于模型更好地理解数据的本质和规律,显著降低了人工标注数据的成本。这一特性也使得SSL适用于大规模数据集,在LSF-Models的研究中发挥着至关重要的作用。因此,出现了大量与SSL相关的研究工作,详细综述和分析可参考相关综述论文[42]。

    3.3 多模态融合

    MMF[79, 80]是一种整合来自不同模态(如文本、图像、音频和视频)信息的技术,旨在提高模型性能和泛化能力。MMF旨在通过利用多个数据源之间的互补信息提取更全面的特征表示,从而提高模型在各种应用中的性能。到目前为止,MMF方法包括以下几种:

    早期融合:在输入层整合来自不同模态的信息,以获得全面的多模态表示,随后将其输入到深度神经网络中进行训练和预测。

    晚期融合:在各自的神经网络中独立提取和处理来自不同模态的特征,并在输出层融合这些特征以获得最终预测结果。

    注意力融合[81, 82]:利用注意力机制对来自不同模态的信息进行加权融合,增强重要信息的权重,以获得更准确的多模态表示和预测结果。

    异构融合[83, 84]:在异构图上结合来自不同模态的信息,考虑不同模态的特征和相互关系,从而获得更准确的多模态表示和预测结果。

    基于提示的方法[85, 86]:将自然语言提示引入模型以提高其性能。在MMF任务中,提示可以引导模型生成准确的跨模态预测结果。

    在LSF-Models研究中,MMF算法通常需要具备以下特性:多源,能够同时融合来自多个源的数据;多级,可以在不同特征级别融合多模态数据,提高数据处理和分析的准确性和效率;多样性,能够处理来自多种模态(如图像、语音、文本等)的数据。可以看出,对MMF的研究使模型能够从多个角度理解现实世界的各种一般概念。就像人类拥有视觉、听觉、触觉等感觉器官一样,通用AI模型无疑将具有强大的多模态信息感知能力。

    4 大模型的进展

    在前一节中,我们讨论了构建LSF-Models所必需的几个关键组成部分。本节将概述LSF-Models在NLP和CV领域的进展,以展示这些领域的最新发展趋势和方向。

    4.1 NLP中的大模型

    由于互联网技术的进步,获取超大规模文本数据变得越来越方便,这使得LSF-Models在NLP领域取得了显著进展[87, 88]。当前的大语言模型(Large-scale Language Models, LSLMs)能够高效、准确地完成各种NLP应用[89]。目前,NLP领域已经出现了大量的LSF-Models,主要模型如下:

    BERT系列模型:BERT[90]是一种基于预训练双向Transformer架构的语言模型。BERT通过预训练从大量未标记文本中获取通用语言表示,其预训练任务包括MLM和下一句预测。此外,研究人员对BERT进行了广泛的研究,并引入了许多增强变体,如RoBERTa[91]和ALBERT[92]。

    GPT系列模型:GPT系列是OpenAI开发的基于Transformer的预训练语言模型集 合,主要包括GPT 3.0[33]、GPT 3.5(ChatGPT)[35]和最新的GPT-4[37]。图4展示了GPT 3.5的三个训练步骤及其详细信息。GPT 3.5展示出了强大的自然语言理解能力,而最新的GPT-4集成了图像理解能力,具备高度智能的多模态信息处理能力。

    图4 ChatGPT的训练算法流程图,其核心是基于人类反馈的强化学习(图像来自[35])

    ERNIE系列模型:ERNIE系列是百度基于Transformer架构开发的预训练语言模型。该系列包括ERNIE 1.0[93]、ERNIE 2.0[94]和ERNIE 3.0[95]等。这些模型遵循大规模预训练语言模型的一般步骤,并结合了新的预训练方法、知识图谱和知识蒸馏技术来提高模型性能。

    此外,许多公司和研究机构也开发了大量高质量的LSLMs。例如,Meta公司最近发布了LLaMA模型[96],该模型拥有高达650亿的参数量。同样,华为提出了万亿参数语言模型[97],在各种中文NLP任务中表现出色。目前,LSLMs正在不断改进和优化,详细综述和分析可参考相关综述论文[98, 99]。

    4.2 CV中的大模型

    在本节中,将综述边缘计算在机器信号采集和无线传输中的方法。随着低功耗芯片和高能量密度电池的快速发展,越来越多的机器使用IoT节点进行状态监测[58],[59]。IoT节点可以分布式安装,方便更换或调整,无需复杂的电源和信号电缆布线。

    受自然语言处理领域中LSLMs取得巨大成功的启发,研究人员探索了LSF-Models在计算机视觉领域的应用[39, 100, 101]。同样,视觉大模型涉及在大规模图像数据集上进行表征学习,以实现跨域和高级语义理解,同时具备多任务处理能力。

    2023年,Meta AI发布了首个大规模通用视觉图像分割模型——SAM[39,100]。他们还发布了最大的图像分割数据集,其中包含1100万张图像和10亿个掩码。图5展示了SAM的算法流程图。SAM作为一个单一模型,在交互式和自动分割方面表现出色,尤为突出的是它对图像数据中的一般概念有深刻的理解,能够为任何图像或视频中的任何对象生成掩码,即便这些对象在训练期间未曾出现过。这种零样本泛化能力,使得无需为微调模型而进行特定领域的数据的收集。

    图5 SAM的算法流程图(来自文献[39, 100]),可以根据输入提示输出分割结果

    对比语言-图像预训练(Contrastive Language-Image Pretraining, CLIP)[102]是OpenAI开发的一种多模态预训练模型。CLIP 通过对比学习,将匹配的图像和文本(正例)与不匹配的图像和文本(负例)进行比较,从而学习视觉和语言的联合表示。该模型在从互联网上收集的4亿张图像和文本数据集上进行训练,并且能够对未见过的数据进行零样本泛化,实现准确的图像和文本的匹配。

    DALL⋅E[101]是OpenAI提出的基于Transformer和生成对抗网络(Generative Adversarial Network, GAN)的图像生成模型。DALL⋅E模型的核心是双流Transformer架构,其中一个流用于处理文本输入,另一个流用于处理图像生成。它能够自动理解人类自然语言描述的对象、场景和情况,并生成高质量的图像。

    目前,这种范式的主流模型包括ViT-BERT[103]、BLIP[104]等。这些模型大多基于Transformer架构设计,通过预训练学习获得视觉和语言的交叉表示,并在各种任务中进行微调。它们在视觉和语言的各种应用中表现良好,为正确的视觉和语言理解奠定了坚实的基础。

    4.3 研究趋势与未来方向

    当前大规模模型的研究趋势主要朝着多模态、超大模型和特定领域应用方向发展。多模态模型旨在将不同的数据类型,如文本、图像、音频等,整合到一个统一的模型中,以实现跨模态的理解、生成和处理。例如,类似于CLIP模型的视觉-语言表征学习模型正在迅速发展,旨在实现图像和自然语言之间的跨模态理解和交互。此类模型极大地扩展了大规模模型的应用范围和潜力。

    此外,研究人员不断突破模型规模的界限,包括构建更大的神经网络和更多的参数,以提高性能。为了解决超大模型的计算和存储需求,研究人员还致力于开发模型压缩和加速技术,以便在资源受限的环境中运行大规模模型。

    最后,大规模模型在特定领域应用中具有巨大潜力,这已成为大规模模型研究的一个新热点。目前,大规模模型已在医疗保健、自动驾驶和智能交通等领域成功应用,并有望在各个行业释放出卓越的应用潜力。  

    5 PHM领域的大模型

    5.1 用于PHM的大规模数据集

    5.1.1 研究现状

    与NLP和CV领域不同,PHM中的数据通常是由各种传感器收集的高频或低频时序数据,如振动信号、声音信号、电流和电压、温度、压力等。此外,一些应用尝试使用视频和图像数据来实现设备健康监测,如轨道缺陷监测[106]、缺陷产品识别[107]和设备裂纹监测[108]。目前,PHM社区已经开源了数十个不同规模和领域的数据集,如轴承故障数据集[109]、飞机发动机退化数据集[110]、三相电机故障数据集[111]、风力涡轮机监测数据集[112]等。然而,这些数据集的规模非常小,难以满足LSF-Models训练和优化的需求。因此,构建PHM大规模数据集是实现LSF-Models的第一步。

    物联网技术[113]的出现使得大量传感器被安装在当代工业生产设备和各种复杂机械设备上,以便实时监测系统的各种物理量,及时发现异常情况。因此,大多数大型企业已经收集了大量的工业数据并建立了相应的数据中心。例如,中国的城市轨道列车拥有数十年的运营经验和积累的实际运行数据,生成了海量且全面的数据集[114]。现在,一辆列车可以实时监测和记录数百个与其子系统、组件和外部环境相关的变量,如轴承油温、变速箱噪音以及各种系统的电流和电压。同样,轨道检测车可以在较长距离内获取诸如轨距、水平和高度等密集参数。这些大规模数据集为构建LSF-Models提供了有价值的信息,包括列车子系统和组件的实时状态、退化过程和相互依存关系。

    尽管这些工业数据在LSF-Models以解决各种PHM任务方面具有巨大潜力,但仍需要进一步探索。工业数据可能包括各种传感器数据,如信号、图像、视频以及大量文本信息,如维护工单和报告。因此,构建能够有效利用这些多传感器数据的LSF-Models带来了新的挑战。此外,单个数据中心的数据规模可能对于构建LSF-Models来说是有限的。例如,GPT3.0[33]的训练数据超过4100亿个标记,而GPT3.5[35]的训练数据可能远远超过GPT3.0。为了解决这个问题,跨中心或跨区域的联合深度模型训练和优化是一种可行的解决方案。然而,这些工业数据通常涉及商业机密,因此政府和企业已经制定了严格的数据保护 法规,这极大地限制了工业数据的共享和使用。

    此外,必须强调工业数据的质量。由于工业硬件的固有局限性和苛刻的运行条件,收集的数据往往无法满足深度模型有效训练和优化的要求。工业数据通常存在许多缺陷,如缺失值、异常值和意外的信号波动。为了解决这一挑战,Zou等[115]提出利用KNN和局部异常因子方法来填补间隙和识别电力变压器数据中的异常值。同样,Zeng等[116]通过应用异常检测技术和插补缺失值来增强对高炉炼铁过程的识别。因此,对工业数据质量进行全面调查并采用实用方法来提高其整体质量至关重要。

    5.1.2 解决方案

    虽然LSF-Models在自然语言处理和计算机视觉领域取得了有前景的结果,但PHM数据与前两者有很大不同。因此,有必要根据PHM领域的独特数据特征优化和改进LSF-Models的关键组成部分,以在该领域实现良好的性能。这需要探索适合PHM的新型特征提取模型、SSL算法和MMF算法。此外,在工业领域,学术界已经建立了前沿的算法设计和数据分析能力,而工业界积累了大规模的工业监测数据。因此,建立校企联合研究中心以充分发挥各自的优势,将有效应对现有挑战,并显著促进PHM中LSF-Model的研究。

    此外,LSF-Models的实施需要访问大规模数据。在利用这些数据的同时确保数据隐私保护是另一个值得关注的关键问题。与NLP和CV领域不同,在这些领域相关数据可以从互联网上大规模获取,而PHM数据集掌握在设备运营商手中,它们通常很珍贵并且可能包含商业机密。此外,随着对数据隐私和安全的关注度不断提高,监管机构已经出台了新的法律来规范数据的管理和使用[117]。因此,有必要开发符合严格隐私保护 法规的解决方案,并解决数据碎片化和隔离的挑战。联邦学习[118, 119]是一种具有隐私保护和安全加密的分布式机器学习框架,是一种可能的解决方案。它允许分散的参与者在不向其他参与者披露私有数据的情况下合作进行机器学习模型训练。目前,已经在PHM中提出了基于联邦学习的数据隐私保护解决方案[120, 121]。图6展示了基于联邦学习的多车辆和多中心数据隐私安全保护架构。然而,现有的大多数联邦学习算法尚未在实际的工业大规模数据分析中部署。因此,促进大规模工业数据分析和LSF-Models的建立需要学术界和工业界的共同努力。

    图6 面向多车多中心数据隐私安全保护的联邦学习框架流程图

    5.2 用于PHM的Transformer

    5.2.1 研究现状

    Transformer[46]是一种专门用于对长距离特征相关性进行建模的深度学习模型,它能够对信号中任意两个位置之间的相关性进行建模,而不受特征之间实际物理距离的限制。其高效的长短期依赖建模能力使其非常适合分析和处理PHM中的各种传感器数据[21]。因此,Transformer在PHM中得到了广泛应用,并取得了令人瞩目的性能结果。例如,Jin等[122]提出了一种基于时间序列的Transformer模型,与传统的CNN和RNN相比,该模型具有更优的故障识别能力。Wang等[21]提出了一种基于Transformer的高速列车车轮磨损预测模型,该模型结合了Transformer和CNN的优势,能够有效地编码全局和局部信息。Fang等[123]对Transformer进行了优化,并提出了一种基于Transformer的轻量级故障诊断框架,该框架在降低计算复杂度的同时实现了高效准确的故障诊断。

    尽管在PHM中取得了显著成功,但Transformer在处理工业时间序列数据时的长距离依赖建模仍然不足,并且存在一些需要解决的局限性。首先,Transformer模型主要是为处理静态输入数据(如文本)而设计的,虽然它可以通过位置编码纳入时间信息,但它没有直接考虑时间信息[124]。因此,在处理工业时间序列数据时,Transformer难以充分学习数据的连续时间关系。其次,Transformer模型可能对含有噪声的工业数据表现不佳。在实际的工业生产过程中,含有噪声的工业数据很常见,而Transformer在处理这类数据时可能不够鲁棒。第三,如前所述,工业数据通常包含多种类型的传感器数据和大量文本信息,这对Transformer架构的设计提出了新的挑战。Transformer通常不能同时处理大量传感器数据。

    5.2.2 解决方案

    由于自注意力机制在考虑序列中位置之间的关系时存在限制,难以捕捉时间轴上的相关时间关系。为了解决这个问题,可以采取以下几种方法。首先,可以将时间编码机制集成到Transformer模型中,以促进对时间关系的直接学习。其次,可以探索有效的时间注意力机制,以在Transformer架构内捕获数据之间的时间依赖关系。最后,可以探索基于Transformer的时间序列模型,同时考虑传感器数据的特点。这些模型需要专门设计用于处理时间序列数据,整合全局时间序列信息,并改进时间相关性的建模。
    工业领域收集的数据通常包含复杂的噪声。这与NLP和CV领域不同,在这些领域数据通常是干净的。因此,大多数现有的DL模型在处理时间序列信号中的噪声或无关信息干扰方面能力不足。在传统的信号分析中,已经提出了各种方法来去除信号噪声并提取有价值的信息,这些方法包括频域滤波[125, 126]、快速傅里叶变换(Fast Fourier Transform, FFT)[127]、小波变换[10]等。因此,将Transformer与信号分析技术深度融合可能是一种有前途的解决方案。例如,Wang等[128]通过将小波变换与DL模型融合,在噪声环境中取得了良好的性能,其提出的多层小波模型如图7所示。然而,如何赋予Transformer更先进的信号分析能力仍有待进一步研究。

    图7 融合了小波和CNN的多层小波模型的架构(图像来自[128])

    最后,为了同时处理多传感器数据和工业文本数据,必须重新设计Transformer架构并创建多模态Transformer[129, 130]。有几种可行的解决方案,包括基于Transformer的多模态嵌入、基于Transformer的跨模态预训练和基于Transformer的多模态注意力。多模态嵌入将各种传感器数据编码并嵌入到Transformer架构中,以同时表示多传感器数据。跨模态预训练利用各种传感器数据对Transformer进行预训练,以从不同数据类型中学习有价值的信息,然后将其应用于下游的多传感器数据处理。多模态注意力是一种常见的解决方案,通过利用注意力权重实现多传感器信息的自适应融合。  

    5.3 用于PHM的自监督学习

    5.3.1 研究现状

    如前所述,在工业生产和设备运行过程中会收集大量的传感器监测数据。然而,学术界和工业界都在努力充分利用这些大量的运行数据来构建PHM模型。主要挑战包括缺乏标记数据、存在噪声以及数据量巨大。因此,现有深度模型难以从这些数据中有效提取有用信息。SSL[42, 72]能够从大量未标记数据中自动学习有价值的特征表示,已成为构建PHM基础模型的核心算法。目前,SSL已经在PHM中得到了研究和应用[131-133],并展示出了令人印象深刻的性能。例如,Zhang等[134]开发了一种结合先验知识的自监督算法,在小标记数据集上表现出良好的故障识别能力。Wang等[135]提出了一种用于自监督表征训练的新型前置任务,能够有效地从未标记信号中提取有价值的信息。同时,Ding等[131]开发了一种基于对比学习的预训练算法,在识别轴承早期故障方面显示出了潜力。
    然而,它需要设计有效的前置任务来学习有用的特征表示。当前的前置任务可能无法充分捕捉与故障和健康相关的信息,特别是在复杂的工业系统中。此外,SSL模型可能对噪声敏感,在数据质量较差的情况下,可能会影响学习到的特征表示,从而降低故障诊断和健康管理的性能。另外,现有的SSL算法在处理包含多种传感器模态的现实工业数据方面存在困难。因此,开发能够处理此类工业数据的有效SSL算法是一个关键的研究重点。

    5.3.2 解决方案

    研究LSF-Models的根本目的是实现小/零样本泛化。因此,在设计模型和算法时需要解决的首要问题是:什么样的模型和算法能够实现零样本泛化[39]。类似于自编码器的架构[27],特别是与信号重建、信号补全、信号去噪等相关的架构,是一种有效的解决方案。然而,它们的特征表示过程与健康信息缺乏直接关联。因此,在开发前置任务时,必须确保与设备健康具有最大相关性。

    在PHM中,频域是比时域更能有效反映设备健康状态的方法。因此,在构建SSL前置任务时,必须全面考虑信号频域信息。有几种潜在的解决方案。1)开发一种深度频域空间学习模型,如基于小波的CNN[128, 136, 137],它能够直接学习频率特征并捕获数据中的频率信息。2)构建依赖于信号频域数据的前置任务,如重构频域信息。3)创建基于信号时频一致性[138]的对比学习算法,以便对时间序列数据进行有效的自监督训练。此外,对于多传感器信号,可以利用多传感器数据的相关性来构建前置任务。例如,一种方法是利用一部分传感器数据来预测其他传感器数据的值。这有助于模型学习多个传感器之间的直接相互依赖关系。最后,不同的SSL算法可以表示数据的不同特征信息。组合多种SSL算法可以帮助模型学习更多样化的特征表示,提高下游任务的性能。因此,使用各种算法对模型进行全面预训练是一种很好的解决方案。

    5.4 用于PHM的多模态融合

    5.4.1 研究现  

    工业领域的数据可能包含多种传感器数据类型(如信号、图像、视频等)和大量文本信息(如维护工单、维护报告等)。因此,与NLP和CV相比,PHM领域更强调多传感器数据的信息融合,以全面了解设备健康状态。目前,已经有一些工作探索了多传感器信息的融合[139-141]。例如,Guan等[139]提出了一种基于峰度加权算法和金字塔原理的多传感器多尺度融合模型,在轴承健康识别方面表现出很强的性能。Long等[142]利用希尔伯特变换和FFT从多传感器信号中提取有价值的频率信息,然后开发了一种基于注意力的模型用于故障识别。Kumar等[141]同时考虑振动和声音信号,利用小波变换作为特征提取器,随后应用机器学习方法进行故障诊断。

    然而,大多数现有的数据集仅包含一到三个传感器的数据,远远无法满足实际工业应用的需求。此外,随着传感器数量的增加,不同传感器产生的数据可能具有不同的分布、尺度和信噪比。适当的预处理方法和融合策略对于提升PHM模型的性能至关重要。在工业领域,MMF算法必须考虑各种工业传感器信息(如信号、图像、文本等)的融合。然而,现有的研究对于这一挑战缺乏足够的解决方案和优化策略。

    5.4.2 解决方案

    在PHM中实现有效的多传感器数据融合需要在数据融合、特征融合和模型融合方面做出全面努力。以下解决方案可以增强模型的多传感器融合能力:

    (1)对于数据级融合,可以使用归一化、对齐、变换和降维等方法来整合不同模态的数据。对齐方法将不同模态的数据对齐到一个共同的坐标系中。变换和降维可以用来去除冗余信息并将其映射到一个共享的特征空间。

    (2)根据特定任务和数据特征构建适当的注意力机制,以实现高效的多传感器相关建模并融合来自传感器的有价值特征。这种机制使模型能够捕捉传感器之间的相关性并突出相关特征。

    (3)优化模型的结构和参数,以更好地适应不同传感器数据的特征。此外,对于不同的传感器数据,可以构建不同的模型,然后使用MMF算法在这些模型之间建立连接,实现多传感器信息融合。

    (4)探索基于知识图谱和图注意力模型组合的算法。知识图谱使用图结构对实体之间的关系和属性进行编码,以组合来自不同层次的信息。图注意力模型进一步对图结构进行编码,以提取高级融合特征。

    最后,上述解决方案都是通用的,需要根据特定的数据和应用充分结合Transformer和SSL,以实现MMF的最佳性能。



    编辑:陈宇航
    校核:李正平、陈凯歌、赵栓栓、曹希铭、赵学功、白亮、任超、海洋、Tina、陈莹洁、王金、赵诚
    该文资料搜集自网络,仅用作学术分享,不做商业用途,若侵权,后台联系小编进行删除


    来源:故障诊断与python学习
    ACTSystemSLM振动非线性化学旋转机械电源通用航空电力ANSA芯片海洋UM裂纹理论电机人工智能
    著作权归作者所有,欢迎分享,未经许可,不得转载
    首次发布时间:2025-03-08
    最近编辑:1月前
    故障诊断与python学习
    硕士 签名征集中
    获赞 77粉丝 100文章 183课程 0
    点赞
    收藏
    作者推荐

    综述 | 物理信息-数据驱动的剩余使用寿命预测综述:挑战与机遇(上)

    本期给大家推荐司小胜教授团队的物理信息-数据驱动的剩余使用寿命预测综述:挑战与机遇(上)。基于物理信息-数据驱动的剩余寿命预测已经成为预测领域的一个新兴话题。然而,目前还没有专门针对这一话题的系统综述。为了填补这一空白,文章回顾了基于物理信息的数据驱动剩余寿命预测方法的最新进展。将这类方法大致分为三类,即物理模型和数据融合方法、基于随机退化模型的方法和基于物理信息的机器学习(Physics-Pnformed Machine Learning, PIML)方法。尤其以基于PIML的方法为中心进行综述。通过讨论现有方法的优缺点,讨论了指导物理信息-数据驱动的剩余寿命预测方法未来发展的挑战和可能的机遇。论文链接:通过点击本文左下角的阅读原文进行在线阅读及下载。论文基本信息论文题目:A review on physics-informed data-driven remaining useful life prediction: Challenges and opportunities论文期刊:Mechanical Systems and Signal Processing论文日期:2024年1月论文链接:https://doi.org/10.1016/j.ymssp.2024.111120 作者:Huiqin Li (a), Zhengxin Zhang (a), Tianmei Li (a), Xiaosheng Si (a)机构:a: Zhijian Laboratory, Rocket Force University of Engineering, Xi’an 710025, PR China通讯作者邮箱: zhengxinzhang@tsinghua.org.cn (Z. Zhang).sixiaosheng@126.com (X. Si). 作者简介:司小胜,火箭军工程大学教授、博士生导师。2014年博士毕业于火箭军工程大学控制科学与工程学科(与清华大学联合培养)。近年来,主要从事随机退化系统剩余寿命预测与健康管理方面理论及应用研究,在EJOR、RESS、IEEE汇刊等国内外重要期刊发表论文50余篇,2篇论文为IEEE可靠性汇刊/EJOR近20/10年被引最多论文,出版中英文专著各1部,谷歌学术引用6200余次。先后主持国家自然科学优秀青年基金1项,完成国家自然科学基金面上项目2项,获国家自然科学二等奖(2019,排名3)、教育部自然科学一等奖(2018,排名3)、CAA自然科学一等奖(2016,排名3)、CAA优秀博士论文等。目前担任中国自动化学会技术过程的故障诊断与安全性专业委员会及大数据专业委员会委员,国际权威期刊《Mechanical Systems and Signal Processsing》编委(Editorial Member)。目录1 摘要1.1 RUL预测的发展趋势1.2 RUL预测的现有方法1.3 与现有关于 RUL 预测综述论文的差异1.4 本文的动机和贡献2 物理信息驱动的 RUL 预测概述2.1 物理模型和数据融合方法2.2 基于随机退化模型的方法2.3 基于 PIML 的方法3 物理模型和数据融合的RUL 预测方法3.1 通用物理模型3.2 数据驱动的测量模型与物理模型的结合3.3 数据驱动模型与物理模型的决策级融合4 基于随机退化模型的 RUL 预测方法4.1 基于随机退化模型的 RUL 预测方法基础4.2 随机系数回归模型4.3 维纳过程4.4 Gamma 过程4.5 逆高斯过程(以上标记章节为本文内容)5 基于 PIML 的 RUL 预测方法6 挑战与机遇讨论7 总结摘要剩余寿命(Remaining Useful Life, RUL)预测,长期以来一直被认为是预测和健康管理(Prognostics and Health Management, PHM)中的关键技术之一。对保障系统的安全性和可靠性,降低运行和管理成本至关重要。随着传感和状态监测技术的迅猛发展,数据驱动的RUL预测引起了人们的广泛关注,并研究了各种数据驱动的RUL预测方法。尽管学者们对数据驱动的RUL预测方法进行了广泛的研究,但这些方法的成功应用在很大程度上取决于数据的数量和质量,纯粹的数据驱动方法可能产生物理上不可行/不一致的RUL预测结果,并且具有有限的推广性和可解释性。值得注意的是,越来越多的人认为,将物理或领域知识嵌入到数据驱动方法中,并开发基于物理信息的数据驱动方法,将有望提高RUL预测结果的可解释性和效率,并降低对数据量和质量的依赖。在这种背景下,基于物理信息-数据驱动的RUL预测已经成为预测领域的一个新兴话题。然而,目前还没有专门针对这一话题的系统综述。为了填补这一空白,本文回顾了基于物理信息的数据驱动RUL预测方法的最新进展。本文将这类方法大致分为三类,即物理模型和数据融合方法、基于随机退化模型的方法和基于物理信息的机器学习( Physics-Informed Machine Learning, PIML)方法。由于基于PIML的方法在过去五年中得到了快速的发展,因此本文尤其以这类方法为中心进行综述。通过讨论现有方法的优缺点,讨论了指导物理信息数据驱动的RUL预测方法未来发展的挑战和可能的机遇。关键词:预测,剩余寿命,物理信息,数据驱动,可解释性1 引言随着第四次工业革命的重大进展和现代制造技术的不断提高,航空航天系统、工业机器人、风力发电系统、高速列车等大型复杂装备日益呈现出自动化、集成化、智能化的发展趋势。然而,由于各种内外因素的影响,包括机械磨损、疲劳、蠕变损伤、变载荷、动态运行环境、大扰动、外部冲击等,这些系统的性能在其生命周期内会随着运行时间的推移而下降。这种性能下降将损害系统的健康,最终导致系统失效,如果不采取措施,甚至会造成灾难性事故和重大经济损失。因此,主动健康管理技术对于确保这些关键系统的运行可靠性和安全性至关重要[1]。为了确保关键系统运行可靠性和安全性,预测和健康管理(PHM)应运而生,作为一种系统故障排除技术,PHM通过诊断、预测和系统健康管理[2]等三个关键成分有效预防意外故障。其中,预测是通过监测系统健康状况,评估在预期使用条件下其健康状态的退化程度来预测系统的剩余寿命(RUL)的过程。基于预测信息,可以积极地做出与安全、状态维护、备件订购和寿命延长相关的健康管理决策,以提高工作效率,降低系统的运行风险和成本[3]。在下文中,我们首先讨论了RUL预测的一般发展趋势和现有RUL预测方法的主要原理,然后阐明了本文与现有关于RUL预测综述论文的区别。最后,我们介绍了本文的动机和相关贡献。1.1 RUL预测的发展趋势在PHM中,RUL预测长期以来一直被认为是PHM中保障系统安全性和可靠性、降低运营和管理成本的关键技术之一[4]。近年来,RUL预测已成为研究热点,越来越受到学术界和工业界的关注。在学术研究方面,Web of Science数据库是一个国际公认的数据库,反映了科学研究的发展,包括各个领域的大部分研究论文。因此,我们选择Web of Science数据库来分析RUL预测领域的已发表论文。为了避免数据库更新的影响,所有出版物的收集都是在2022年12月完成的。为了确保数据的权威性和准确性,本文使用Web of Science Core collection作为主要数据来源,包括2003年至2022年的出版物。为确保检索到的文献与本研究密切相关,定义为“articles not related with the RUL prediction were excluded by checking titles and abstracts”,具体的纳入标准为[主题=(“remaining useful life” OR“residual useful life” OR“RUL”)] AND [发表类型=(文章)OR(综述)OR(论文集)] AND [语言=(英语)] AND [发表年份=(“2003-2022”)]。根据上述标准,本文统计了过去20年中关于RUL预测主题的出版物数量,如图1所示。图1 Web of Science中关于RUL预测主题的出版物数量从图1中可以看出,自2003年以来,每年关于RUL预测的出版物总数呈明显增长趋势,特别是自2013年以来呈指数级增长趋势。与此同时,在工业应用方面,RUL预测技术已被应用于许多重要领域,包括但不限于航空航天系统[5-7]、工业机器人[8,9]、风力发电系统[10-12]、高速列车[13,14]等。学术和工业领域的这些进步反映了RUL预测主题日益重要和普及。1.2 RUL预测的现有方法一般来说,系统的RUL是指从当前时间到性能退化故障时间 的时间间隔,这是预先未知的[15],即 。因此,RUL预测的主要任务是在系统仍在运行时(即 )根据与系统退化相关的信息预测剩余时间 。准确预测退化系统的RUL对于及时安排维护和备件补充,确保系统安全可靠运行和节省运营成本具有重大的理论意义和实际应用价值。为了实现准确的RUL预测,现有文献中已经开发了大量的预后方法,大致可分为三类,即基于物理的方法、数据驱动的方法和混合方法[16,17]。基于物理的方法通过分析系统的物理故障机制并基于第一性原理对其物理模型进行建模来表征相关的退化过程,从而实现RUL预测。这类经典模型主要包括裂纹扩展模型[18]、轴承动力学模型[19]、磨损模型[20]、电化学模型[21]等。通常,如果能够充分理解物理故障机制或领域知识,并且可以在测量数据的帮助下估计相关物理模型中的参数,则基于物理的方法可以实现对RUL的准确、可推广和可解释的预测。然而,在大多数情况下,特别是对于复杂的工程系统,它们的物理故障机制和领域知识是不完整的,甚至几乎不可用[22]。在这种情况下,已建立的物理模型不可避免地被迫进行一些简化或做出一些假设。因此,相关的物理模型必然是对现实的近似,这不仅会引入偏差并降低RUL预测的性能,还会使故障物理难以理解和分析,特别是由于不同系统(甚至属于同一类型)的潜在退化过程存在很大的异质性。所有这些方面都限制了基于物理的RUL预测方法的广泛应用。随着传感和状态监测技术的进步,可以更容易、更经济地获得与系统退化过程相关的监测数据,这些退化监测数据有望提供有关系统寿命的丰富信息。因此,如果可以适当地对这种退化数据进行建模,则可以相应地预测相关系统的RUL。这提供了一种经济可行的方法来缓解对物理知识完整性要求很高的基于物理的方法和具有足够故障时间数据的传统寿命数据拟合方法的局限性。基于监测数据,在过去的几十年里,人们对开发各种数据驱动的RUL预测方法进行了广泛的研究[23]。数据驱动的RUL预测的一般过程如图2所示。在这个过程中,首先通过各种传感器对退化系统进行监测,以获取传感信号来收集状态监测数据,然后通过适当的信号处理算法(如归一化和平滑)对监测数据进行预处理。利用预处理后的数据,提取退化特征,以表征相关系统的退化过程。最后,通过对系统的退化过程进行建模,可以根据退化处理超过预定义故障阈值或故障标签的时间来预测RUL。图2 数据驱动的RUL预测流程图目前,数据驱动的RUL预测方法主要包括统计数据驱动方法和基于机器学习(Machine Learning, ML)的方法。统计数据驱动方法的基本思想是利用随机模型来拟合退化指标的演变过程,然后将退化过程外推到定义的故障阈值,从而实现RUL预测,其中模型参数是基于监测数据估计的[24]。这种方法的主要优点在于能够提供退化过程的可视化形式,并通过获得RUL的概率分布来量化预后不确定性,这是RUL预测的基本要求,因为RUL预测对应于未来故障事件的预测,并且本质上具有不确定性。另一个优点是,模型参数在一定程度上具有可解释性,例如反映退化速度和时变动力学的参数,这种可解释的机制将有助于理解退化失效过程和预测结果。然而,随机退化模型的选择和退化建模统计假设的合理性是影响此类方法预测性能的重要方面。更重要的是,统计数据驱动方法的成功在很大程度上取决于退化指标的可用性,其趋势是增加还是减少。换句话说,这种退化指标的质量对统计数据驱动方法的预测准确性有固有的影响,但这种方法从监测数据中提取所需退化指标的能力相对有限。随着工业4.0[25]、网络物理系统(Cyber-Physical System, CPS)[26]和物联网(Internet of Things , IoT)[27]的进步,随机退化系统的状态监测数据的可用性提高已成为现实,从而推动了RUL预测研究进入大数据时代。在大数据的背景下,基于机器学习的RUL预测,特别是深度学习(Deep Learning, DL),已成为预测领域的热点话题,并且已经进行了大量的研究来开发各种基于机器学习(ML)的RUL预测方法[28]。通常,基于机器学习的RUL预测方法是通过使用神经网络等机器学习模型建立从监测数据到RUL信息的映射关系来实现的。作为代表,DL方法已被证明是一种强大的工具,可以处理高维非线性的监测数据,从海量数据中自动提取深度退化特征,或实现端到端的预测,从而减少人为干预[29]。这种方法的主要优点在于,当无法完全掌握潜在的失效物理或领域知识时,模型拟合具有很强的灵活性和通用性。因此,在过去五年中,观察到基于机器学习或更精确地说基于深度学习的RUL预测研究的爆炸性增长并不奇怪。然而,众所周知,基于机器学习的方法以黑盒方式运行,并且缺乏透明度和可解释性[30]。尽管ML模型中的每个组件相对简单,但整个模型的结构仍然非常复杂,以至于其设计者和用户可能无法完全理解。因此,在实践中经常采用精度-可解释性权衡。此外,基于机器学习的方法的性能在很大程度上取决于监测数据的数量和质量,如果没有带标签的代表性数据,则无法保证这些方法的预后性能。特别是,很容易观察到,ML模型在训练/测试数据集上看起来很好(即使在交叉验证之后),但在可用的标记数据之外表现不佳,甚至产生物理上不可行/不一致的RUL预测结果。因此,如何提高基于机器学习的方法对未知数据的泛化能力仍然是一个非常具有挑战性的问题。最后但同样重要的是,在大多数基于机器学习的RUL预测研究中,尽管在某些应用中可以实现令人满意的精度预测结果,但由于机器学习模型的确定性结构,很难提供预测RUL的概率分布。因此,尽管RUL预测的不确定性量化是协助评估PHM应用中故障风险的关键问题,但通过基于ML的方法量化预后不确定性的能力是有限的。从上述讨论中可以看出,纯物理方法和纯数据驱动方法在模型建立、模型假设、数据要求、可推广性、可解释性等不同方面都有各自的优缺点。在这种情况下,一个自然的想法是将这两种方法结合起来,利用基于物理的方法和数据驱动的方法的优点来提高RUL预测性能。因此,已经开发了结合基于物理和数据驱动方法的混合方法来预测RUL。Liao和Kottig[31]对故障预测的混合方法进行了全面的综述,并使用基于物理的数据驱动和方法的各种组合介绍四类混合方法。混合方法的主要优点是,随着这些方法的集成,预测的RUL对模型假设和数据选择策略等可能的影响具有鲁棒性。结合上述讨论,当前的基于物理的方法、数据驱动的方法和混合方法在应用于RUL预测时各有优缺点。表1总结了四类现有RUL预测方法的优缺点。表1 关于RUL预测方法的优缺点总结1.3 与现有关于 RUL 预测综述论文的差异在过去的十年中,许多学者综述了各种 RUL 预测方法,表 2 列出了一些具有代表性的 RUL 预测方法综述,这些综述具有不同的方法侧重点。具体而言,Si 等人 [32] 系统地回顾了依赖于现有监测数据和统计模型的统计数据驱动的 RUL 预测方法。Liao 和 Kottig [31] 全面回顾了混合方法驱动的 RUL 预测研究,并通过在电池退化案例中的应用说明了混合方法的潜在优势。Cubillo 等人 [33] 总结了旋转机械常见的故障模式和退化机制,重点讨论了基于物理的 RUL 预测模型及其在齿轮和轴承中的应用。Zhang 等人 [34] 重点介绍了基于维纳过程的退化数据分析和 RUL 预测方法的建模进展及其在 PHM 领域的应用。Lei 等人 [35] 系统地回顾了从数据采集到 RUL 预测的机械整个预测过程。Guo 等人 [36] 回顾了工程系统预测建模方法的进展和应用,并根据故障物理知识是否纳入 RUL 预测讨论了数据驱动、基于物理和混合方法的优势和局限性。Kordestani 等人 [37] 对数据驱动、基于物理和混合方法进行故障预测的研究进行了调查,并强调了相关的重要应用领域。Wang 等人 [38] 比较了用于锂离子电池 RUL 预测的深度学习算法的不同自适应数学模型。Ferreira 和 Gonçalves [39] 为基于 ML 的 RUL 预测过程提出了一个明确的通用过程分析框架,并讨论了最相关的 ML 方法的优缺点。Guo 等人 [40] 系统地回顾了通过基于物理的模型和数据驱动模型的不同组合方法进行电池寿命预测的“灰箱”寿命建模的进展。Wang等人 [41] 全面概述了数据驱动方法和相关的建模过程,并讨论了物理模型和数据驱动模型的结合及其在金属材料疲劳寿命预测中的应用。表2 关于 RUL 预测的典型综述论文总结虽然表 2 中的综述文章并未详尽收录文献中出现的所有综述论文,但无疑反映了 RUL 预测领域的重要性、繁荣和快速发展。然而,值得注意的是,现有的关于 RUL 预测的综述主要集中在数据驱动方法上,而没有强调物理知识的整合。此外,除了 [31,40,41] 之外,大多数综述只是从结合数据驱动和基于物理的方法的角度部分讨论了混合方法的进展,对物理知识整合的讨论不足。虽然 Liao 和 Kottig [31] 专注于系统地讨论混合方法,但由于该综述 [31] 发表已九年多,因此没有涵盖近年来混合方法的最新研究进展。最新的综述 [40,41] 包括了通过基于物理的模型和数据驱动模型的不同组合方法进行寿命预测的最新进展,但涉及的方法仅限于电池或金属材料的应用,因此不具有对其他应用的通用性。更重要的是,即使现有综述中经常讨论混合方法,但这些方法基本上是通过简单地组合不同的方法来实现的,因此预测性能将受到单一方法性能的限制。因此,物理知识是以浅层方式集成的,而不是以嵌入物理知识来指导数据驱动方法实施的深度集成方式。1.4 本文的动机和贡献分析迄今为止对RUL预测的研究,尽管取得了重大进展,但机遇与挑战并存。特别是德国工业4.0、美国工业互联网、中国制造2025、日本超智能社会5.0等新工业革命,为RUL预测的先进技术以及大数据驱动下提出的以知识为中心的智能技术提供了发展机遇[42]。在此背景下,维持工业系统安全可靠运行的需求为发展RUL预测的先进技术提供了机遇。在新工业革命的背景下,当工程系统发生性能退化时,就会收集大量的监测数据,然而实践中的监测数据普遍表现出多源异构[43]、低值密度[44]、不完整性[45]、数据质量低等特点,难以使用纯数据驱动的方法准确有效地预测相关系统的RUL。实际上,系统从运行状态到故障的演化通常遵循一些物理规律或化学机制,实践中可能存在一些物理知识或领域知识。在数据或知识可用的情况下,可以为建模和预测任务设计一些新的途径。例如,基于大数据的分析和挖掘,可以进行问题建模和预测,获得数据中蕴含的知识。此外,可以利用物理或领域知识来辅助数据建模和预测,形成闭环机制,实现数据和知识的深度融合,如图3所示。图3 数据与知识的深度融合机制值得注意的是,虽然图 3 中提出的本质思想与跨行业标准数据挖掘流程 ( Cross-Industry Standard Process for Data Mining, CRISP-DM) 方法论 [46] 在从数据中获取知识方面相似,但这里的主要区别在于,图 3 中的每个步骤在预测的背景下都是不可逆和不可或缺的,总体上形成了数据和知识集成的闭环,但 CRISP-DM 方法论中每个阶段的顺序并不固定,取决于前一阶段特定任务的输出是否是下一阶段的必要输入。另一个不同之处在于,除了表明基于数据挖掘分析可以从数据中获取知识外,图 3 还强调了使用物理知识帮助数据建模和预测实现数据和知识的深度融合的重要性,而这在 CRISP-DM 方法论中是缺失的。在图 3 所示的新范式中,引入物理知识可以有效缓解纯数据驱动模型带来的问题。通过专业机制支撑数据建模,有望减少模型训练所需的数据,提高预测结果的可靠性、鲁棒性和可解释性。此外,与混合方法中的浅层组合不同,将物理知识嵌入到数据驱动建模中实现深度集成,有望使已建立的预测模型生成物理一致的结果。因此,将物理或领域知识嵌入数据驱动方法、发展物理信息化的数据驱动方法,有望提高RUL预测结果的可解释性和效率,降低对数据量和质量的要求,已逐渐成为共识。在此背景下,物理信息化数据驱动的RUL预测已成为预测领域的一个新兴课题,近三年来物理信息化数据驱动的RUL预测研究呈急剧上升趋势。最近,Xu 等人 [47] 回顾了物理信息机器学习方法在可靠性和系统安全性应用中的最新进展,并指出此类方法在可靠性和系统安全性评估方面的快速发展。然而,很少有人关注物理信息机器学习技术在 RUL 预测任务中的应用。从以上讨论和分析中可以得出结论,物理信息数据驱动的 RUL 预测主题将成为未来的新热点。然而,目前还没有专门针对这一新兴主题的系统综述,至少没有深入探讨。为了填补这一空白,本文回顾了物理信息数据驱动的 RUL 预测方法的最新发展,以促进开发用于预测研究的新型物理信息数据驱动方法。这是本文的主要贡献。考虑到关于这个主题的研究有很多名称,包括“物理引导”、“物理信息”、“物理感知”、“物理嵌入”、“物理继承”等,我们将在整个综述中使用术语“物理信息”以保持一致。具体而言,根据物理或领域知识与数据的集成机制,目前属于这一类型的方法大致分为三类,即物理模型和数据融合方法、基于随机退化模型的方法和基于物理信息机器学习 (Physics-Informed Machine Learning, PIML) 的方法。特别地,本综述以基于 PIML 的方法为中心,因为此类方法在过去五年中发展迅速。通过讨论现有方法的优缺点,我们全面讨论了可能的机会和挑战,以引导物理信息数据驱动的 RUL 预测方法的未来发展。2 物理信息驱动的 RUL 预测概述在本部分中,我们尝试对本文讨论的物理信息数据驱动的 RUL 预测方法进行概述。广义上,根据所采用的表征退化现象的模型以及物理或领域知识与数据的集成机制,有三种实现物理信息数据驱动的 RUL 预测的思路。第一,基于底层故障机制建立物理模型,并通过融合监测数据来校准模型参数。第二,基于领域知识和历史监测数据建立可解释的随机退化模型。第三,将物理或领域知识集成到 ML 方法中,建立监测数据与 RUL 之间的映射关系以实现预测。因此,本文将现有的物理信息数据驱动的 RUL 预测方法分为三类,即物理模型和数据融合方法、基于随机退化模型的方法和基于物理信息机器学习 (PIML) 的方法。物理信息数据驱动的 RUL 预测方法的详细分类如图4所示。图4 物理信息数据驱动的 RUL 预测方法的分类按照图 4 所示的分类,对物理信息数据驱动的 RUL 预测主题进行文献计量分析,主要基于 Web of Science 数据库中的搜索结果。为了更加完整,考虑到 Web of Science 数据库仅包含已发表的论文和已接受的早期访问论文,我们在此额外包含了与物理信息数据驱动的 RUL 预测相关的在线可用论文,这些论文不一定发表在同行评审的期刊或会议上,例如从 Google Scholar 和 arXiv 搜索到的论文。图 5 展示了与本文涉及的三种物理信息数据驱动的 RUL 预测方法相关的出版物饼图。图5 本文涉及的三种基于物理信息的数据驱动RUL预测方法的相关出版物与图 1 中统计的与 RUL 预测整个领域相关的 10,000 多篇论文结果不同,图 5 统计了 106 篇与物理信息数据驱动的 RUL 预测研究密切相关的论文。但值得注意的是,关于物理信息数据驱动的 RUL 预测方法的详尽参考文献收集仍然难以实现,本文可能并未包括近年来的所有出版物。主要原因之一是物理信息数据驱动的 RUL 预测主题引起了越来越多的关注,并且有更多与该主题相关的研究论文正在涌现。尽管如此,图 5 中的统计结果仍然表明了每个类别的大致比例,并有望反映物理信息数据驱动的 RUL 预测的发展趋势。我们希望本文的观点和讨论能够促进开发新的物理信息数据驱动的预测方法。在以下小节中,分别对三个类别进行简要概述,以了解每个类别的总体思想以及我们认为这些方法是物理信息数据驱动方法的原因。2.1 物理模型和数据融合方法物理模型与数据融合方法主要基于随机退化系统的失效机理建立物理模型,并结合监测数据对物理模型参数进行估计。通过物理模型与监测数据的融合,利用系统的实时监测数据更新物理模型参数,从而预测在役系统的RUL。根据物理模型与监测数据融合机制的不同,此类RUL预测方法又可分为两类:数据驱动的测量模型与物理模型的结合方法和决策层的数据模型与物理模型的融合方法。表征退化至失效过程的常见物理模型包括疲劳裂纹扩展的 Paris 模型 [48] 和 Forman 模型 [49]、电池容量退化的经验老化模型 [50]、轴承失效的动态模型 [51] 等。常见的参数更新方法包括贝叶斯方法 [52]、卡尔曼滤波 [53]、粒子滤波 [54] 等。由于使用物理模型来表示退化过程,物理模型和数据融合方法用于 RUL 预测可以具有整合物理知识的天然优势。同时,在役系统的监测数据也可用于校准物理模型。因此,物理模型和数据融合方法属于物理信息数据驱动方法的基本方法之一。2.2 基于随机退化模型的方法工程实践中,动态环境和各种不确定因素引起失效物理的变化,由于对退化过程的认识有限或不完整以及退化过程的异质性较大,难以建立准确的退化系统物理模型。在此情况下,应用随机退化模型来表征退化过程,为描述不确定运行环境中的故障产生机制和特征提供灵活性。利用基于监测数据估计参数的随机退化模型,通过求解所表征的退化过程达到预定失效阈值的概率分布,可预测RUL。从物理退化现象来看,由于内部应力和外部环境的综合作用,系统性能退化是不可避免的,相关退化变量的监测数据将呈现增加或减少的趋势。这可以看作是从物理现象中归纳出来的领域知识。受这些领域知识的启发,各种随机模型被开发来描述这种退化现象,包括随机效应回归模型[55]、维纳过程模型[56]、伽马过程模型[57]、马尔可夫链模型[58]、随机滤波器模型[59]、逆高斯过程模型[60]等。此外,已经证明,随机模型能够描述物理退化过程的必要性质是数学中的无限可分性[61]。具有这种性质的代表性模型包括维纳过程模型、伽马过程模型、逆高斯过程模型等。例如,由于良好的数学性质和物理可解释性,维纳过程可以很好地描述退化过程的非单调动态特性,被广泛应用于滚动轴承、惯性陀螺和激光器的RUL预测。与维纳过程不同,Gamma 过程和逆高斯过程描述的是严格单调的退化过程,通常用于模拟疲劳裂纹扩展、腐蚀磨损等不可逆过程的退化。其中,Gamma过程为纯跳跃过程,退化轨迹不连续,因此,该模型可用于描述连续小冲击引起的缓慢退化过程和大冲击引起的严重损伤。随机冲击达到过程可以用泊松过程近似。在泊松过程中,每次冲击对系统造成的损伤都是微小的、随机的。因此,复合泊松过程可用于描述随机冲击及其相关损伤对系统退化的影响。Ye和Chen[62]证明了逆高斯过程是复合泊松过程的极限分布,这为系统在随机环境下运行的逆高斯退化建模提供了明确的物理解释。从以上对基于随机退化模型的方法的一般性讨论中可以看出,这些方法通常用随机退化模型代替物理模型来表示失效过程。然而,基于随机退化模型的方法的共同点在于,所采用的随机退化模型都是从物理现象中衍生出的领域知识中获取灵感。此外,随机退化模型的选择取决于退化监测数据的特征和模型的物理性质。基于所选的随机退化模型,可以根据历史退化数据估计模型参数,并根据在役系统的实时监测数据进行更新。结合以上讨论,可以看出系统的随机退化过程具有以下特点:(1)系统的退化过程随运行时间逐渐增大或减小,退化速率和退化波动往往具有时间相关性;(2)系统性能退化特征的物理或化学性质可能导致退化路径呈现凸或凹的非线性变化趋势;(3)由于复杂的监控机制和各种不确定因素,系统的退化初始值、退化速率和退化波动一般具有随机性;(4)环境条件和应力可能直接加速或抑制系统的退化过程,导致退化过程具有复杂的特性,包括多个阶段、退化量的厚尾特性等。上述特点是客观存在的,很大程度上源于相关系统预期物理机制的变化。因此,发展能够描述退化系统上述普遍特征的随机退化模型自然具有一定的物理可解释性,即具有物理学意义。总之,我们观察到基于随机退化模型的方法利用领域知识,在进行 RUL 预测时具有数据驱动的性质。因此,在本综述论文中,我们将基于随机退化模型的方法视为另一类基于物理的数据驱动方法。2.3 基于 PIML 的方法近年来,由于机器学习方法具有快速前馈特性和强大的数据驱动能力,被广泛应用于复杂系统的RUL预测。一般而言,基于机器学习的RUL预测方法通过利用机器学习模型建立从监测数据到RUL信息的映射关系来进行RUL预测。然而,传统的基于机器学习的方法忽略了系统底层的退化机制,由于没有将领域特定知识考虑进建模过程,导致相关预测缺乏透明度和可解释性。为了解决传统基于机器学习方法中存在的问题,将物理或领域知识嵌入机器学习模型的开发中受到了研究界的广泛关注,即PIML。虽然PIML的理念提出不久,但由于其潜在的优势,已在流体力学[63]、生物医学[64]、断裂力学[65]、电力系统[66]、地球物理学[67]等多个科学领域得到迅速发展。一般而言,机器学习方法由数据、架构设计、优化和初始化四个关键组件组成。因此,根据物理知识融入上述四个组件的方式,PIML 方法的核心思想主要包括基于物理的数据增强、基于物理的架构设计、基于物理的初始化和基于物理的损失函数。此外,机器学习模型还可用于预测物理模型产生的误差,并将基于机器学习的预测误差模型与物理模型相结合,以提升最终的预测性能。本文将这种集成物理知识的实现过程称为基于物理的残差建模。基于上述思想,PIML 方法利用物理知识指导机器学习的数据增强、架构设计、功能优化和模型评估,从而充分发挥纯数据驱动方法和物理知识的优势。为此,PIML 方法有望具有许多优点,包括提高可解释性、物理上一致的结果、更好的泛化性、提高优化效率、降低对训练数据的数量和质量的要求等。目前,PIML 因其潜在的优势已成为 ML 领域越来越受欢迎的范例,并且将物理知识集成到 ML 方法中以开发基于 PIML 的 RUL 预测方法的研究趋势不可阻挡。因此,在本文中,我们将基于 PIML 的方法视为一种新兴但重要的物理信息数据驱动的 RUL 预测方法类别。根据上述分类和讨论,我们将在以下三个部分中回顾每类物理信息数据驱动方法在 RUL 预测中的现状。但需要注意的是,即使不是从物理信息的角度进行的,许多现有评论也部分考虑了前两类,如表 2 所示。因此,本文简要讨论了这两类,重点介绍了最新进展。相反,由于目前还没有针对基于 PIML 的 RUL 预测方法的现有评论,因此本文将详细介绍基于 PIML 的 RUL 预测方法的进展。3 物理模型和数据融合的RUL 预测方法3.1 通用物理模型在本部分中,我们首先介绍基于相关物理控制方程构建的用于不同类型系统的物理模型。广义上,用于 RUL 预测的物理模型主要包括描述裂纹扩展的 Paris 模型、电池老化的电化学模型、轴承故障的动态模型等。下面提供了这些代表性物理模型的相关公式。● 疲劳裂纹扩展模型疲劳裂纹扩展模型是指在重复载荷作用下,疲劳裂纹在材料中出现并逐渐扩展的物理模型。疲劳裂纹扩展规律有多种形式。其中一种表示疲劳裂纹扩展的著名模型是Paris模型。一般来说,Paris模型下的裂纹扩展规律可以表示为如下形式[48]: 其中, 为裂纹长度, 为施加载荷的循环次数,σ 为应力范围, 为材料常数。● 电池老化模型锂电池老化可分为日历老化和循环老化。日历老化是当电池闲置时由于材料的热力学不稳定性产生的副作用。以日历老化为例,影响日历老化的三个因素是温度、充电状态和时间,如下式所示 [68]: 其中 为容量损失,SoC为充电状态,T为温度, 为描述日历老化的SoC和T依赖性的函数,t为时间,z为拟合参数。● 轴承动力学模型动力学建模与分析可以有效描述故障轴承的运动状态,揭示相关的潜在故障机理,为轴承RUL预测研究提供理论支持。在实践中,轴承系统的动力学非常复杂,难以准确建模,特别是在轴承发生退化的情况下。以最简单的单自由度轴承系统为例,其动力学模型基本由以下方程描述[51]: 其中,y为振动响应的位移,{F}为激励力矩阵,[M]、[C]、[K]分别为系统质量、阻尼系数和刚度矩阵。实际上,磨损退化会影响轴承系统的动态响应,包括但不限于质量、阻尼系数、刚度和激励力。例如,从轴承表面去除的材料将通过减少或改变均匀分布来影响质量。表面缺陷会扰乱润滑膜的均匀性,并导致阻尼比发生一些变化。当出现凹痕或缺陷时,它会在表面上留下空间,从而改变刚度。当滚动体穿过有缺陷表面的边缘(即冲击区域)时,缺陷还会引入激励力。根据公式(3)中的动态模型,可以推导出反映退化状态的变形指数[69]。上述模型只是用于表示不同环境下系统退化机制的物理模型的一些示例。值得注意的是,文献中还报道了许多其他物理模型,关于不同环境下物理模型的详细讨论可以在一些评论中找到,包括从电化学行为的角度分析电池的物理模型[40]、从机械的角度分析机械的物理模型[70]、从金属材料的角度分析金属模型[71]等。利用物理模型,可以使用相关变量的监测数据或测量值来识别未知的模型参数。这样,通过物理模型和监测数据的融合,可以根据故障的定义预测相关系统的 RUL。下面从两个角度讨论了用于 RUL 预测的物理模型和数据融合方法的一些发展:数据驱动的测量模型和物理模型的结合,以及决策级数据模型和物理模型的融合。3.2 数据驱动的测量模型与物理模型的结合数据驱动的测量模型与物理模型的结合是开发基于物理模型和数据融合的RUL预测方法的典型途径。按照这种方式,基于监测数据构建物理模型描述的退化状态的数据驱动测量模型。为此,可以通过将物理模型建立的状态方程与数据驱动描述得到的测量方程相结合来形成状态空间模型。这样,可以通过卡尔曼滤波器、粒子滤波器和其他滤波算法来估计退化状态和未知模型参数。利用估计的退化状态和模型参数,可以通过将物理模型表征的退化状态外推到预定义的故障阈值来预测系统的RUL。Cheng 等人 [72] 和 Pecht 等 人[73] 有效地将物理模型与数据驱动方法结合起来,实现了动态 RUL 预测,其中通过故障模式、机理和影响分析确定监测参数,并提出回归模型计算残差来检测异常数据并估计模型参数,最后通过物理故障模型预测 RUL。Liao 和 F. Kottig [74] 将数据驱动的测量模型和预测未来测量模型引入基于物理的粒子滤波框架,提高了锂离子电池 RUL 的预测精度。Lei 等人 [70] 结合物理模型和数据驱动的测量模型,提出了一种新的机械 RUL 预测方法。该方法首先应用 Paris-Erdogan 模型来描述半裂纹长度作为退化状态。然后,通过融合来自多个特征的互信息,构建了一个数据驱动的健康指标——加权最小量化误差,并与机械的退化过程正确关联。为此,以Paris-Erdogan模型为状态,以构建的健康指标为量度,采用基于粒子滤波的算法预测机械设备的RUL,并采用最大似然估计法初始化整个模型参数。Wang 等人[75]利用Frechet距离从物理原理中推导出的指数退化模型中选取最优参数,有效缓解了模型参数初始化的问题。研究发现,将Frechet距离与指数退化模型相结合,可以更准确地预测轴承退化路径。Han 等人[76]提出了一种考虑内阻和温度的改进的电池容量退化半经验模型。对监测数据进行小波包去噪后,采用遗传算法辨识初始模型参数。然后,设计粒子滤波框架来更新模型参数,实现在线RUL预测。Zeng 等人[77]基于磨损机理,建立了车轮直径和轮缘厚度的基本磨损模型,并利用磨损数据对磨损模型进行训练。利用磨损测量数据识别物理磨损模型,得到RUL分布,并以点估计和区间估计的形式输出RUL预测值。考虑到监测数据不足对预测精度的影响,Pan 等人[78]发展了一种数据增强方法,将退化机制与监测数据相结合,提高小样本下油液状态预测精度。在具体实施过程中,首先建立考虑退化机制的退化模型,利用监测数据估计模型参数,然后采用粒子滤波方法获取增强数据并进行预测。在这些结合方式的工作中,物理模型所代表的退化状态被认为是隐藏的、无法直接准确测量的,从监测数据中估计模型参数和隐藏的退化状态。尽管利用监测数据来标定物理模型,但由于预测是通过将当前退化状态外推到故障阈值来实现的,因此RUL预测的性能在很大程度上取决于物理模型的精度。此外,在状态空间建模的框架内,通常会将数据驱动的测量模型与物理模型相结合进行预测,但需要进一步探索将物理模型与数据驱动的测量模型相结合的创新方法,以提高 RUL 预测性能并降低对物理模型准确性的依赖。3.3 数据驱动模型与物理模型的决策级融合发展基于物理模型和数据融合的 RUL 预测方法的另一个重要途径是分别基于物理模型和数据驱动模型进行 RUL 预测,然后通过某种融合方法集成基于物理和数据驱动模型的 RUL 预测结果,称为数据驱动模型和物理模型的决策级融合。沿着决策级融合的思路,Goebel 和 Eklund [79] 首先考虑系统的物理特性来模拟故障传播,然后利用实验数据和已知条件下的部件损伤程度来估计条件故障传播速率。最后,采用基于核的时间回归算法集成这两种预测方法的输出。Wen 等人 [80] 提出了一种数据级和决策级混合融合方法来预测 RUL。在本研究中,首次使用遗传规划将物理传感器源集成到复合健康指标中,并得到了一个显式的非线性数据级融合模型。然后,在可靠性理论框架下,采用决策级融合方法集成基于各种物理传感器和综合健康指标的RUL预测。Goebel等人[81]利用实验数据和部件损伤程度建立了估计条件故障传播速率的经验模型,并引入Dempster-Shafer (DS)证据组合方法实现决策级融合。实验结果表明,融合方法比单独使用任何一种方法都能产生更准确、更可靠的结果。值得注意的是,决策级融合途径的实现过程相对简单且独立,可以整合各种数据驱动和基于物理的方法的优势,以提高RUL预测结果的鲁棒性和准确性。然而,实现不同预测方法集成的决策级融合形式相对多样,融合方法有多种,包括算术平均、加权平均、几何平均、核回归、DS证据组合等,因此决策级融合机制的设计和选择具有上下文相关性且具有挑战性。此外,虽然RUL预测的鲁棒性可以得到一定程度的提高,但最终预测的性能会受到融合所采用的单一预测方法的制约。从现有研究可以看出,物理模型与数据融合方法用于RUL预测的思路直接自然,可以实现基于物理的RUL预测,并且由于继承了基于物理和数据驱动方法的优势,可以提高预测性能和可解释性。因此,成功应用物理模型与数据融合方法的前提是获得准确可靠的物理模型和实时监测数据。然而,准确可靠的物理模型往往难以获得,或者掌握建模的失效机理成本高昂且耗时长。对于重要而复杂的系统尤其如此。因此,需要对复杂系统进行更多的物理化学和实验分析,以便有效地构建可靠的基于物理的模型。此外,由于物理模型与数据融合方法通常是通过组合多种算法来实现的,因此相关的计算复杂度通常很高。因此,开发更合理的融合框架将有助于提高计算效率。最后,对于多参数高度非线性的物理模型,模型中包含的大量参数将导致参数识别不准确和过拟合的问题,从而影响预测的准确性和效率。针对这一挑战,开发物理模型和数据融合方法的另一种方法是使用数据驱动的方法来预测物理模型中难以或不准确的中间参数,而不是数据驱动方法和物理模型之间的简单组合或浅层融合。通过将数据驱动的结果输入物理模型,这种深度集成的方法不仅会表现出更好的预测性能,而且还会修正现有物理模型中的不足,例如模型简化或假设。4 基于随机退化模型的 RUL 预测方法本节首先介绍基于随机退化模型的 RUL 预测方法的一般原理和关键组成部分,然后讨论一些代表性随机退化模型应用于 RUL 预测的最新进展。通过这些讨论,可以得出现有研究的优点和局限性,从而为未来的新研究方向提供参考。4.1 基于随机退化模型的 RUL 预测方法基础如2.2节所述,动态环境和各种不确定的内外部因素会引起故障物理的变化,实际系统的退化过程会表现出很大的异质性。基于随机退化模型的RUL预测方法具有反映退化过程的不确定性和随机性以及提供RUL的概率分布以量化预测不确定性的优势,因此取得了重大进展,因为这类方法可以自然地描述实际系统的随机故障产生机制和不确定运行环境的影响。基于随机退化模型的RUL预测方法的基本原理如图6所示。图6所示的原理是,基于退化系统的监测数据,通过拟合系统性能退化变量的演变过程并将其外推到预定义的故障阈值,可以基于随机模型预测系统的RUL [32]。在这个实现过程中,可以根据退化数据的特点和领域知识,确定刻画性能退化的随机退化模型,包括趋势性、单调性、鲁棒性等。图6 基于随机退化模型的 RUL 预测方法的基本原理说明遵循上述基本原则,目前基于随机退化模型的 RUL 预测方法通常由以下三个关键部分组成。第一个部分是随机退化建模。由于老化、负载和环境变化等各种随机因素的相互影响,退化系统的性能下降是不可避免的。退化过程会在运行过程中不断积累,并最终导致这些系统的故障。因此,系统的退化变量将在系统运行过程中随机演变。因此,采用随机模型来表征这种随机演变过程是一种自然的选择。目前,尽管用于退化建模的随机模型有很多变体,但它们通常可以描述为: 式中, 为系统退化变量,反映运行时刻 的退化状态; 为初始退化; 为时间相关函数,参数向量为 ,用于建模退化过程的时变趋势; 为随机项,用于建模退化过程的时间不确定性或随机性。根据对退化趋势 的建模原理,随机退化模型可分为参数模型、半参数模型和非参数模型。根据 的函数形式,随机退化模型包括线性模型和非线性模型。除了退化趋势建模之外,对随机项 的建模也是预测中的另一个重要方面,因为系统的退化过程受各种不确定因素的影响,具有内在的随机性。基于随机退化模型的方法的第二个部分是随机退化模型的参数估计。由于所采用的随机模型是根据所涉及系统的统计特征或领域知识选择的,因此模型参数是未知的。在这种情况下,为了进行预测,应首先基于监测退化数据估计所用随机模型的模型参数。广泛使用的参数估计方法包括最大似然估计法、贝叶斯方法、期望最大算法等。这类方法的第三个部分是求解 RUL 的概率分布。基于随机退化建模和相关参数估计,求解 RUL 的概率分布是预测的关键任务。需要注意的是,RUL 分布的求解与退化故障的定义密切相关。到目前为止,有几种不同的故障定义,如阈值命中时间 [82]、首次命中时间 [32]、最后逃逸时间 [83] 和平均到达时间 [84]。因此,可以根据与随机模型表征的退化过程相关的故障定义来解决 RUL 的概率分布。不同故障定义得出的 RUL 分布解之间的差异可以在 [83,84] 中找到。在当前基于随机退化模型的方法研究中,前两个组成部分的实现过程基本固定或很少改变。相反,用于表征系统退化过程的随机模型则存在显著的变体。特别是随机项 的变体很多,导致用于RUL预测的随机退化模型也不同。根据对 建模的不同,基于随机退化模型的方法主要包括随机效应回归模型、Gamma过程、逆高斯过程、Wiener过程,以及最近发展的Beta过程、Tweedie指数散度过程、Student-t过程等。与随机效应回归模型、Gamma过程、逆高斯过程和Wiener过程的重大进展相比,Beta过程[85]、Tweedie指数散度过程[86]和Student-t过程[87]在预测中的应用相对有限。此外,值得注意的是,这些模型的发展在表1列出的现有评论中已有部分讨论,尽管其中大多数是三年前发表的。因此,我们主要在下文中提供一些代表性模型的最新进展,例如随机系数回归模型、维纳过程、伽马过程和逆高斯过程。4.2 随机系数回归模型随机系数回归模型在退化建模和寿命预测中得到了广泛的应用。最常用的随机系数回归模型通常可以表示如下[82]: 其中, 表示第 个系统在第个监测时刻的退化情况, 表示固定参数, 表征系统共同退化特征, 表示随机效应系数,描述同一类型不同系统之间的个体变异性,表示噪声项,通常假设为具有零均值和常数方差的正态分布随机变量。随机系数回归模型的优势在于,它们可以同时模拟群体中普遍存在的退化特征和不同个体中存在的差异性。自 [82] 的开创性工作以来,此类模型在 RUL 预测中得到了广泛的应用,如 [32] 所述。最近,Yan 等人 [55] 使用迭代更新随机系数回归模型来刻画轴承健康指标的退化趋势,并结合基于孟塞尔变换的关键点检测自适应方法,提高了 RUL 的预测性能。针对先验信息不完善的问题,Wang 等人 [88] 提出了一种基于非线性随机系数回归模型的 RUL 预测方法,并考虑了故障时间数据的融合。此外,Zhao 等 人[89] 提出了一种多状态健康模型来预测轴承故障,其中使用回归方法检测健康转变点,并使用具有贝叶斯更新过程的指数随机系数模型来推导故障时间分布。对于结构复杂的机器,Chen 等人 [90] 分别应用了两种成熟的期望回归模型(即线性和指数)来计算和更新系统的 RUL 分布。从这些进展中可以看出,当前随机系数回归模型的重点主要放在根据相关系统的具体要求应用或改进模型公式上。未来,如何继承同时建模退化过程中的共性和个性的一般思想,并开发更灵活的模型来表征退化过程中的时间变化性,值得我们付出更多的努力和关注。4.3 维纳过程维纳过程是一类由具有时变漂移性的布朗运动(Brownian Motion, BM)驱动的随机过程。需要说明的是,具有漂移性的BM最初在物理学中用来表示流体和空气中小颗粒随机游动的进程。由于漂移效应,这种随机游动具有趋势性,因此由BM驱动的模型适合于对具有增加或减少趋势的动态过程进行建模。形式上,如果随机过程 满足以下三个条件,则称该随机过程 为维纳过程:1) 为独立增量过程;2) ,其中 为漂移函数;3) 是时间 的连续函数。可以看出,维纳过程是一种具有高斯噪声的随机过程,因此它是一个非单调过程。此外,噪声的方差是时间的函数,因此累积退化是无限可分的,正如任何物理退化过程所要求的那样[61]。由于其数学性质优良、概念清晰、与物理退化过程相似,能很好地描述系统的非单调退化特性,在退化建模和RUL预测中得到了广泛的应用。张等[34]专门综述了基于维纳过程的退化数据分析、RUL预测及其在PHM中的应用进展,强调了退化过程中的非线性、多源变异性、协变量和多变量。但值得注意的是,本综述中讨论的进展基于2018年以前的文献。近年来,文献中报道了一些新的进展。为了克服对数变换和时间尺度变换在处理非线性退化数据方面的局限性,一些新的变换技术已被开发出来,将非线性数据转换成近似线性数据,以促进退化建模和RUL预测[91,92]。例如,Si 等人[91]从Box-Cox变换(Box-Cox Transformation, BCT)的角度提出了一种非线性随机退化建模和RUL预测方法。在这项工作中,首先使用BCT将非线性退化数据转换为近似线性数据,然后利用具有随机漂移的维纳过程对转换数据的演变过程进行建模以进行预测。通过大量的实验结果和比较分析发现,BCT可以将许多现有的变换技术作为特例,具有强大的处理非线性数据和提高早期预测性能的能力。针对非线性退化过程难以转化为线性退化的情况,Cao 等人[93]建立了基于非线性维纳过程的随机退化模型,采用离线估计和实时更新相结合的方法估计了退化模型的参数,并推导出系统的RUL分布。Lu 等人[94]采用带有随机漂移参数的维纳过程模拟非均匀退化过程,并利用机组实时退化数据,动态更新漂移参数的后验分布,进一步根据在线监测数据更新系统的RUL分布。为了克服跟踪退化过程中的动态和多源变化的挑战,Wang 等人 [95] 提出了一种通用的时变维纳过程。在本文中,构建了一个状态空间模型来考虑非线性和三源变化,并引入了一个隐式变换模型来描述模型参数随时间的变化。实际系统的退化过程在很大程度上取决于外部运行环境,包括温度、工作负载等。动态环境对退化过程的影响是近年来 RUL 预测考虑的重要方面。针对动态环境下的预测问题,Zhang 等人 [96] 提出了一个具有随机时变协变量的非线性维纳过程模型。在本研究中,Ornstein-Uhlenbeck 过程用于建模动态协变量,并通过指数协变量效应函数将其与时变退化率相关联。Zhang 等人 [97]在前人工作[96]的基础上,充分考虑了退化过程中可测和不可测协变量因素的不确定性,利用维纳过程实现了考虑可测和不可观测外界影响的RUL预测。除以上两个方向外,具有多阶段退化特征的系统近年来也受到广泛关注。针对多阶段退化过程,Wang 等人[98]首次提出退化角的概念,以准确识别不同阶段之间的变点,从而可以使用维纳过程模型的不同漂移函数来匹配不同的退化阶段,提高预测性能。在所构建的模型基础上,根据退化角的定义和首次命中时间的概念,得到了多阶段 RUL 分布。[99] 提出了两种多阶段非线性维纳退化模型开展 RUL 预测研究,即带有时间尺度变换和纯时变漂移扩散过程的非线性退化模型。本文充分考虑了退化阶段变点处的状态转移概率,并基于首次命中时间的概念得到了 RUL 分布的解析表达式。从现有研究可以看出,基于维纳过程的模型下的 RUL 预测是一个活跃的研究方向,此类方法在预测中的应用将因其可解释性和在建模灵活性和数学便利性方面的优异特性而得到进一步促进。此类方法的一个发展方向是通过设计基于物理或领域知识的漂移和扩散函数来构建更复杂的模型,以实现针对特定应用环境的定制建模。此类方法的另一个挑战在于在维纳过程的非单调性质导致的非线性退化情况下找到 RUL 分布的精确解。4.4 Gamma 过程工程实践中,一些性能退化过程具有单调性,只朝一个方向发展,如磨损过程、疲劳裂纹扩展过程。在这些情况下,应用单调随机过程来模拟此类退化进程是一种很自然的选择,Gamma 过程就是这类随机过程的一个例子。与 Wiener 过程不同,Gamma 过程是一种具有非负增量的随机过程,因此可以用来描述严格单调的退化过程。一般而言,Gamma 过程记为 ,具有以下特点[100]:1) ;2) , 为形函数, 为尺度参数, 为 Gamma 分布; 3) ,相互独立。Gamma 过程在退化数据分析和寿命预测中的应用历史悠久,表 2 中的许多现有综述或多或少地讨论了前期的进展。最近,Zhao 等人 [101] 提出了一种基于 Gamma 状态空间模型的隐式单调健康状态变化跟踪框架。该研究将时间不确定性、测量不确定性和个体异质性联合纳入退化模型,以准确预测功率器件的 RUL。为了解决充电电池的老化问题,Lin 等人 [57] 提出了一种固定变点的两阶段 Gamma 过程模型,用于模拟恒流条件下电池循环老化的电压-放电曲线。Zhang 等人 [102] 基于 Gamma 过程,获得了退化过程时间序列的关键经验参数信息和不同退化条件下的 RUL 分布。Wang 等 [103] 提出了一种基于 Gamma 过程模型的动态 RUL 预测和最佳维护时间确定方法。由于预处理数据呈现带有跳跃点的非线性递增退化趋势,因此采用具有非线性时间变换的Gamma过程作为RUL的预测模型,实验结果表明可以显著提高在线RUL预测的效率。为解决系统退化趋势的随机性,Esfahani 等人[104]基于物理模型和Gamma过程模型建立了加速退化模型,并将所建模型应用于涡扇发动机RUL的预测。[105]中,Hazra 等人提出了一种具有平稳增量的混合Gamma模型来表示管壁的退化过程,并提出了一种非似然近似贝叶斯计算方法,能够从噪声数据中有效地估计混合Gamma退化模型的参数。需要注意的是,尽管Gamma过程在预测方面有着悠久的历史和进展,但由于Gamma分布的复杂表达式,很难获得RUL分布的解析形式,同时利用在线监测数据更新模型参数也具有挑战性。因此,基于 RUL 预测的 Gamma 过程的最新重点主要在于开发先进的参数估计和更新方法,以使预测准确反映有关系统的当前退化状态。4.5 逆高斯过程逆高斯过程是另一类单调随机过程。因此,与Gamma过程类似,逆高斯过程适合描述一些具有单调退化特性的系统。逆高斯过程的数学定义如下[106]:1) 为独立增量过程;2) , 是时间 的单调增函数, 和 是控制退化速率和退化波动性的过程参数, 是参数为 和 的逆高斯分布。尽管与 Gamma 过程相比,将逆高斯过程应用于退化建模和 RUL 预测的历史并不太长,但是自从 [106] 中最早的研究以来,人们发现逆高斯过程在建模单调退化过程方面具有重要的潜力。Wang 和 Xu [106] 提出了逆高斯过程模型,并研究了一类针对具有对象间异质性和协变量信息的退化数据的逆高斯过程模型的最大似然估计。提供了模拟和激光数据以进行拟合优度检验和寿命预测。基于开创性的工作 [106],文献中已经报道了许多逆高斯过程的应用和改进。近年来,Sun 等人 [60] 提出了一种考虑随机效应和测量误差的改进的逆高斯过程模型来描述磨损退化,结果表明该模型可以提高液压柱塞泵磨损率的预测精度。在参考文献中。[107] 采用带有随机效应的逆高斯过程来表征系统的退化过程。本文首先使用期望最大化算法初始化模型参数,然后采用贝叶斯方法更新退化模型中的随机参数,使得预测的RUL可以根据新获得的退化数据实时更新。Huang 等人[108]提出了一种基于变漂移系数逆高斯过程的刀具磨损退化模型,以描述动态工作环境下刀具磨损过程中个体异质性的影响。Hu 等人[109]根据首次温度监测值超过首次预警阈值的失效原理,建立了基于逆高斯过程的风电轴承RUL预测模型。与Gamma过程的重大进展相比,逆高斯过程的发展具有很大的空间和机会,因为在许多应用中发现逆高斯过程和Gamma过程表现出相似的建模拟合和预测性能。此外,将逆高斯过程应用于多阶段退化或随机操作环境的系统的 RUL 预测的问题值得在未来深入研究。本节讨论了基于随机退化模型的RUL预测方法的基础以及四种代表性模型的进展。值得注意的是,还有其他模型,如马尔可夫模型[110]和随机滤波模型[111],其基本思想与上述模型相似,因此不再赘述。从以上讨论可以看出,基于随机退化模型的方法已经取得了很大进展,这类方法仍处于快速发展阶段。然而,未来仍有一些方向值得关注。首先是使用随机退化模型校准进行RUL预测。当前的研究通常采用随机模型来表征退化变量的演变过程。在这种情况下,应提前确定 的适当函数形式。然后,通过有关系统的退化数据估计或更新模型参数以进行模型校准。然而,选择 的函数形式本身就是一个具有挑战性的问题。更重要的是,当选取的退化模型函数形式不合适时,单纯通过更新模型参数来校准退化模型是困难且无效的,预测精度会受到影响。因此,如何实现退化模型函数形式和参数的同时校准,是提高预测精度、避免 选取困难的一个重要方向。其次是多退化变量系统的RUL预测。现有大多数研究的一个重要潜在前提是,所关注系统的健康状态可以简单地用单个性能退化变量来反映。单变量假设为RUL预测提供了极大的便利。然而,这种假设对于复杂系统并不实用,因为复杂系统的健康状态往往由与系统性能相关的多个变量共同决定,健康状态很少能用单个变量准确描述。在这种情况下,考虑多个性能变量是预测的必须。因此,未来应开发新的多退化变量RUL预测框架。三是进一步发展基于物理的随机退化模型,提高模型和预测结果的可解释性。当前基于随机退化模型的方法主要从客观物理现象的角度考虑单调性和趋势性来预测RUL,物理解释不足,需要进一步将鲁棒性、灵敏度、相关性等其他物理性质融入退化建模中。最后,当前方法适用于小样本数据的故障特征分析,缺乏强大的数据处理能力。通过深度学习从海量数据中提取退化特征,实现深度学习与随机退化模型的数据-模型联动,是大数据时代RUL预测的一个有前景的方向。编辑:Tina校核:李正平、陈凯歌、赵栓栓、曹希铭、赵学功、白亮、任超、海洋、陈宇航、陈莹洁,王金该文资料搜集自网络,仅用作学术分享,不做商业用途,若侵权,后台联系小编进行删除来源:故障诊断与python学习

    未登录
    还没有评论
    课程
    培训
    服务
    行家
    VIP会员 学习计划 福利任务
    下载APP
    联系我们
    帮助与反馈