本期受文章作者投稿给大家分享一篇SCI二区的小样本数据综述文章。如果有故障诊断相关方向研究人员希望宣传自己研究成果，欢迎大家在公 众号后台与小编联系投稿，大家一起交流学习。本期给大家推荐一篇的关于小样本数据的综述文章，该综述阐明了小样本数据的定义、成因和对PHM任务的影响，分析了当前解决小样本数据问题的主流方法及其优缺点，指出一些有前景的方向以启发未来研究。本综述分3次推送，本节推文是这篇文章的第1部分，希望对大家的学习有所帮助，也同时希望大家可以多多引用。论文链接：通过点击本文左下角的阅读原文进行在线阅读及下载。论文基本信息论文题目：Small data challenges for intelligent prognostics and health management: a review论文期刊：Artificial Intelligence Review(SCI二区Top)论文日期：2024.07论文链接: https://doi.org/10.1007/s10462-024-10820-4 作者：Chuanjiang Li(1), Shaobo Li(1), Yixiong Feng(1), Konstantinos Gryllias(2), Fengshou Gu(3), Michael Pecht(4)机构：1 State Key Laboratory of Public Big Data, Guizhou University, Guiyang 550025, Guizhou, China 2 Department of Mechanical Engineering, Flanders Make, KU Leuven, 3000 Louvain, Belgium 3 School of Computing and Engineering, University of Huddersfield, Huddersfield HD1 3DH, UK 4 Advanced Life Cycle Engineering, University of Maryland, College Park, MD 20742, USA通讯作者邮箱：licj@gzu.edu.cn作者简介：李传江，工学博士，贵州大学公共大数据国家重点实验室专任教师、特聘教授C岗、硕士生导师。2021-2024年在比利时鲁汶大学(KU Leuven)联合培养，合作导师为Konstantinos Grylias教授。主要开展无人机大数据融合分析、通用人工智能算法、数字孪生与智能运维等研究，主持国家重点研发计划子课题1项，留学基金委联合培养博士项目1项、贵州大学特岗基金1项，主研国家重点研发计划、国家自然科学基金、集成公关大平台等项目6项，参编专著2部已发表SCI/EI检索论文20余篇，入选ESI全球Top1%高被引论文2篇。参加国际国内学术会议10余次并作学术报告，担任《Smart Construction》、《中国测试》、《无人系统技术》等国际国内著名学术期刊的青年编委，担任Transactions on Pattern Analysis and Machine Intelligence、 Knowledge Based Systems, ArtificialIntelligence Review等多个国际SC|期刊审稿人，指导学生参加互联网+、挑战杯等多项国际国内竞赛并获奖。个人主页：http://pbd.gzu.edu.cn/2024/0105/c17349a211760/page.htm目录1 摘要2 引言3 小样本数据在PHM中挑战分析 3.1 什么是小样本数据 3.2 PHM中小样本问题的原因 3.3 PHM任务中小样本数据的影响4 PHM中应对小样本数据挑战的方法综述 4.1 数据增强方法 4.2 迁移学习方法 4.3 少样本学习方法5 PHM应用中问题讨论 5.1 AD任务的小样本数据问题 5.2 FD任务的小样本数据问题 5.3 RUL任务的小样本数据问题6 数据集和实验设置 6.1 数据集 6.2 实验设置7 未来研究方向 7.1 数据治理 7.2 多模态学习 7.3 基于物理信息数据驱动的方法 7.4 弱监督学习 7.5 联邦学习 7.6 大模型8 总结1 摘要故障预测与健康管理（PHM）对于提高设备可靠性和降低维护成本至关重要，近年来，在大数据和深度学习技术的推动下，智能PHM研究取得了重大进展。然而，现实工业场景中固有的复杂工况和高成本数据收集对这些方法的应用带来了小样本数据挑战。鉴于学术界和工业界对数据高效PHM技术的迫切需求，本文旨在探索PHM领域小样本数据挑战的基本概念、当前研究和未来发展趋势。本文首先阐明了小样本数据的定义、成因和对PHM任务的影响，然后分析了当前解决小样本数据问题的主流方法及其优缺点，包括数据增强、迁移学习和小样本学习技术。此外，本综述还总结了基准数据集和实验范式，以便在小样本数据条件下对各种方法进行公平评估。最后，指出一些有前景的方向以启发未来研究。关键词：故障预测与健康管理（PHM）；小样本数据；数据增强；小样本学习2 引言故障预测与健康管理（PHM）是通过分析收集到的监测数据来实现机械设备状态感知和智能维护的一个日益重要的框架，正在越来越多的行业中得到应用，如航空航天（Randall 2021）、交通运输（Li 等人 2023a）和风力涡轮机（Han 等人 2023）。根据美国国家科学基金会（NSF）进行的一项调查（Gray 等人，2012 年），PHM 技术在过去十年中创造了 8.55 亿美元的经济效益。正是由于 PHM 具有如此巨大的应用潜力，它不断吸引着不同学术界的持续关注和研究，包括但不限于可靠性分析、机械工程和计算机科学。 从功能上讲，PHM 涵盖设备的整个监控生命周期，在四个关键方面发挥作用：异常检测 (AD)、故障诊断 (FD)、剩余使用寿命 (RUL) 预测和维护执行 (ME)（Zio 2022）。首先，异常检测旨在发现明显偏离标准模式的罕见事件，关键在于从大量正常数据中准确区分出少数异常数据（Li 等人，2022a）。FD 的重点是对各种故障进行分类，难点是在复杂的工作条件下提取有效的故障特征。RUL 预测侧重于估算组件或系统发生故障前的剩余时间，其主要挑战在于构建能够描述健康状况恶化趋势的综合健康指标。最后，ME 根据诊断和预测结果优化维护决策（Lee 和 Mitici，2023 年）。从方法论上讲，用于执行 AD、FD 和 RUL 预测等 PHM 任务的技术可分为基于物理模型的方法、数据驱动的方法和混合方法（Lei 等人，2018 年）。基于物理模型的方法利用数学模型来描述故障机制和信号关系，代表性技术包括状态观测器（Choi 等人，2020 年）、参数估计（Schmid 等人，2020 年）和一些信号处理方法（Gangsar 和 Tiwari，2020 年）。然而，数据驱动方法涉及从传感器信号中手动或自适应提取特征，包括统计方法（Wang 等人，2022 年）、机器学习（ML）（Huang 等人，2021 年）和深度学习（DL）（Fink 等人，2020 年）。混合方法（Zhou 等人，2023a）结合了基于物理模型和数据驱动技术的元素。在这些方法中，基于深度学习的技术在从 AD 到 ME 的 PHM 任务中获得了广泛关注，这归功于它们在自动特征提取和模式识别方面相对于传统技术的明显优势。图1描述了基于深度学习模型的智能PHM框架(Omri et al. 2020)，其中步骤包括数据收集和处理、模型构建、特征提取、任务执行和模型部署。显然，状态数据是这一循环的基础，其数量和质量对DL模型在工业环境中的最终性能有着决定性的影响。然而，不同的工况下收集由各种异常和故障模式组成并带有精确标签的大量数据集既耗时又危险，而且成本高昂，这就导致了小样本数据问题，对模型在PHM任务中的性能提出了挑战。Dimensional Research最近进行的一项调查强调了这一窘境，调查显示96%的公司在实施工业ML和DL项目时遇到了小样本数据问题(D. Research 2019)。 图1 基于深度学习的智能PHM步骤(Omri et al. 2020)值得注意的是，现有研究提供了有价值的指导，但它们尚未深入研究小样本数据的基本概念，在分析中表现出一定的局限性。例如，一些综述从宏观角度研究了小样本数据问题，而没有考虑 PHM 任务的应用特点（Chahal 等人，2021 年；Adadi，2021 年；Cao 等人，2023 年）。然而，有些研究仅仅集中于用于解决 FD 任务中的小样本数据难题的特定方法（Pan 等人，2022；Zhang 等人，2022a；Li 等人，2022b），缺乏对 AD 和 RUL 预测任务解决方案的系统研究，严重限制了智能 PHM 的发展和工业应用。因此，有必要对 PHM 领域的小样本数据挑战进行深入探讨，为智能模型在工业领域的成功应用提供指导。本综述是对解决PHM领域中的小样本数据挑战这一需求的直接回应，旨在澄清以下三个关键问题：1）什么是PHM中的小样本数据？2）为什么要解决小样本数据挑战？3）如何有效解决小样本数据挑战？这些基本问题将我们的工作与现有调查区分开来，并展示了我们的主要贡献：（1）首次研究了智能PHM所面临的小样本数据挑战，并详细分析了其定义、原因和影响；（2）概述了解决小样本数据问题的各种先进方法，并讨论了每类PHM任务的具体问题和剩余挑战；（3）总结了常用的基准数据集和实验设置，为开发和评估PHM中的数据高效模型提供参考；（4）最后，指出了未来小样本数据研究的发展方向。因此，本文按照图3所示的层次结构进行组织。第2节讨论了PHM领域小样本数据的定义，并分析了相应的原因和影响。第3节全面概述了具有代表性的方法，包括数据增强（DA）方法（第3.1节）、迁移学习（TL）方法（第 3.2 节）和少样本学习（FSL）方法（第 3.3 节）。第4节讨论了PHM应用中的问题。第5节总结了用于模型评估的数据集和实验设置。最后，第6节给出了潜在的研究方向，第7节得出结论。此外，表2总结了本文中使用的缩略语。 图3 本综述的层次结构3 小样本数据在PHM中的挑战分析DL模型在执行PHM任务时的出色表现与丰富而高质量的标注数据这一前提密不可分。然而，这一假设在工业领域不太可能得到满足，因为小样本数据往往是常态，它具有独特的数据分布，可能导致模型学习困难。因此，本节首先分析了小样本数据在 PHM 中的定义、原因和影响。3.1 小样本数据是什么在回答“什么是小样本数据”问题之前，让我们先回顾一下“大数据”这个相对的术语，自2012年诞生以来，学者们对它具有各种不同的解释。Ward等人认为大数据是一个“描述使用一系列技术存储和分析大型或复杂数据集”的短语。另一种观点，如文献Suthaharan (2014)所述，侧重于数据的数量、连续性和复杂性。在各种定义中，被广泛接受的是“5V”属性：数量、种类、价值、速度和真实性(Jin et al. 2015)。经过长期研究，一些专家发现，大数据并非无处不在，小样本数据范式已成为人工智能领域值得深入研究的新领域(Vapnik 2013; Berman 2013; Baeza-Yates 2024; Kavis2015)。Vapnik (2013) 是这一领域的先驱之一，他将小样本数据定义为“训练样本数与学习机的Vapnik-Chervonenkis（VC）维数之比小于20”的情况。J. Berman(2013) 认为，小样本数据用于解决基于来自一个机构的有限和结构化数据的离散问题。另一项研究将小样本数据定义为“数据的数量和格式使其可访问、可提供信息和可操作”(Baeza-Yates 2024)。在工业背景下，Kavis (2015)将小样本数据描述为“物联网产生的一小批特定属性，这些属性通常是一小批传感器数据，如温度、风速、振动和状态”。考虑到各行业设备信号的独特属性，这里给出了PHM中小样本数据的新定义：小样本数据指的是由传感器采集的设备或系统状态信息组成的数据集，其特点是样本的数量或质量有限。以FD任务为例，相应的数学表达式为：给定数据集 ， 是第 个故障 的样本和标签（如有）。 表示 中故障类别的数量，每个故障集的样本大小为 。值得注意的是，“小”一词有两种含义：（i） 从数量上看，“小”表示数据集数量有限、样本量有限或故障类型总数 最小；（ii）从质量上看，“小”表示由于 中存在大量异常、缺失、未标记或噪声标记的数据，因此缺乏有价值的信息。在数量和质量方面，“小”的定义没有固定的阈值，这是一个开放的问题，取决于要执行的具体PHM任务、分析的设备、选择的方法和期望的性能。3.2 PHM中小样本问题的原因传感器和工业互联网技术的飞速发展简化了收集设备监控数据的过程。然而，目前只有大型企业才有能力大规模采集数据。由于收集到的数据大多是正常样本，异常或故障数据有限，因此无法为模型训练提供足够的信息。如图4所示，分析了PHM面临小样本数据挑战的四个主要原因。 图4 造成PHM中小样本数据挑战的4个主要原因3.2.1 大量投资在部署智能 PHM 系统时，投资回报率（ROI）是企业最关心的问题。如图 4 第一象限所示，大量投资主要来自两个方面：首先，(i)工厂需要对现有的旧设备进行数字化升级，以收集监控数据。(ii) 其次，数据标注和处理需要人工操作和领域专业知识。虽然目前传感器和标注外包的成本相对较低，但在众多机器上安装传感器和处理 TB 级数据仍超出了大多数制造商的能力范围。3.2.2 数据访问限制在第二象限中，这一因素突出表现在以下方面：(i) 数据的敏感性、安全性或私密性通常会导致严格的访问控制，例如数据收集军事装备。(ii) 在数据传输和数据共享方面，个人、企业和国家都需要遵守法律和监督条例，尤其是在发布《通用数据保护条例》（Zarsky 2016）之后。3.2.3 复杂工况图 4 第三象限描述的内容包括 (i) PHM 中的数据分布本身在不同的生产任务、机器和操作条件下显示出显著的可变性（Zhang 等，2023 年），因此不可能在所有潜在条件下收集数据。(ii) 在高辐射等特殊服务环境中采集数据具有固有风险。(iii) 设备从健康状态发展到最终失效需要经历一个漫长的过程。3.2.4 多因素耦合随着设备的集成度越来越高，相关性和耦合效应不断增强。如图 4 第四象限所示：耦合存在于 (i) 多个组件、(ii) 多个系统和 (iii) 不同过程之间。这种相互作用通常具有非线性、时间可变性和属性不确定性等特点，进一步增加了数据采集的复杂性。3.3 PHM任务中小样本数据的影响标注的高质量数据的可用性仍然有限，这对执行 PHM 任务产生了一些影响，主要包括数据和模型层面（Wang 等，2020a）。如图 5 左侧所示，数据层面的影响主要包括数据不完整和分布不平衡，进而导致模型层面的泛化效果不佳。本节将以 FD 任务为例，通过相应的评价指标分析这些影响。 图5 当前主流方法对PHM领域中小数据问题的影响3.3.1 不完整数据数据完整性是指“数据中包含的信息的广度、深度和范围”（Chen等人，2023a）。然而，由于故障类别或样本量的限制，所获得的小样本数据集通常表现出监督信息密度低的特点。此外，不完整数据中的缺失值和标签或异常值加剧了有价值信息的稀缺性。PHM中的数据不完整性可以通过以下指标来衡量： (1) (2) 其中表示数据集的不完整性，和分别是中不完整样本的数量和总样本数量。同样，根据公式（2），这个指标也可以评估某一类别中样本的不完整性。当或接近0时，表示数据集或类别相对完整。相反，较高的值表示数据不完整程度较高，导致数据中的信息大量丢失。3.3.2 数据分布不平衡第二个影响是数据分布不平衡。包含样本数量较多或较少的故障类别分别称为多数类和少数类。根据不同类之间或同一类内部存在的不平衡程度，相应地会出现类间不平衡或类内不平衡现象。考虑一个包含两种不同故障类型的数据集，每种类型包含两个子类，类间不平衡度和类内不平衡度可以量化为（Ren等人，2023）： (3) (4) 其中， 和 分别表示数据集中多数类和少数类的数量。 和 表示类别 内两个子类的样本量。上述值的范围是[1, ∞)，用于描述不平衡的程度。 或 的值为1表示类间或类内是平衡的，而值为50通常被领域专家认为是高度不平衡的任务（Triguero等人，2015）。 3.3.3 模型泛化能力差从技术上讲，监督深度学习的主要原理是构建一个模型 ，该模型从训练集 中学习潜在模式，并尝试预测先前未见过的测试数据 的标签。训练集上的经验误差 和测试集上的预期误差 可以通过分别计算真实标签 和预测标签 之间的差异来得出。这两个误差之间的差异，即泛化误差 ，通常用于衡量训练模型在测试集上的泛化能力。泛化误差受模型复杂度和训练数据大小 的限制，如下所述（LeCun等人，1998）： (5)其中 是一个常数， 是一个系数，其值范围为[0.5, 1.0]。上述方程表明，参数 决定了模型的泛化能力。当 足够大时，具有特定 的模型 的将趋向于0。然而，数据量小不完整或不平衡样本往往会导致G 较大，泛化能力较差。原文获取：点击文章左下角阅读原文获取文章原文。 客官，球球再点个广告，再走吧~ 点击左下角阅读原文，即可在线阅读论文。来源：故障诊断与python学习