综述 | 面向机器信号处理和故障诊断的物联网边缘计算综述(下)
随着传感器技术的不断发展，越来越多的传感器被安装在机器或设备中。这些传感器在运行过程中会产生海量的“大数据”。然而，一些原始传感器数据受到噪声干扰，有用信息有限，且大量数据上传会占用大量网络带宽，并不断消耗云服务器的存储和计算资源。数据上传、信号处理、特征提取和融合也会不可避免地造成延迟，影响故障检测和识别的及时性。本文将从概念、前沿方法、案例分析和研究展望等方面对基于信号处理的机器故障诊断中的边缘计算方法进行综述。论文链接：通过点击本文左下角的阅读原文进行在线阅读及下载。论文基本信息论文题目：Edge Computing on IoT for Machine Signal Processing and Fault Diagnosis: A Review论文期刊：IEEE INTERNET OF THINGS JOURNAL论文日期：2023年1月论文链接:https://doi.org/10.1109/JIOT.2023.3239944作者：Siliang Lu (a), Jingfeng Lu (a), Kang An (a), Xiaoxian Wang (b, c), Qingbo He (d)机构：a: College of Electrical Engineering and Automation, Anhui University, Hefei 230601, China；b: College of Electronics and Information Engineering, Anhui University, Hefei 230601, China；c: Department of Precision Machinery and Precision Instrumentation, University of Science and Technology of China, Hefei 230027, Chinad: State Key Laboratory of Mechanical System and Vibration, Shanghai Jiao Tong University, Shanghai 200240, China通讯作者邮箱: qbhe@sjtu.edu.cn作者简介：陆思良，1987年生，博士，教授，博士/硕士生导师，安徽省优青、安徽省青拔、全球前2%顶尖科学家、IEEE Senior Member。分别于2010年、2015年获中国科学技术大学学士和博士学位。主要从事机电复杂系统动态测试与智能运维、边缘计算与嵌入式系统、信息处理与人工智能、机器人与工业工厂自动化研究。主讲《传感器原理及应用》、《测试技术与数据处理》、《机器人技术》、《科技论文写作》等课程。主持国家自然科学基金3项（面上2项、青基1项），安徽省自然科学基金优青项目1项、青年项目1项，国家重点实验室开放课题2项，国家电网、奇瑞汽车、中国机械总院等校企合作开发项目多项。发表学术论文100余篇，引用3000余次，入选ESI前1%全球高被引论文5篇。申请/授权/转让国家发明专利共计30余项。担任仪器测量领域权威期刊《IEEE Trans. Instrum. Meas.》副编辑、《J. Dyn. Monit. Diagnost.》编委、《西南交通大学学报》青年编委。担任50余个机电信号处理和智能诊断等领域的国内外期刊审稿人、国家自然科学基金同行评议专家。获上海市科学技术二等奖、安徽省自然科学二等奖、中国电工技术学会科学技术一等奖、国家自然科学基金委机械学科优秀结题项目等。担任中国振动工程学会故障诊断专业委员会理事及青工委成员、中国振动工程学会转子动力学专业委员会理事、中国机械工程学会设备智能运维分会委员。目录1 摘要2 引言3 边缘计算的基本原理4 物联网边缘计算在机器信号处理与故障诊断中的实现5 案例研究和教程 5.1 利用基于神经网络的编码器对振动信号进行压缩 5.2 基于Arm-Cortex M MCU的面向原位电机故障诊断的多传感器信号处理 5.3 基于Arm-Cortex CPU的面向电机转子质量实时检测的改进的CNN 5.4 评论6 讨论与研究展望 6.1 用于机器RUL预测的边缘计算 6.2 联邦学习与分布式训练 6.3 机器异常检测与动态控制 6.4 高效异构计算和神经计算 6.5 人工智能集成的下一代计算 6.6 评论7 总结（以上标记章节为本文内容）1 摘要边缘计算是一种新兴的范式。它将计算和分析工作负载卸载到物联网（Internet of Things，IoT）边缘设备上，以加速计算效率、减少信号传输的信道占用、并降低云服务器上的存储和计算工作负载。这些独特的优点使其成为基于IoT的机器信号处理和故障诊断的一个有前景的工具。本文从概念、前沿方法、案例分析和研究展望等方面对基于信号处理的机器故障诊断中的边缘计算方法进行了综述。特别地，对边缘计算在信号采集、信号预处理、特征提取和模式识别等典型故障诊断过程中的轻量级设计算法和特定应用的硬件平台进行了详细的回顾和讨论。本文对边缘计算的框架、方法和应用进行了综述，以满足基于IoT的机器实时信号处理、低延迟故障诊断和高效的预测性维护的需求。特别是对边缘计算在典型故障诊断过程（包括信号采集、信号预处理、特征提取和模式识别等）中的轻量化设计算法和专用硬件平台进行了详细的综述和讨论。该综述提供了对边缘计算框架、方法和应用的深入理解，以满足基于IoT的机器实时信号处理、低延迟故障诊断和高效预测性维护的需求。关键词：边缘计算，物联网，低延迟故障诊断，机器，实时信号处理5 案例研究和教程为了更好地说明边缘计算在机器信号处理和故障诊断中的性能和潜在应用，本节提供了三个案例研究，分别侧重于信号预处理、特征提取和模式识别。这些案例研究的代码也在网站上共享，以提供直观的教程，感兴趣的读者可以下载、修改并移植到不同的应用场景中。在第一个案例中，使用基于神经网络的编解码器来说明边缘节点上振动信号压缩的性能。在第二个案例中，将经典信号处理算法在低成本MCU上实现，用于原位电机故障诊断。在第三个案例中，将CNN DL模型部署到树莓派平台上，用于实时检测电机转子质量。5.1 利用基于神经网络的编码器对振动信号进行压缩振动信号分析是机器故障诊断中最常用的方法。随着IoT节点数量的增加，如何有效地压缩和传输大量振动信号是一个挑战。在本案例研究中，使用Meta AI团队提出的一种名为EnCodec的编解码器来测试振动信号压缩性能[90]。该编解码器是基于神经网络设计的用于音频信号压缩的编解码器。音频信号和振动信号有相似之处，但振动信号通常受到噪声干扰。案例[137]研究在树莓派边缘计算节点上实现EnCodec，以处理从开关磁阻电机试验台采集的轴承故障振动信号。此类实验在文献中尚未有报道。根据轴承参数和电机转速计算，测试的带有外圈故障的轴承的故障特征频率（ ）为75Hz。采样频率和采样时间分别设为24kHz和1s。通过计算原始信号和压缩/解压信号的包络谱，可以显示 分量用于故障识别。信号压缩会造成信息丢失，因此采用信噪比来评价信号质量。信噪比的计算可参见[137]。压缩比（Compression ratio，CR）用来评价信号的压缩程度，定义是原始信号的文件大小与压缩后信号的文件大小之比。比较结果如图7所示。从图7（a）中压缩前原始振动信号的包络谱可以看出，故障指标 及其多个谐波分量可以被清晰地识别到。原始信号的信噪比是-1.38dB。信号首先在树莓派上以约16倍的CR进行压缩，然后解压缩以恢复信号波形。解压缩信号的包络谱如图7（b）所示。从图中可以看出，信号压缩和解压缩后出现明显的噪声分量，信噪比降低到-13.93dB。这些结果证实了基于神经网络的EnCodec是一种有损编解码器。此外，CR增加到约32倍时，结果如图7（c）所示。与图7（b）中的结果相比，可以发现信噪比进一步降低到-17.74dB，背景噪声更加明显。尽管信号压缩和解压缩后 被淹没在背景噪声中，但仍可用于识别轴承故障类型。引入信号去噪算法对解压后的 分量进行联合增强有待进一步研究。图7 基于神经网络的EnCodec信号压缩结果：(a) 原始信号的包络谱，(b) 16倍CR的解压缩信号，(c) 32倍CR的解压缩信号。表9 评估了树莓派上不同长度振动信号的压缩和解压缩时间。可以发现，压缩或解压缩所需的时间总体上与信号长度成正比。在大多数应用场景中，具有4800个采样点的信号足以进行轴承故障诊断。在这种情况下，边缘节点上的压缩时间为0.332秒，对于实际应用是可以接受的。本案例研究表明，EnCodec是边缘设备上信号压缩的一种有前途的解决方案，将有效提高IoT节点与云服务器之间的信号传输效率。EnCodec的代码可在文献[138]中获取。表9 树莓派上振动信号的压缩和解压时间5.2 基于Arm-Cortex M MCU的面向原位电机故障诊断的多传感器信号处理在案例[139]中，作者设计了一个用于在变速工况下进行原位电机故障诊断的边缘计算节点。算法和硬件平台如图8所示。该案例使用一个隧道磁阻效应（Tunneling magnetoresistance，TMR）传感器（TMR2001，MultiDimension公司）和一个加速度计（ADXL1001，Analog Devices 公司）分别采集电机漏磁通信号和振动信号。这两个信号由一个16位ADC（AD7606，Analog Devices公司）以10kHz的采样频率进行量化和采样。然后，信号通过灵活内存控制器（Flexible memory controller，FMC）外围接口传输到一个MCU。使用一个零相位滤波器对受噪声干扰的磁通信号去噪，并对滤波后的信号进行希尔伯特变换，以估计变速工况下电机转子的旋转角度。图8 用于电机实时诊断的边缘计算算法和硬件随后，根据旋转角度对振动信号进行重采样，然后使用基于随机共振的滤波器进一步增强信号[140]。上述算法CPU主频为400MHz的MCU（STM32H743，STMicroelectronics公司）上实现。最后，计算重采样和增强后的振动信号的包络阶次谱，并通过液晶显示器-薄膜晶体管显示控制器（LCD-thin-film transistor display controller，LTDC）外围接口在一个5英寸液晶显示器（Liquid crystal display，LCD）上显示，用于原位电机故障诊断。在电机上安装一个带有外圈故障的轴承进行测试，计算出轴承的故障特征阶次（Fault characteristic order，FCO）为3.59[141]。边缘计算系统在不同阶段产生的信号处理结果显示在LCD上，如图9所示。图9（a）和（b）分别为漏磁信号频谱和振动信号包络谱。可以看出，由于电机转速波动，频率拖尾现象明显。通过分析同步采样的漏磁信号计算旋转角度，然后对振动信号进行重采样。重采样信号的包络阶次谱如图9（c）所示。在频谱中可以看到FCO，表明轴承存在外圈故障。为了进一步消除噪声干扰，对重采样信号进行基于随机共振的滤波，最终结果如图9（d）所示。信号增强后，FCO分量进一步凸显，噪声分量几乎被滤除。上述信号处理算法均在帧长设置为4096点的MCU上执行，并将各算法的执行时间汇总在表10中。可以发现，旋转角度计算和包络谱计算算法的执行时间最高（约40ms），因为这两个算法需要进行FFT运算。其他算法的执行时间不高于10ms。六个算法的总执行时间约为105ms，这表明机器信号处理算法可以在MCU上实现，用于原位电机故障诊断。本案例研究的相关代码可在文献[142]中获取。图9 在LCD上显示的实时信号处理结果：(a)漏磁信号的频谱；(b)原始振动信号，(c)重采样振动信号，(d)增强重采样振动信号的包络谱。表10 信号处理算法在MCU上的执行时间5.3 基于Arm-cortex CPU的面向电机转子质量实时检测的改进的CNN鼠笼式感应电机在电动汽车中得到广泛应用。为了保证转子的性能以及电动汽车的效率和续驶里程，需要对压铸转子进行质量检测[143]。在本案例中，设计并在树莓派边缘节点上部署了一种改进的CNN，用于检测转子中的断条和气孔缺陷。采集缺陷引起的电压信号的仪器系统可参考文献[130]和文献[144]。如图10所示，电压信号首先通过一个分压器，然后由一个ADC（AD7606，Analog Devices公司）采样。连接ADC和MCU的外围接口是FMC。在一个MCU（STM32H743，意法半导体公司）上从电压信号中提取峭度特征。提取到的特征的时间序列通过USART外围接口传输到树莓派。在CPU上执行改进的CNN模型，并将质检结果通过高清多媒体接口（High-definition multimedia interface，HDMI）连接到树莓派的小尺寸显示器上显示。改进的CNN模型基于包含混合特征和捷径的残差结构。这种配置提高了卷积核的多样性和参数利用率，并降低了网络参数的训练难度。此外，增强型CNN模型[123]和GoogLeNet[145]也被部署到同一边缘节点上进行比较。这些模型在计算机上使用离线信号（包括九种类型的转子缺陷）进行训练。将训练好的模型部署到插入树莓派的TF卡中进行实时推理。转子质量检测结果直接显示在LCD上，如图11所示。如图11中的红线所示，特定缺陷类型的概率为1，其他缺陷类型的概率为0。改进的CNN模型预测的缺陷类型与预设的缺陷类型一致。表11综合比较了不同深度学习模型在边缘计算节点上检测转子质量的效果。可以发现，改进的CNN模型具有最高的训练、验证和测试准确率，并且模型仅占用7MB的存储空间。树莓派上每帧的推理时间约为170ms，明显低于转子生产周期（通常为几秒到几十秒）。因此，在实际生产线中可以实现电机转子的实时质量检测。本案例研究的相关代码可在[146]中获取。图10 电机转子质量实时检测的边缘计算算法及硬件示意图图11 在LCD上即时显示的转子质量检测结果表11 在边缘计算节点上不同DL模型进行转子质量检测的比较5.4 评论考虑到研究人员在边缘节点上实现信号处理和故障诊断算法可能存在一些困难，本部分提供了三个案例研究和源代码。这些案例研究对应于机器故障诊断的4个典型过程中的3个，即信号预处理、特征提取和模式识别。信号采集作为机器故障诊断的第一步，在所有这些案例研究中都有包含。希望共享源代码为更好地理解和实现边缘计算技术在机器信号处理和故障诊断的实际应用中提供一个直观的教程。6 讨论与研究展望边缘计算能够快速分析机器信号，从而提高故障诊断的敏捷性。以下讨论边缘计算在与其他技术协作方面的研究前景。本部分讨论的主题与第三节中的综述主题的主要区别在于：1）第三节中的主题，如“边缘计算在机械故障识别中的应用”，在过去几年中已得到广泛研究，并取得了许多有用和有前景的结果；2）本节中的讨论主题，如“边缘计算在机器剩余使用寿命（Remaining useful life，RUL）预测中的应用”，非常有意义值得研究，但相关工作尚未广泛开展。6.1 用于机器RUL预测的边缘计算利用历史状态信息预测RUL的机器RUL预测技术是机器预测性维护的关键步骤[147]，[148]。受计算和存储资源的限制，用于RUL预测的机器数据以几分钟到几小时的周期进行采样、分析和更新[149]。这种操作基于机器状态保持稳定且不会快速变化的假设。然而，一些机器故障和裂纹从初始状态会迅速发展到严重状态。在这种情况下，应提高监测数据的更新频率，并利用边缘计算技术及时分析产生的大量数据。然而，在用边缘计算进行RUL预测时存在两个障碍：1）机器生命周期数据仍然难以获取，因此预测精度有限；2）具有大量参数的预测模型应在较短的采样周期内迭代更新，需要高可靠性的边缘计算硬件能够全天候不间断工作。因此，目前基于边缘计算的实时机器RUL预测研究较少。随着硬件技术和RUL预测算法的不断发展，上述障碍有望得到解决。6.2 联邦学习与分布式训练状态数据是由分布在不同地方的大量机器产生的。由于技术或商业原因，这些数据可能无法共享。换句话说，存在数据孤岛的现象。为了解决这个问题，联邦学习范式近年来被提出并迅速发展[150]，[151]。在联邦学习中，部分ML或DL模型的参数以分布式的形式进行训练，然后将这些参数融合、集成以获得训练良好的模型[152]。部分模型的训练可以在安装在数据源附近的边缘计算节点上进行。文献[153]表明，深度学习模型可以方便地在具有足够计算能力的边缘GPU节点上进行训练。联邦学习与边缘计算的协作可以提高模型训练效率，实现知识共享，并保护用户隐私。6.3 机器异常检测与动态控制运行中的机器具有危险性，工人应保持高度警惕以避免任何可能的危险。然而，误操作和无意识操作故障仍然难以避免，这将导致机器出现异常故障[154]。机器的异常故障可能在毫秒内发生，例如长发卷入机床。因此，应实时检测机器的异常状态，以避免严重的人身伤害。边缘计算是一种很有前途的工具，它通过检测机器的异常并在较小的时间延迟内控制机器来保护人身安全。文献[115]表明，通过将基于神经网络的故障检测算法部署到边缘节点上，可以在250ms内关闭以3000rpm旋转的电机。通过改进算法和硬件性能，从异常检测到动态控制的时间延迟可以得到进一步缩短。6.4 高效异构计算和神经计算一般来说，边缘计算芯片的性能和功耗是相互矛盾的。高性能处理器的高功耗会降低IoT节点上电池的使用寿命。因此，在设计基于边缘计算的机器状态监测系统时，需要仔细权衡性能和功耗。该问题可以通过SoC半导体技术和异构计算框架的发展来解决。SoC技术将多个处理器集成到一个芯片上。在异构计算框架中，操作系统会动态分配具有不同计算性能和功耗的处理器，以满足来自应用程序的不同计算负载[155]。这种技术在集成框架中优化了硬件和算法，最大限度地降低了功耗，延长了电池寿命。异构计算已广泛应用于消费电子和工业自动化领域。例如，英特尔第12代处理器拥有多达14个核心的混合CPU架构，包括6个性能核心和8个能效核心。苹果M1 Ultra处理器有64个GPU核心和20个CPU核心，包括16个性能核心和4个能效核心。STM32WB处理器结合了高性能Arm Cortex-M4核心和低功耗Arm Cortex-M0+核心进行无线通信。异构计算和边缘计算的结合将推动高效机器信号处理和故障诊断的应用。在传统计算架构中，数据在内存和处理单元之间传输。随着数据量的增加，这样的过程会消耗大量能量。为了打破这个瓶颈，存内计算架构的概念引起了研究人员的极大关注。忆阻电路和芯片已显示出比传统计算平台（如CPU和GPU）高几个数量级的能量效率[156]。例如，文献[157]设计了一种基于忆阻器的模拟储备计算系统，用于实时和高能效的信号处理。文献[158]设计了一种全硬件实现的忆阻器CNN电路，用于图像识别。其结果表明，基于忆阻器的CNN神经形态系统的能量效率比最先进的GPU高出两个数量级以上。更一般地，文献[159]引入了反向传播方法来训练物理神经网络，它具有比传统的电子处理器更快和更节能地进行ML的潜力。神经启发芯片可用于基于IoT的ML故障诊断应用，这些应用需要极低的功耗和硬件成本。6.5 人工智能集成的下一代计算边缘计算和云计算本质上是互补的。随着人工智能、ML和DL的快速发展，边缘计算可以与其他类型的下一代计算技术协作，进一步提高计算效率、隐私和安全性[160]。例如，雾计算也是随着IoT节点和大量数据的兴起而对云计算的补充。雾计算在数据源和云服务器之间提供了一个由网 关、路由器和边缘计算节点组成的网络。云、雾和边缘计算的结合可以为处理不同大小和容量的机器信号提供灵活的网络架构[161]。量子计算是一种有前景的技术，通过对量子系统量子态中的信息进行编码和处理，可以显著加快计算效率[162]。目前，只能处理特定算法的量子计算系统仍然体积庞大且价格高昂。如果未来这些问题能够得到妥善解决，量子计算算法可能会被部署到边缘计算节点上，以提高机器信号处理的隐私性和速度。无服务器计算在设计云原生应用程序中也很流行。通过使用无服务器计算，工程师可以专注于算法，减少对基础设施管理的关注。基于无服务器架构的人工智能和ML算法可以使机器信号处理和故障诊断更容易、更准确[163]。此外，区块链技术为保证机器状态数据不可篡改提供了解决方案[164]、[165]。通过将区块链和边缘计算相结合，可以以安全的方式收集和处理来自分布式IoT节点的数据。有关人工智能集成的下一代计算的更全面介绍和讨论可参考文献[160]。6.6 评论从以上讨论可以看出，边缘计算并不是一个孤立的技术，它可以与其他新兴技术进行协作。机器智能维护是工业4.0的重要组成部分，已成为典型的涉及机械、电子、信息科学的交叉学科。随着电子和信息技术的不断发展，越来越多的智能IoT传感器被安装在机器上监测其运行状态。边缘计算与其他技术的协同将进一步提高机器信号处理和故障诊断的性能。7 总结本研究综述了基于边缘计算和IoT的机器信号处理和故障诊断方法。首先，介绍了边缘计算的范式、硬件和平台。然后，从信号采集、信号预处理、特征提取和模式识别等方面综述了用于基于机器信号处理的故障诊断的先进边缘计算方法。此外，提供了三个案例研究，直观地说明了边缘计算在振动信号压缩/解压缩、实时机器故障诊断和原位转子质量检测中的应用。最后，从RUL预测、联邦学习与分布式训练、异常检测与动态控制、异构计算与神经计算以及人工智能集成的下一代计算等方面讨论了边缘计算的研究前景。本综述将有助于学术界和工程师设计实时、低延迟的基于IoT的机器状态监测和故障诊断系统的算法和硬件实现。原文获取：点击文章左下角阅读原文获取文章原文。编辑：陈宇航校核：李正平、陈凯歌、赵栓栓、曹希铭、赵学功、白亮、任超、海洋、Tina该文资料搜集自网络，仅用作学术分享，不做商业用途，若侵权，后台联系小编进行删除点击左下角阅读原文，即可在线阅读论文。来源：故障诊断与python学习
