新论文：为提升AI振动识别效果，小波、HHT、MFCC、CNN、LSTM我们都试一试
论文链接：
http://www.engineeringmechanics.cn/cn/article/doi/10.6052/j.issn.1000-4750.2020.09.0644
广而告之，为促进国际学术交流，《工程力学》期刊接受英文稿件
0
推送太长，懒得看的版本
高效准确的振动信号识别，可用于辅助提升振动控制的效果、判别结构损伤等。为了提升振动信号的识别能力，我们将经典的信号处理算法与深度神经网络结合结合。信号处理算法包括小波变换(WT)、希尔伯特黄变换(HHT)和梅尔频率倒谱系数提取(MFCC)等；神经网络则包括卷积神经网络(CNN)、长短时记忆网络(LSTM)以及两者结合的神经网络(CNN+LSTM)。通过交叉组合，开展了一次相对全面的研究，寻找最有效的振动识别方法。
结果证明了广泛采用的WT-CNN振动识别效果优异，并且MFCC-CNN等也能有效识别振动。
1
研究背景
在课题组与振动（震动）的长时间打交道过程中，我们发现：振动控制效果提升【链接：新论文：给振动信号拍个照，可以提升振动控制效果！】、城市区域（建筑）震损应急评估【链接：新论文 | 卷积神经网络 + 小波时频图：基于地震动时频域特征的震害评估新方法】、结构模型更新【链接：新论文：基于数字孪生的强震下大跨斜拉桥倒塌易损性评估】等一系列应用中（图1），均需要一套有效的振动识别方法。因此，我们开展了本研究。
图1 振动识别应用
深度学习应用广泛，近期研究发展也非常快。但深度学习的应用过程绕不开小样本的难题，并且实际问题的独特性经常使得常规小样本解决方法不适用，限制了深度学习的应用。在振动识别问题中，我们可以通过信号处理算法提取振动信号的特征，降低后续深度神经网络的深度特征提取难度，提升了整体的振动识别效果。
2
信号处理-深度学习联合的振动信号识别
图2 方法框架
本方法的实现过程如图2，重点是特征提取和训练神经网络实现振动识别。过程如下：
(1) 信号数据采集与清洗：在周围环境中采集多种典型振动的信号，据振动源设定标签。对采集的数据进行清洗，提取数据的有效片段，建立振动信号数据库；
(2) 信号时频域特征提取：通过WT、HHT和MFCC三种信号处理方式对信号进行时频域特征提取，扩充三种时频域系数数据；
(3) 基于深度学习的信号识别训练：以步骤(1)(2)所构建数据库中的时频域振动信号作为输入，振动源类型作为数据标签，对CNN、LSTM以及两者结合的(CNN+LSTM)三类神经网络进行模型训练，得到具备振动识别能力的模型；
(4) 深度学习模型的评估验证：对步骤(3)中训练得到的神经网络模型进行评估验证，对比不同方法的型号识别准确率。
3
具体方法说明
3.1 信号数据采集与清洗
首先采用加速度传感仪对工作环境中的典型振动进行采集，获取四类数据：公交汽车、建筑施工、地铁轻轨和高铁动车引发的振动。采用短时能量分析进行数据的快速清洗（图3）。初始振动经过清洗后，四种类型的振动信号数据量分别为476、302、477和266。
图3 典型公交汽车30分钟振动信号的波形及短时能量
3.2 信号时频域特征提取
本研究主要采用了WT、HHT和MFCC三种信号处理方式。以地铁的振动时频域特征为例，图4按照顺序分别为WT、HHT的IMF、MFCC处理后的振动特征图片：
图4 典型地铁振动的时频域特征
3.3 基于深度学习的信号识别训练
本研究采用三种典型的神经网络进行训练，CNN、LSTM和CNN+LSTM。由于数据量较少，且每条数据的信息有限，网络层数不能过多，以防止过拟合，影响识别正确率。训练和测试结果表明，以WT和MFCC系数矩阵作为输入的CNN识别效果最佳。
1) 时序振动信号输入: 由于数据有限，测试的结果比训练的结果差太多，出现过拟合（表1）
表1 原始信号输入的训练结果
2) WT矩阵输入: CNN训练和测试准确率基本可达95%，LSTM则稍差测试准确率约85%（表2）
表2 WT输入的训练结果
3) HHT矩阵输入: CNN和LSTM训练和测试准确率约85%，不够理想（表3）
表3 HHT输入的训练结果
4) MFCC矩阵输入: CNN和LSTM训练和测试准确率均可达95%（表4）
表4 MFCC输入的训练结果
3.4 深度学习模型的评估验证
选取与训练测试数据完全不同的振动，进行振动识别性能的验证。振动信号图6所示,代号Bus、Cons、Sub、HSR分别指公交、施工、地铁和高铁，代号前的数字代表预测顺序。
图6 预测集振动信号的时程特征
振动的预测结果如表5所示，其中加粗并带下划线的信号类型指错误地识别成其他信号。WT矩阵和MFCC矩阵作为输入，准确率100%；HHT矩阵作为输入，效果稍差（准确率90%）；原始时序数据输入，准确率最低（60%）。验证结果与训练结果基本一致。
表5 振动识别验证结果
4
总结
在以前WT-CNN做振动识别的基础上，开展了一次相对全面的研究，具体结论如下：
1. WT-CNN方法的效果值得肯定，尤其是在针对数据样本较小的问题时，信号处理算法的引入可以有效改善深度神经网络的识别能力；
2. 训练神经网络时，需要采集振动数据并标记，采集的原始数据含有大量无关信息，可运用短时能量分析清洗，提取信号有效片段；
3. WT、HHT和MFCC三种信号处理方法获取的振动特征相当不错，并且以系数矩阵（非图像）作为神经网络的输入效果更佳；
4. WT+CNN和MFCC+CNN最终的表现最优。小样本时不宜采用LSTM网络（需要训练的参数太多，容易欠拟合）；一定范围内，HHT提取的特征不如WT和MFCC好。
本研究感谢SRT项目袁舟、汪子涵、安芃、冯昊龙和唐浩然等同学帮助。更多相关内容欢迎下载原文。
联络邮箱: czg18@mails.tsinghua.edu.cn; liaowj17@mails.tsinghua.edu.cn
---End--
程志刚
廖文杰
相关研究
相关文章，在仿真秀官网搜索
新论文：基于实测地震记录的区域地震动场模拟方法
新论文：基于数字孪生的强震下大跨斜拉桥倒塌易损性评估
新论文 | 卷积神经网络 + 小波时频图：基于地震动时频域特征的震害评估新方法
新论文：城市尺度树木风灾破坏近实时评估：方法框架及清华园案例应用
如何将地震破坏力评估加速1500倍？| 新论文：基于LSTM的地震破坏力实时评估
新论文：大跨斜拉桥的非线性模型更新及倒塌预测
新论文：“场地－城市”效应对区域震害评估的定量影响分析
新论文：基于机器学习方法的多元地震动强度指标比选与实时震害预测
新论文：新一代地震-连续倒塌综合防御组合框架——综合韧性防御组合框架
新论文：给振动信号拍个照，可以提升振动控制效果！
新论文：基于城市信息模型、并同时适用于城市建筑群和单体重要建筑的多灾害模拟框架
新论文：台风风灾对港口运营的经济影响：以中国港口为例
新论文：中柱失效后混凝土板柱结构承载性能影响因素研究
新论文：不同冲剪方向下板柱节点抗倒塌性能研究
新论文：基于BIM与虚拟现实的建筑震后火灾救援场景模拟
新论文：社区地震安全韧性评估系统及社区应用示范
这栋楼是什么结构的，元芳，你怎么看？——大人，时代变了！|新论文：使用机器学习方法预测城市建筑结构类型
新论文：次边缘柱失效后钢筋混凝土平面框架连续倒塌承载力的试验分析和计算评估
新论文：基于集群计算的大跨斜拉桥精细有限元模型更新
新论文：钢筋混凝土板柱节点冲切及冲切破坏后行为的数值模拟
新论文：边柱以及边中柱失效后平板结构连续倒塌行为试验研究
新论文：武汉火神山医院病房有害气体的高空排放设计和分析
新论文：主余震作用下区域建筑震害预测方法
新论文：城市抗震弹塑性分析的开源框架
新论文：考虑劳动力资源约束的城市尺度建筑抗震韧性模拟和震后维修规划
新论文：基于无人机与深度学习的建筑震害评估方法
新论文：抗震&防连续倒塌：一种新型构造措施
新论文：混凝土梁柱子结构连续倒塌动力效应的试验研究
层间位移角判别准则不适用于剪力墙，怎么办？|新论文：基于曲率的剪力墙损伤评估方法
新论文：结合BIM和FEMA P-58的建筑地震损失预测方法
新论文：地震-连续倒塌综合防御组合框架结构体系研究
新论文：扔砖头、跳盒子，这也是做科学试验哦！| 地震次生坠物情境中的人员疏散模拟
新论文：改变框架-核心筒结构剪力调整策略对其抗震性能影响的研究
综述：城市抗震弹塑性分析及其工程应用
新论文：适用于多LOD BIM的建筑地震损失评估
新论文：新型地震和连续倒塌综合防御韧性PC框架承载力计算方法
新论文：角柱失效后平板结构连续倒塌行为实验研究
新论文：城市建筑群多LOD震害模拟及北京CBD算例
美国NSF SimCenter+清华城市弹塑性分析=旧金山184万建筑地震模拟
新论文：受折纸启发的可更换承载-耗能双功能耗能器
新综述论文：21世纪建筑结构连续倒塌和鲁棒性的研究和实践
新论文：中柱失效后板柱结构连续倒塌传力机理研究
新论文：一根钢筋混凝土梁，承载力你能算对么？| 梁的压拱效应计算方法
新论文：无人机+机器学习+城市弹塑性分析=震后近实时损失预测
新论文：这个混凝土框架能抗震，能防连续倒塌，还功能可恢复，您不进来看看么？
新论文：一个好汉三个帮|带端部阻尼器伸臂桁架的抗震性能试验研究
新论文：BIM+新一代性能化设计=喷淋系统破坏后的地震次生火灾模拟
新论文：村镇建筑群火灾蔓延模拟与案例
新论文：建设地震韧性城市所面临的挑战
新论文：烈焰焚城 | 地震次生火灾的精细化和高真实感模拟
新论文：城市韧性——基于“三度空间下系统的系统”的思考
新论文：防屈曲支撑伸臂桁架？几个“狗骨头”可少不了！
新论文：城市抗震弹塑性分析中如何确定高层建筑的损伤程度？
新论文：考虑楼板影响的钢筋混凝土框架边柱连续倒塌试验
新论文：提高地震荷载分项系数，抗震安全性提高了多少？
新论文：采用减振子结构来控制超高层建筑的地震楼面加速度
新论文：500m级超高层建筑简化模型及其在结构体系对比中的应用
606m 超高层建筑OpenSees模型
