新论文 | 基于相位的结构运动识别
DOI: https://doi.org/10.1016/j.engstruct.2022.115259
DOI: https://doi.org/10.1111/mice.12957
00
太长不看版
随着计算机视觉技术的发展，越来越多的研究尝试使用基于视觉的方法测量建筑与基础设施的位移响应。然而这类技术会受到采集图像固有噪声以及相机分辨率的限制，另外对于结构的微小运动估计及参数识别也略显不足。基于相位的运动识别技术，可较好地识别结构的微小运动响应。但在稍大运动情况下得到的相位周期不同步会导致运动结果估计错误；估计过程还会出现相位病态估计问题；并且这类方法通常被局限于一维或二维空间。所以我们提出了以下两种方法解决这些问题。方法1通过加权相位展开求解相位估计问题，并通过基于重加权lq范数的多视角估计将其扩展到三维坐标；方法2通过三步稀疏优化，使得相位运动信息偏离限制条件，同时解决相位病态问题，保证信号的重构准确性。方法1发表于杂志《EngineeringStructures》，方法2发表于杂志《Computer-Aided Civil and Infrastructure Engineering》。
01
研究背景
课题组此前介绍过相关的机器视觉技术(参见：《新论文：使用深度学习超分辨率技术提升基于计算机视觉的位移测量精度》(Sun et al., 2022))。这次介绍的是基于相位的方法(Wadhwa, et al., 2017)，也就是通过图像相位信息转化为运动响应。先简要介绍一下相位估计中会出现的相位阶跃问题:
图1 相位差较小情况下的相位路径变化
图2 相位差较大情况下的相位路径变化
图1(a) 表示一个正弦波方程，以及与其相位差为π/3的另一个正弦波方程, 图1(b) 表示若干经过相位差变换后的正弦波，这些相位差都小于2π，可以发现变化后的各个正弦波之间相位仍旧同步。图2(a) 表示一个正弦波方程，以及其相位差为π/3+2π的另一个正弦波方程, 图2(b)表示若干经过相位差变换后的正弦波，这些相位差中的部分数值大于2π，可以发现这部分的相位已经明显不同步了。这说明在运动稍大的情况，相位阶跃现象对基于相位的方法影响较大，而我们提的两种方法初衷主要为了解决相位阶跃现象，并希望同时解决病态问题和三维估计问题。在这里提一下，相位病态问题指的是：因为相位估计问题是一个逆问题，所以在这过程中，计算噪声和环境噪声容易扩散，最终影响结果。
02
研究方法
方法1
根据上述相位阶跃现象，可以看出错误的相位信息与真实的相位信息，相差2π的整数倍。那么可否求解这个整数？通过查阅资料，发现可以通过求解相位展开问题实现，并可以同时求解相位病态问题。计算流程图如图3所示。
图3 方法1流程图
首先为了解决相位分析中的相位阶跃现象，需要利用相位展开理论对估计得到的初始相位进行增减整数倍2π估计。
但相位展开的过程中，也得同时考虑相位病态估计问题，这就需要将上述的相位展开问题扩展到加权相位展开问题，也就是在相位展开的时候也同时隔离噪声信息。
为将其扩展到三维空间，需要先检测特征点，然后通过特征点 集 合 来求解投影矩阵。但在传统多视角计算过程中，这类特征点中会包含大量的异常点影响结果，传统方法如RANSAC，MSAC等算法虽然可去除部分异常点，却难以将其彻底去除。为解决该问题，我们将异常点去除及投影矩阵求解问题转化为lq范数多视角最小化问题，并根据迭代重加权方法优化求解。具体流程见图3右半部分。
方法2
从方法1可以看到，在解决相位阶跃现象和相位病态估计问题中，主要基于相位展开理论，但该理论需要不断进行迭代，因此会产生计算误差，计算的整数也不一定完全准确。
为进一步提高精度，因此在方法2中，我们避免使用繁琐的相位展开理论，直接从相位运动的本质方程入手:
αδ(t)<ϑ
其中，α为放大倍数，δ(t)为运动方程，ϑ为最大限制。
可看到只需减少运动方程δ(t)的数值，也就是对运动方程降采样，就能避免触碰到临界值。但对视频文件降采样同时还需防止信息丢失，故需要进一步恢复视频信息。因此可以采用压缩感知的思想，该方法利用信号稀疏的特性，相较于奈奎斯特理论，得以从较少的测量值还原出原来的整个信号。但传统压缩感知一般适用于一维信号，因此我们设计了一种基于稀疏增强的压缩感知方法来求解三维视频信号的运动降采样与恢复问题，并同时利用这个算法通过视频信号的重构解决相位病态估计问题，计算流程图如图4所示。
图4 方法2流程图
首先对视频信息进行降采样，然后将视频中的图片分为关键帧(key frame)和非关键帧(non-key frame)两部分，划分标准如图5所示，Q为采样频率。其中关键帧采样频率较高，非关键帧采样频率较低。
图5 关键帧与非关键帧划分图
因为视频信号主要分布在空域、块域、时间域这三个层次，所以所提方法也得从这三个层次，并分别根据其不同特性，逐步来建立压缩感知的稀疏优化方法。
首先是空域上的稀疏优化，可通过对关键帧与非关键帧都进行多假设预测(MH)实现，但一些研究发现在MH 预测中会出现病态估计问题，所以在求解过程中又进一步引入Tikhonov正则化算子，来进一步避免病态问题产生。
然后是图像块域上的稀疏优化，由于在第一步的MH预测过程中，块与块是分开计算的，故需要考虑这之间的相关性。因此在这一步提出两个权重矩阵来解决块之间相关性问题，并引入稀疏编码的正则化项中，从而实现块域上的稀疏优化。
接下来是时间域上的稀疏优化，主要通过利用重加权残差稀疏性建模来增强关键帧与非关键帧之间的时间相关性。最后才是基于相位的运动估计。
03
试验验证
方法1
方法1被应用于3层钢筋混凝土框架结构的振动台试验，测试结构和相机的整体布局如图6所示。三台相机与振动台在x和y方向上的距离都为4000mm。在测试中，加载了1995年1月17日阪神大地震中神户市记录的名为JMA Kobe的地震波，四个工况下的峰值加速度分别为0.07 g，0.20g，0.40g和0.62g，在x和y方向连续加载。
图6 三层框架试验布置图
首先进行多视角估计性能比较，方法1中的加权lq最小化方法分别与主流的MSAC以及l1最小化方法进行对比。比较结果如图7所示，异常值去除能力可通过松弛数量的数量反映，通常将数值大于1e-7的松弛变量(见图7中基线)，作为已去除的异常值。根据图8中结果，MSAC，l1最小化以及加权lq最小化方法去除的异常值数量分别为23，25以及25。为更加区分后两种方法的优劣性，可通过计算这两种方法松弛变量的绝对值之和，l1最小化以及加权lq最小化方法的数值分别为129.8258以及192.6778。这说明加权lq最小化方法去除异常值效果更佳。
图7 根据松弛变量的异常值去除能力比较
根据相机的记录视频，分别使用方法1及传统的方法对结构振动位移进行识别。在传统方法中，先在每个相机视图中使用基于相位的运动识别方法，获得二维位移，再利用加权lq最小化方法得到的投影矩阵，将二维位移投影到三维空间；在方法1中，使用加权相位展开后识别得到的二维位移，再通过加权lq最小化方法投影到三维空间。部分层间位移时间序列的定性比较结果如图8所示。可看到方法1相对于传统的方法，所得到的位移数据与参考数据更为接近。
图8 三层框架结构位移结果对比图
方法2
方法2被应用于5层石幕墙结构的振动台试验，测试结构和相机的整体布局如图9所示。两台相机与振动台在x和y方向上的距离都为3000mm。在测试中，加载的地震波分别是人工波和Taft波。其中，人工波的峰值加速度分别为0.07 g和0.20g，Taft波的峰值加速度分别为0.40g和0.62g，四个工况在x和y方向上连续加载。
图9 五层石幕墙试验布置图
部分位移时间序列的比较结果如图10所示。可看到方法2相对于基于相位的方法，以及基于多频率分析的方法(Cai et al., 2022)，所得到的位移数据与参考数据更为接近。
图10 石幕墙结构位移结果对比图
04
结论
我们提出了两种方法，对基于相位的结构运动识别方法进行改进，方法1通过加权相位展开求解相位估计问题，并通过基于重加权lq范数的多视角估计将其扩展到三维坐标；方法2通过三步稀疏优化，使得相位运动信息偏离限制条件，同时解决相位病态问题，保证信号的重构准确性。相关试验记录如下：
在3层框架多视角分析中，基于重加权lq范数的方法与MSAC以及l1最小化方法进行对比，获得了最佳的异常点去除效果；
在3层框架位移识别中，基于重加权相位展开的方法能进一步地提高识别准确性；
在石幕墙结构位移识别中，相比于相位方法和多频率分析方法，稀疏优化的方法获得了明显更好的识别结果。
05
参考文献
Sun, C., Gu, D., Zhang, Y. & Lu, X. (2022), Vision-Based Displacement Measurement Enhanced by Super-Resolution Using Generative Adversarial Networks, Structural Control and Health Monitoring, 29(10), e3048.
Wadhwa, N., Chen, J. G., Sellon, J. B., Wei, D., Rubinstein, M., Ghaffari, R., Freeman, D. M., Büyükoztürk, O., Wang, P. & Sun, S. (2017), Motion Microscopy for Visualizing and Quantifying Small Motions, Proceedings of the National Academy of Sciences of the United States of America, 114(44), 11639-11644.
Cai, E., Zhang, Y. & Quek, S. T. (2022), Visualizing and Quantifying Small and Nonstationary Structural Motions in Video Measurement, Computer-Aided Civil and Infrastructure Engineering, 00, 1-25.
蔡恩健
---End---
相关研究
相关文章，在仿真秀官网搜索：
学术报告视频
《从基于模拟的结构设计到基于人工智能的结构设计》学术报告视频
《地震巨灾情景构建》科普报告视频
《城市抗震弹塑性分析及其在情景构建与地震应急中的应用》学术报告视频
专著
英文版《工程地震灾变模拟：从高层建筑到城市区域(第2版)》出版
专著《城市抗震弹塑性分析》出版
人工智能与机器学习
---结构智能设计
建筑结构生成式智能设计在实际投标项目中的应用
除了剪力墙结构，AI能不能设计框架结构？| 论文和发明专利：基于图神经网络的框架梁智能化布置
老师划重点啦，AI工程师学会了么？| 新论文：注意力增强的剪力墙结构人工智能设计方法
新论文和发明专利 | 规则增强的框架-核心筒结构人工智能设计方法
新论文 | 剪力墙结构智能化生成式设计方法：从数据驱动到物理增强
简便高效的建筑结构AI设计系统 | 新论文：集成式智能生成设计系统及其在剪力墙结构上的应用
利用设计文本指导AI建筑结构设计 | 新论文及发明专利：融合文本和图像数据的建筑结构AI设计方法
新论文：面向自动合规审查的知识增强语义对齐和自动规则解译方法
新论文：融合自然语言处理与上下文无关文法的审图规则自动解译方法
新论文及发明专利 | 基于深度学习的楼盖结构智能化设计方法
新论文：面向建筑领域自然语言处理的领域语料库及预训练模型
用“图”和“图”来生成“图”？中文快不够用了 | 发明专利：多模态输入深度神经网络、框架结构梁柱设计方法及装置
AI想做结构设计？它得先学结构力学！| 新论文及发明专利：物理增强的剪力墙结构智能化设计方法
AI+PKPM | 给个建筑户型图，结构设计全自动
糟糕！结构高度从50m改为100m了。AI：5秒完成新结构方案 | 发明专利：融合文本和图像数据的建筑结构AI设计方法
揭秘人工智能设计剪力墙结构的科学原理 | 新论文：基于生成对抗网络的剪力墙结构设计方法
用人工智能进行结构方案设计| 发明专利：基于对抗生成网络的剪力墙结构布置方法
5分钟！从设计结构方案到完成计算书 | 人工智能设计剪力墙结构案例演示
新发明专利：一种将规范文本自动转为可计算逻辑规则的方法及系统
---其他土木工程领域人工智能研究
提升小样本下预测性能近一个数量级 新论文 | 神经网络响应时程预测中的迭代自迁移方法 (附数据集和程序)
新论文：使用深度学习超分辨率技术提升基于计算机视觉的位移测量精度 新论文 | 基于深度学习的滞回模型如何拥有“误差自纠偏”能力？(附数据集和程序)
新论文 | 倾斜摄影点云+深度学习=城市风环境自动化模拟
新论文 | 卷积神经网络 + 小波时频图：基于地震动时频域特征的震害评估新方法
他山之石可以攻玉 | 新论文：基于深度迁移学习的结构地震响应识别
新论文：为提升AI振动识别效果，小波、HHT、MFCC、CNN、LSTM我们都试一试
如何将地震破坏力评估加速1500倍？| 新论文：基于LSTM的地震破坏力实时评估
新论文：基于机器学习方法的多元地震动强度指标比选与实时震害预测
新论文：给振动信号拍个照，可以提升振动控制效果！
这栋楼是什么结构的，元芳，你怎么看？——大人，时代变了！|新论文：使用机器学习方法预测城市建筑结构类型
新论文：基于无人机与深度学习的建筑震害评估方法
新论文：无人机+机器学习+城市弹塑性分析=震后近实时损失预测
城市灾害模拟与韧性城市
新论文 | 复杂地形下场地-城市效应的振动台试验和数值模拟
新论文 | 传感器质量和密度对震后快速评估影响的成本效益分析
提升震害分析精度，更多数量 or 更高质量的加速度计? | 新论文：加速度计类型对地震动记录和震损评估的影响
新论文 | 基于倾斜摄影、深度学习和CFD的城市尺度窗户风损评估
新论文 | 强震台网密度对震害评估的影响
新论文：城市尺度树木风灾破坏近实时评估：方法框架及清华园案例应用
新论文：基于实测地震动的近实时地震滑坡预测方法(并附源程序)
新论文：基于实测地震记录的区域地震动场模拟方法
新论文：“场地－城市”效应对区域震害评估的定量影响分析
新论文：基于城市信息模型、并同时适用于城市建筑群和单体重要建筑的多灾害模拟框架
新论文：台风风灾对港口运营的经济影响：以中国港口为例
新论文：基于BIM与虚拟现实的建筑震后火灾救援场景模拟
新论文：社区地震安全韧性评估系统及社区应用示范
新论文：武汉火神山医院病房有害气体的高空排放设计和分析
新论文：主余震作用下区域建筑震害预测方法
新论文：城市抗震弹塑性分析的开源框架
新论文：考虑劳动力资源约束的城市尺度建筑抗震韧性模拟和震后维修规划
新论文：结合BIM和FEMA P-58的建筑地震损失预测方法
新论文：扔砖头、跳盒子，这也是做科学试验哦！| 地震次生坠物情境中的人员疏散模拟
综述：城市抗震弹塑性分析及其工程应用
新论文：适用于多LOD BIM的建筑地震损失评估
新论文：城市建筑群多LOD震害模拟及北京CBD算例
美国NSF SimCenter+清华城市弹塑性分析=旧金山184万建筑地震模拟
新论文：BIM+新一代性能化设计=喷淋系统破坏后的地震次生火灾模拟
新论文：村镇建筑群火灾蔓延模拟与案例
新论文：建设地震韧性城市所面临的挑战
新论文：烈焰焚城 | 地震次生火灾的精细化和高真实感模拟
新论文：城市韧性——基于“三度空间下系统的系统”的思考
新论文：城市抗震弹塑性分析中如何确定高层建筑的损伤程度？
高性能结构与防倒塌
新论文：面向多层RC框架的连续倒塌易损性简化评估方法
新论文 | 一致阻尼模型在OpenSees中的实现(附程序与说明)
新阻尼模型论文 | 频域分布任性变，开源程序免费领
新论文：中柱节点向上和向下冲剪破坏引起的板柱子结构连续倒塌研究
新论文：有限元携手物理引擎，倒塌模拟新思路
新论文：美国佛罗里达公寓大楼倒塌的初步分析和讨论
综述论文：建筑结构抗震“体系能力设计法”综述
新论文：不同钢筋构造对RC板柱节点冲剪破坏后性能的加强作用
新论文：地震－连续倒塌综合韧性防御超高层体系
新论文：基于数字孪生的强震下大跨斜拉桥倒塌易损性评估
新论文丨不同冲剪方向下板柱节点抗倒塌性能研究
新论文：大跨斜拉桥的非线性模型更新及倒塌预测
新论文：新一代地震-连续倒塌综合防御组合框架——综合韧性防御组合框架
新论文：中柱失效后混凝土板柱结构承载性能影响因素研究
新论文：不同冲剪方向下板柱节点抗倒塌性能研究
新论文：次边缘柱失效后钢筋混凝土平面框架连续倒塌承载力的试验分析和计算评估
新论文：基于集群计算的大跨斜拉桥精细有限元模型更新
新论文：钢筋混凝土板柱节点冲切及冲切破坏后行为的数值模拟
新论文：边柱以及边中柱失效后平板结构连续倒塌行为试验研究
新论文：抗震&防连续倒塌：一种新型构造措施
新论文：混凝土梁柱子结构连续倒塌动力效应的试验研究
层间位移角判别准则不适用于剪力墙，怎么办？|新论文：基于曲率的剪力墙损伤评估方法
新论文：地震-连续倒塌综合防御组合框架结构体系研究
新论文：改变框架-核心筒结构剪力调整策略对其抗震性能影响的研究
新论文：新型地震和连续倒塌综合防御韧性PC框架承载力计算方法
新论文：角柱失效后平板结构连续倒塌行为实验研究
新论文：受折纸启发的可更换承载-耗能双功能耗能器
新综述论文：21世纪建筑结构连续倒塌和鲁棒性的研究和实践
新论文：中柱失效后板柱结构连续倒塌传力机理研究
新论文：一根钢筋混凝土梁，承载力你能算对么？| 梁的压拱效应计算方法
新论文：这个混凝土框架能抗震，能防连续倒塌，还功能可恢复，您不进来看看么？
新论文：一个好汉三个帮|带端部阻尼器伸臂桁架的抗震性能试验研究
新论文：防屈曲支撑伸臂桁架？几个“狗骨头”可少不了！
新论文：考虑楼板影响的钢筋混凝土框架边柱连续倒塌试验
新论文：提高地震荷载分项系数，抗震安全性提高了多少？
新论文：采用减振子结构来控制超高层建筑的地震楼面加速度
新论文：500m级超高层建筑简化模型及其在结构体系对比中的应用
课题组2015年的论文：超高层建筑火灾结构安全分析
606m 超高层建筑OpenSees模型
