新论文：使用深度学习超分辨率技术提升基于计算机视觉的位移测量精度

1年前浏览9161

DOI：http://doi.org/10.1002/stc.3048

太长不看版

随着计算机视觉技术的发展，越来越多的研究尝试使用基于视觉的方法测量建筑与基础设施的位移响应，但是往往需要采用成像质量良好的专用设备，限制了视觉方法的应用。与此同时，城市中分布着大量的监控摄像头，在识别人员、车牌以及高空坠物等任务中大展身手，于是一个很自然的联想是如此众多的监控摄像头是否可以胜任结构位移测量这一更加精细的任务。然而事与愿违的是，监控摄像头并非为这一任务而生，存在距离目标远、成像质量差等问题。因此，本文尝试使用超分辨率技术解决这一问题，通过补充拍摄高清照片实现低清监控图像与视频的细节提升，进而提高位移测量的精度。试验验证了方法的有效性和稳定性。可为基于城市监控摄像头开展建筑与基础设施位移响应监测提供参考。

研究背景

我们课题组此前介绍过很多利用生成对抗深度学习方法（即GAN方法）来做结构设计的例子(参见：报告视频：《结构生成式智能设计》)，其实GAN除了做结构设计，还可以做很多其他的事情。

对于我们这些生于上世纪的人，经常感慨由于当时技术的限制，小时候的照片分辨率太差，人都模糊不清。针对这一问题，超分辨率技术应运而生。它可以通过多种算法，提升照片的清晰度。比如SRGAN算法就利用生成对抗深度学习方法，可以有效提升照片的清晰度。下图就是用超分辨率修复的老照片，大家可以猜猜照片里面的小男孩是谁？

猜猜我是谁？

既然超分辨率技术有如此神奇的能力，那我们能不能在土木领域找到它的应用场景呢？

建筑或基础设施的位移监控是保障建筑安全的重要途径，现在城市里面为了安保、交通等需求，设置了大量的监控摄像头。这些监控摄像头获取了很多结构事故的重要信息。但是，由于这些监控摄像头并非是结构位移监测的专用设备，因此往往苦于分辨率不足而不能满足建筑位移监测的需要。

监控摄像头记录的工程事故

那有没有可能通过深度学习超分辨率技术提升监控摄像头的分辨率进而提升位移测量精度呢？为此，本文提出了一种利用基于GAN的深度学习超分辨率模型提升静态动态位移测量精度的方法。该方法通过补充拍摄目标对象的高清照片，实现了低清图像与视频的细节提升，进而提高了位移测量的精度。

方法

本文所提方法的技术路线主要包括5个步骤：低清图像获取、高清图像拍摄、图像对齐构造数据集、超分辨率、位移测量，如图1所示。

图1. 本文所提方法的技术路线

首先，本文的应用场景主要针对城市中固定式视频监控设备拍摄的影像，由于拍摄设备自身硬件分辨率不足或待位移测量物体距离较远等原因，导致目标清晰度不足，从而影响位移测量的精度。

理想的超分辨率图像难以由单张低分辨率图像凭空生成，因此需要拍摄目标物体的高清图像，从而利用其丰富的纹理特征，实现低清图像的解析度提升。对于建筑、桥梁等城市基础设施，在利用监控图像或视频开展工程调查时拍摄其高清图像具有可行性。

接下来，利用低清图像和高清图像构造深度学习数据集。这里需要采用人工选择参考点进行图像变换的方法将二者进行配准。因为深度学习超分辨率模型旨在表征低清图片到高清图片的映射关系，且位移测量方法求解的是相对变化，故这种配准偏差对于位移测量的结果影响有限。对于配准后的数据，确定兴趣区域ROI，经过随机平移、旋转增强，即可得到成对的低清-高清数据集。

本文采用SRGAN作为超分辨率的网络。经过训练的SRGAN即可应用于目标对象低清图像的ROI得到超分辨率图像。

最后是位移测量，本文在试验中测试了多个经典的基于视觉的位移测量方法在超分辨率图像上的有效性，包括Shi-Tomasi角点检测、SIFT特征点检测与匹配、KLT光流追踪等。

试验验证

本文首先开展了静态试验验证方法的有效性。将窗户图案以预设间距打印张贴，利用相机拍摄其低清和高清照片，采用上述方法测量彼此的间距并与实际值相比较。试验对比了三组不同的影响因素：分辨率(D)、光照(L)与模糊(B)。静态试验设置如图2所示。

图2. 静态试验设置

各工况的超分辨率结果如图3所示，可见拍摄的低清照片的纹理细节得到了极大丰富。需要注意的是，与传统超分辨率任务关注低清图片的原样细节提升不同，本文超分辨率任务重点关注纹理细节的位置信息。因此，尽管超分辨率后的图片与原低清图片存在明度、色调等差异，但实现纹理细节的原位替换即可服务于测量任务。

图3. 静态试验超分辨率结果

试验分别对比了位移测量方法在低清原图(ORI)、8倍双立方插值超分辨率图像(BIC)和8倍深度学习超分辨率图像(GAN)上的效果。Shi-Tomasi角点检测的结果如图4所示，SIFT特征点检测与匹配的结果如图5所示。

图4. Shi-Tomasi角点检测的结果

图5. SIFT特征点检测与匹配的结果

最终，定量误差分析表明，在超分辨率图像上应用位移测量方法，可以一定程度提高精度并且对于暗光和模糊具有一定的稳定性，如图6和图7所示。

图6. 边缘角点检测与内部角点检测的测量结果

图7. SIFT特征点检测与匹配的位移测量结果

接下来，本文在动态试验上验证方法的有效性。动态试验使用2018年UCSD开展的振动台试验。试验过程中，试件南侧一架固定的DVR相机记录了动态测试过程。此外，在试件安装完成后振动台测试开始前，试验人员在多个位置拍摄了多张试件的高清照片。本文选择了其中一张视角与DVR相近的照片作为超分辨率的高清信息提供者。动态试验设置如图8所示。

图8. 动态试验设置

超分辨率后的视频ROI区域如图9所示，低清视频的纹理细节得到了丰富。试验分别对比了KLT光流追踪算法在低清视频(ORI)、插值超分辨率视频(BIC)和基于GAN的深度学习超分辨率视频(GAN)上的识别结果，如图10所示。本文方法相比低清视频和插值超分辨率视频取得了精度提升。

图9. 视频帧ROI区域超分辨率结果

图10. 位移时程测量值

结论

本文提出了一种利用基于GAN的深度学习超分辨率模型提升位移测量精度的方法，方法通过补充拍摄目标对象的高清照片，实现低清监测图像与视频的细节提升，进而提高位移测量的精度。试验验证结果表明：

(1) 本文提出的方法重点解决目标物体在机器视觉图像中分辨率较低且细节质量较差的问题，可为基于城市固定式视频设备开展基础设施位移响应监测提供参考。

(2) 在基于角点和SIFT特征点检测与匹配的位移测量任务中，本文方法相比原低清图像和插值超分辨率方法可以提升测量精度，并在暗光和模糊条件下仍保持良好的精度。

(3) 在基于光流追踪的位移监测任务中，本文方法相比原低清视频和插值超分辨率方法减少了光流追踪的漂移并提升了结构动态响应测量精度。

---End---

相关研究

相关文章，在仿真秀官网搜索：

特刊征稿

Earthquake Engineering Structural Dynamics特刊征稿《地震工程中的AI与数据驱动方法》

专著

英文版《工程地震灾变模拟：从高层建筑到城市区域(第2版)》出版
专著《城市抗震弹塑性分析》出版

人工智能与机器学习

报告视频：《结构生成式智能设计》
新论文及发明专利 | 基于深度学习的楼盖结构智能化设计方法
新论文：面向建筑领域自然语言处理的领域语料库及预训练模型
新论文 | 基于深度学习的滞回模型如何拥有“误差自纠偏”能力？(附数据集和程序)
用“图”和“图”来生成“图”？中文快不够用了 | 发明专利：多模态输入深度神经网络、框架结构梁柱设计方法及装置
AI想做结构设计？它得先学结构力学！| 新论文及发明专利：物理增强的剪力墙结构智能化设计方法
AI+PKPM | 给个建筑户型图，结构设计全自动
糟糕！结构高度从50m改为100m了。AI：5秒完成新结构方案 | 发明专利：融合文本和图像数据的建筑结构AI设计方法
揭秘人工智能设计剪力墙结构的科学原理 | 新论文：基于生成对抗网络的剪力墙结构设计方法
用人工智能进行结构方案设计| 发明专利：基于对抗生成网络的剪力墙结构布置方法
5分钟！从设计结构方案到完成计算书 | 人工智能设计剪力墙结构案例演示
新发明专利：一种将规范文本自动转为可计算逻辑规则的方法及系统
新论文 | 倾斜摄影点云+深度学习=城市风环境自动化模拟
新论文 | 卷积神经网络 + 小波时频图：基于地震动时频域特征的震害评估新方法
他山之石可以攻玉 | 新论文：基于深度迁移学习的结构地震响应识别
新论文：为提升AI振动识别效果，小波、HHT、MFCC、CNN、LSTM我们都试一试
如何将地震破坏力评估加速1500倍？| 新论文：基于LSTM的地震破坏力实时评估
新论文：基于机器学习方法的多元地震动强度指标比选与实时震害预测
新论文：给振动信号拍个照，可以提升振动控制效果！
这栋楼是什么结构的，元芳，你怎么看？——大人，时代变了！|新论文：使用机器学习方法预测城市建筑结构类型
新论文：基于无人机与深度学习的建筑震害评估方法
新论文：无人机+机器学习+城市弹塑性分析=震后近实时损失预测

城市灾害模拟与韧性城市

视频：城市抗震弹塑性分析及其在情景构建与地震应急中的应用
提升震害分析精度，更多数量 or 更高质量的加速度计? | 新论文：加速度计类型对地震动记录和震损评估的影响
新论文 | 基于倾斜摄影、深度学习和CFD的城市尺度窗户风损评估
新论文 | 强震台网密度对震害评估的影响
新论文：城市尺度树木风灾破坏近实时评估：方法框架及清华园案例应用
新论文：基于实测地震动的近实时地震滑坡预测方法(并附源程序)
新论文：基于实测地震记录的区域地震动场模拟方法
新论文：“场地－城市”效应对区域震害评估的定量影响分析
新论文：基于城市信息模型、并同时适用于城市建筑群和单体重要建筑的多灾害模拟框架
新论文：台风风灾对港口运营的经济影响：以中国港口为例
新论文：基于BIM与虚拟现实的建筑震后火灾救援场景模拟
新论文：社区地震安全韧性评估系统及社区应用示范
新论文：武汉火神山医院病房有害气体的高空排放设计和分析
新论文：主余震作用下区域建筑震害预测方法
新论文：城市抗震弹塑性分析的开源框架
新论文：考虑劳动力资源约束的城市尺度建筑抗震韧性模拟和震后维修规划
新论文：结合BIM和FEMA P-58的建筑地震损失预测方法
新论文：扔砖头、跳盒子，这也是做科学试验哦！| 地震次生坠物情境中的人员疏散模拟
综述：城市抗震弹塑性分析及其工程应用
新论文：适用于多LOD BIM的建筑地震损失评估
新论文：城市建筑群多LOD震害模拟及北京CBD算例
美国NSF SimCenter+清华城市弹塑性分析=旧金山184万建筑地震模拟
新论文：BIM+新一代性能化设计=喷淋系统破坏后的地震次生火灾模拟
新论文：村镇建筑群火灾蔓延模拟与案例
新论文：建设地震韧性城市所面临的挑战
新论文：烈焰焚城 | 地震次生火灾的精细化和高真实感模拟
新论文：城市韧性——基于“三度空间下系统的系统”的思考
新论文：城市抗震弹塑性分析中如何确定高层建筑的损伤程度？

高性能结构与防倒塌

新阻尼模型论文 | 频域分布任性变，开源程序免费领
新论文：中柱节点向上和向下冲剪破坏引起的板柱子结构连续倒塌研究
新论文：有限元携手物理引擎，倒塌模拟新思路
新论文：美国佛罗里达公寓大楼倒塌的初步分析和讨论
综述论文：建筑结构抗震“体系能力设计法”综述
新论文：不同钢筋构造对RC板柱节点冲剪破坏后性能的加强作用
新论文：地震－连续倒塌综合韧性防御超高层体系
新论文：基于数字孪生的强震下大跨斜拉桥倒塌易损性评估
新论文丨不同冲剪方向下板柱节点抗倒塌性能研究
新论文：大跨斜拉桥的非线性模型更新及倒塌预测
新论文：新一代地震-连续倒塌综合防御组合框架——综合韧性防御组合框架
新论文：中柱失效后混凝土板柱结构承载性能影响因素研究
新论文：不同冲剪方向下板柱节点抗倒塌性能研究
新论文：次边缘柱失效后钢筋混凝土平面框架连续倒塌承载力的试验分析和计算评估
新论文：基于集群计算的大跨斜拉桥精细有限元模型更新
新论文：钢筋混凝土板柱节点冲切及冲切破坏后行为的数值模拟
新论文：边柱以及边中柱失效后平板结构连续倒塌行为试验研究
新论文：抗震&防连续倒塌：一种新型构造措施
新论文：混凝土梁柱子结构连续倒塌动力效应的试验研究
层间位移角判别准则不适用于剪力墙，怎么办？|新论文：基于曲率的剪力墙损伤评估方法
新论文：地震-连续倒塌综合防御组合框架结构体系研究
新论文：改变框架-核心筒结构剪力调整策略对其抗震性能影响的研究
新论文：新型地震和连续倒塌综合防御韧性PC框架承载力计算方法
新论文：角柱失效后平板结构连续倒塌行为实验研究
新论文：受折纸启发的可更换承载-耗能双功能耗能器
新综述论文：21世纪建筑结构连续倒塌和鲁棒性的研究和实践
新论文：中柱失效后板柱结构连续倒塌传力机理研究
新论文：一根钢筋混凝土梁，承载力你能算对么？| 梁的压拱效应计算方法
新论文：这个混凝土框架能抗震，能防连续倒塌，还功能可恢复，您不进来看看么？
新论文：一个好汉三个帮|带端部阻尼器伸臂桁架的抗震性能试验研究
新论文：防屈曲支撑伸臂桁架？几个“狗骨头”可少不了！
新论文：考虑楼板影响的钢筋混凝土框架边柱连续倒塌试验
新论文：提高地震荷载分项系数，抗震安全性提高了多少？
新论文：采用减振子结构来控制超高层建筑的地震楼面加速度
新论文：500m级超高层建筑简化模型及其在结构体系对比中的应用
606m 超高层建筑OpenSees模型

来源：陆新征课题组

振动非线性建筑 BIM 数字孪生控制试验人工智能无人机机器视觉

著作权归作者所有，欢迎分享，未经许可，不得转载

首次发布时间：2023-03-18