新论文：基于无人机与深度学习的建筑震害评估方法
致谢：感谢北川羌族自治县防震减灾局为本文无人机航拍提供的帮助。
太长不看版
论文链接：
https://authors.elsevier.com/c/1a0643IhXMjNmW
https://doi.org/10.1016/j.autcon.2019.102994
研究背景
地震灾害是突发性灾害，其带来的影响巨大。因此为了震后辅助决策与应急救援，需要对整个区域的建筑震害情况进行快速评估。
在传统的评估方法中，人工评估是最为常规的评估方式，但是该方式通常耗时费力效率低下，且危险性大。
而遥感评估是采用飞机或卫星的遥感数据开展评估，因此能在较短时间，评估大范围内的建筑震害情况。但是高空遥感平台由于其飞行高度高，无法感知建筑立面上的损伤。例如，发生软弱层倒塌以后，建筑底层完全垮塌，但上部结构基本完好。这种情况如果采用高空的遥感数据可能误判认为建筑基本完好，如图1所示。
图1 航拍照片和地面照片的比较
为了对受灾建筑物进行近距离的观测，获得建筑立面更详细的损伤信息，更为准确地评估区域建筑震害情况，本研究提出了基于低空无人机与深度学习的区域建筑震害评估方法。
技术路线
为实现震后区域建筑破坏等级的自动识别，本研究提出了图2所示的实现框架，框架主要包括相关数据准备，建筑图像分割和基于卷积神经网络的震害评估三个部分。
首先结合低空无人机拍摄的倾斜摄影数据，提出一套以区域建筑3D模型作为位置参考的建筑图像分割方法。然后，根据建筑图像分割得到的每栋单体建筑的图像，采用深度学习方法，评估每栋建筑的损伤情况。最后，本研究对北川地震灾区进行了案例分析，展示了本方法的效果。
图2 实现框架
技术手段
针对建筑震害评估，本研究提出以下技术手段：
(1) 图像分割
整个建筑图片分割过程如图3所示。
图3 建筑图像分割流程图
图像分割的具体步骤如下：
步骤1：通过2D-GIS数据生成区域建筑3D模型。
图4 通过2D-GIS数据生成区域建筑3D模型
步骤2：针对无人机拍摄的区域场景图片，提取图片的可交换图像文件（EXIF）数据，获得照片拍摄的位置数据以及相机朝向数据。将这些数据与区域建筑3D模型数据进行结合，可以反映相机与被拍摄建筑的相对位置关系（图5）。研究将采用航拍的图像数据与相机参数，解析航拍照片中建筑的位置。
图5 相机到建筑3D模型的相对位置
步骤3：结合预先获得的建筑3D模型，采用3D图形变换和投影，可以得到与真实照片对应的3D场景图像。该步骤主要采用了视锥体剪裁、遮挡查询和相对位置计算三种技术。
图6所示为视锥体剪裁，筛选出落在所拍摄的视野范围内的建筑，从而显著降低计算量。
图6 视锥体剪裁
图7所示为遮挡查询，筛选出某栋建筑可见比例较大的图像，从而保证建筑损伤评估的可靠性。
图7 遮挡查询
图8所示为相机到建筑的相对位置计算，可以设置一定距离限制的阈值，抓取距离较近建筑的图像，保证所抓取图像的空间分辨率；另外通过获取相机至每栋建筑的方位角，即可确定所截取的建筑图像是建筑的哪个立面，从而极大地方便建筑损伤评估。
图8 建筑到相机的相对位置
步骤4：将建筑3D模型坐标变换得到的建筑边界遮罩与真实场景照片进行对应，实现对应建筑图像的抓取。
图9 建筑图像分割过程
(2) 基于卷积神经网络的建筑震害评估
通过之前的方法，可以分割得到每栋建筑不同视角的图像。本节主要对分割得到的建筑图像数据，采用卷积神经网络（CNN）评估建筑的破坏等级。
步骤1：训练CNN分类器的图片数据集。从互联网收集了2000张破坏建筑的照片，由于照片数量相对较少，人工将建筑照片分为倒塌与未倒塌建筑两类进行训练。
步骤2：如图10所示，采用迁移学习的方法，采用收集的建筑照片对VGG16网络的最后几层进行训练。
图10 CNN结构框架
步骤3：采用TensorFlow深度学习框架，优化算法采用SGD方法，模型全连接层采用0.5的Dropout系数，对训练集和验证集按照4：1的比例来进行训练。训练结果如图11所示，验证准确率与训练准确率都高达95%，说明该模型没有出现过拟合，模型具有较好的通用性。
图11 模型训练准确率和验证准确率
应用案例
本文对北川县城地震遗址进行算例分析。北川县城经历了2008年汶川大地震，地震发生之后，北川县城大量建筑倒塌。之后北川县城在新址重建，地震破坏后的北川老县城被作为地震遗址公园保存至今。算例针对66栋多层建筑，该区域GIS地图如图12所示。
图12 北川老县城GIS地图
结合低空无人机拍摄的倾斜摄影数据，采用建筑3D模型作为位置参考生成建筑边界对图像进行分割。为了展示建筑分割的效果，图13展示了无人机飞跃地震灾区上空连续拍摄的多张照片的建筑位置识别情况。图中结果可看出，即使采用消费级的无人机(DJI Phantom 4Pro)，该图像分割的结果仍具有较高的精度，基本可以满足所需的要求。
图13 航拍照片及图像分割结果展示
图14从较低的高度更为清晰地展示了该区域建筑图像位置识别的效果。图14还展示了部分建筑在GIS模型中的ID号，相机至建筑距离、偏航角与俯仰角，以及建筑被遮挡的比例。通过采用本方法，可以获得丰富的建筑拍摄信息，不但能知道画面中的不同位置的图像属于哪栋建筑，而且知道拍摄到的是建筑的哪个立面，并且也能将GIS数据中建筑的详细信息与相应的建筑图像进行对应。
图14 相机至每栋建筑的相对位置参数展示
为了进一步展示提出的建筑分割方法，图15a–h展示了一栋建筑不同视角分割得到的图片。图中结果可以看出，由于无人机对该区域的建筑往复飞行，所以能获取每栋建筑的多视角图片。为了展示采用遮罩分割的效果，图15e–h为不采用遮罩分割的结果。通过与图15a–d中的结果进行对比可以发现，采用遮罩能有效屏蔽目标建筑周围环境的影响。
图15 有遮罩和没有遮罩的多视角建筑图像分割效果
采用上文中训练好的CNN分类器对区域66栋建筑进行震害评估，准确率达到了89.39%。评估结果与人工判断的结果如图16所示。
图16 震害评估与实际结果对比
结论
1）本研究提出了以3D模型作为位置参考的建筑分割算法。该方法能自动快速地从航拍照片中截取出每栋单体建筑的照片。并且能将每栋提取的照片与建筑对应的GIS数据进行映射，从而能获取包含丰富语义信息的建筑多视角图像数据。
2）本研究提出的建筑分割方法能获取航拍图片中建筑到相机距离、角度以及遮挡率等数据。这些数据能用于评估所抓取建筑图片的质量，从而挑选出质量较高的建筑图片，服务于之后基于图像的建筑损伤评估。
3）基于建筑3D模型的建筑图像分割方法的精度主要取决于建筑3D模型的精度，相机位置以及相机朝向的测量精度。在算例应用当中，虽然本研究采用的是消费级的无人机平台，相机位置与朝向角的数据测量精度有限，但是对老北川县城的应用结果显示采用该平台仍可以获得较好的精度。如果采用搭载更高精度传感器的无人机平台，则能显著提升建筑图片分割精度。
4）本研究收集了互联网上不同破坏等级的建筑图片，并采用这些图片训练了CNN分类器。采用训练好的CNN分类器对北川老县城的66栋建筑进行震害评估，结果显示该评估方法具有较好的准确性，准确率达到了89.39%。
5）CNN模型的准确性与可靠性很大程度上取决于训练图片的数量。由于本研究建筑图像分割方法可以自动抓取航拍照片中建筑的图像，在未来的应用中，随着本文方法在实际地震中的不断应用，将可以获得越来越多的建筑损伤图片，从而显著扩大CNN训练数据集，最终实现更多破坏等级的建筑损伤评估并显著提升模型预测精度。
欢迎点击文末“阅读原文”，获取论文细节！
熊琛
---End---
相关研究
相关文章，在仿真秀官网搜索
场地-城市耦合弹塑性分析+神威太湖之光+无人机 | 三项黑科技助力新北川县城震害预测
新论文：抗震&防连续倒塌：一种新型构造措施
新论文：混凝土梁柱子结构连续倒塌动力效应的试验研究
层间位移角判别准则不适用于剪力墙，怎么办？|新论文：基于曲率的剪力墙损伤评估方法
新论文：结合BIM和FEMA P-58的建筑地震损失预测方法
新论文：地震-连续倒塌综合防御组合框架结构体系研究
新论文：扔砖头、跳盒子，这也是做科学试验哦！| 地震次生坠物情境中的人员疏散模拟
新论文：改变框架-核心筒结构剪力调整策略对其抗震性能影响的研究
综述：城市抗震弹塑性分析及其工程应用
新论文：适用于多LOD BIM的建筑地震损失评估
新论文：新型地震和连续倒塌综合防御韧性PC框架承载力计算方法
新论文：角柱失效后平板结构连续倒塌行为实验研究
新论文：城市建筑群多LOD震害模拟及北京CBD算例
美国NSF SimCenter+清华城市弹塑性分析=旧金山184万建筑地震模拟
新论文：受折纸启发的可更换承载-耗能双功能耗能器
新综述论文：21世纪建筑结构连续倒塌和鲁棒性的研究和实践
新论文：中柱失效后板柱结构连续倒塌传力机理研究
新论文：一根钢筋混凝土梁，承载力你能算对么？| 梁的压拱效应计算方法
新论文：无人机+机器学习+城市弹塑性分析=震后近实时损失预测
新论文：这个混凝土框架能抗震，能防连续倒塌，还功能可恢复，您不进来看看么？
新论文：一个好汉三个帮|带端部阻尼器伸臂桁架的抗震性能试验研究
新论文：BIM+新一代性能化设计=喷淋系统破坏后的地震次生火灾模拟
新论文：村镇建筑群火灾蔓延模拟与案例
新论文：建设地震韧性城市所面临的挑战
新论文：烈焰焚城 | 地震次生火灾的精细化和高真实感模拟
新论文：城市韧性——基于“三度空间下系统的系统”的思考
新论文：防屈曲支撑伸臂桁架？几个“狗骨头”可少不了！
新论文：城市抗震弹塑性分析中如何确定高层建筑的损伤程度？
新论文：考虑楼板影响的钢筋混凝土框架边柱连续倒塌试验
新论文：提高地震荷载分项系数，抗震安全性提高了多少？
新论文：采用减振子结构来控制超高层建筑的地震楼面加速度
新论文：500m级超高层建筑简化模型及其在结构体系对比中的应用
606m 超高层建筑OpenSees模型
