美国伊利诺伊大学：双向图形化数字孪生框架Bi-GBDT
1.文章信息
论文《Bidirectional graphics-based digital twin framework for quantifying seismic damage of structures using deep learning networks》于2025年1月发表于《Structural Health Monitoring》期刊。本文由来自美国伊利诺伊大学厄巴纳 - 香槟分校及浙江大学的Guanghao Zhai, Yongjia Xu和Billie F. Spencer共同完成，文章提出了一种名为双向图形化数字孪生（Bi-GBDT）的框架，利用深度学习网络对结构物的地震损伤进行量化评估。
DOI:10.1177/14759217241231299
2.摘要及关键词
近年来，自动化震后检测技术（如图像采集与损伤识别）取得显著进展，但可见损伤与结构状态间的复杂关联机制仍缺乏系统研究，且深度学习算法面临训练数据匮乏的瓶颈。为此，本文提出一种双向图形化数字孪生框架（Bi-GBDT），通过震后影像实现结构状态评估。该框架包含两个核心阶段：（1）构建目标结构的数字孪生体（GBDT），集成计算机图形模型与有限元模型；（2）基于GBDT生成合成数据，用于训练神经网络预测损伤指标与结构状态。
为验证方法有效性，以抗震设计的钢筋混凝土剪力墙为研究对象：首先，建立并校准其GBDT，确保有限元模型模拟的损伤模式与实验结果高度吻合；其次，利用经校验的GBDT生成损伤模式合成图像及对应结构损伤指标，训练残差神经网络与条件生成对抗网络，实现最大层间位移角、应力/应变场及结构状态的精准预测。实验表明，基于合成数据训练的神经网络在实验数据上表现出良好性能，验证了方法的可行性；进一步通过多样化荷载工况的合成数据测试，证实了方法的鲁棒性。此外，利用GBDT生成的高保真图像作为输入进行结构状态预测，完整展现了Bi-GBDT框架的多维应用潜力。研究成果不仅证明了所提方法构建高精度数字孪生体的有效性，更为开发自动化震后评估策略提供了新途径。
关键词
合成数据、深度学习、计算机视觉、数字孪生、地震损伤评估、有限元分析
3.引言
地震后快速评估结构物的安全性对于决定是否需要修复以及恢复使用/运营至关重要。传统的地震后检查通常由专家在现场进行，将建筑分为已检查（绿色）、限制使用（黄色）和不安全（红色）三类。然而，这种检查方法不仅工作量大、耗时且主观性强，还常常要求检查人员在结构状态未知的高风险环境下操作。为了解决这些问题，研究人员提出了自动化检查流程，分为数据采集、损伤识别和结构状态估计三个步骤。
在数据采集环节，无人机（UAV）被广泛应用。无人机能够高效访问难以到达的区域，并根据预先设计的飞行路径收集大量结构图像。这种自动化采集方法不仅提高了效率，还降低了成本，尤其适用于桥梁等复杂结构的损伤图像采集。采集到的图像为后续的损伤识别和结构状态评估提供了基础数据。
在损伤识别方面，计算机视觉（CV）和深度学习（DL）技术发挥了重要作用。卷积神经网络等算法被用于检测和定位受损表面的裂缝，同时还能识别多种类型的损伤，如表面剥落、暴露钢筋和弯曲钢筋等。这些技术的应用显著提高了损伤识别的精度和效率。然而，地震是罕见事件，在地震后对受损结构进行无人机调查的机会有限，这限制了相关数据的获取和模型的验证。
为了解决数据不足的问题，研究人员提出了基于物理的图形模型（PBGM）和图形数字孪生（GBDT）的概念。PBGM通过有限元分析生成目标结构及其环境的3D损伤图形表示，从而在计算机中模拟整个数据采集和损伤识别过程。GBDT则进一步扩展了这一概念，专注于特定的已建结构，并能预测在指定地震载荷下的损伤状态。这些合成环境为开发自动化地震后检查策略提供了重要平台。
然而，将识别出的损伤解释为结构的整体状态仍然是一个复杂且主观的过程。地震特征、结构设计和地震引起的损伤之间存在复杂的关联，尤其是对于关键基础设施，其地震响应的不可预测性进一步增加了评估的难度。例如，结构裂缝在循环荷载下往往会闭合，导致报告的裂缝宽度与损伤相关性较差。此外，传统方法如有限元分析在处理此类“逆问题”时存在局限性，难以从损伤结果反推结构状态。
近年来，计算机视觉和深度学习技术的进步为解决逆问题提供了新的可能性。然而，现有的研究在这一领域的应用仍然有限，部分原因是模型不成熟且缺乏经过实验全面验证的数据。为此，本研究提出了一个经过实验验证的框架，称为双向图形数字孪生（Bi-GBDT），旨在建立结构状态与地震后摄影调查中捕获的损伤模式之间的联系。在这一框架中，首先建立目标结构的GBDT，并通过对比实验获得的损伤图与有限元模型结果进行验证。随后，利用验证后的GBDT生成各种载荷条件下的模拟损伤图和损伤指标，并以此训练神经网络，从输入的损伤图中预测结构状态。
为了验证这一框架的有效性，研究以伊利诺伊大学厄巴纳-香槟分校测试的混凝土剪力墙为例，将神经网络预测结果与有限元模型结果进行了对比。此外，还使用从GBDT渲染的真实图像作为输入，进一步展示了Bi-GBDT框架的全面性。这项研究为基于摄影调查的自动化地震后评估策略提供了重要的技术支撑，推动了数字孪生技术在地震工程领域的应用与发展。通过这一框架，未来有望实现更高效、更精准的地震后结构评估，为保障公共安全提供有力支持。
4.理论框架
图 1. 双向图形化数字孪生（Bi - GBDT）研究框架
图1展示了本研究中提出的框架概览，称为双向图形数字孪生（Bi-GBDT）。该框架的核心是图形数字孪生（GBDT），它是一个将真实结构的逼真图像与其对应的有限元模型相结合的合成模型。正向预测过程通过有限元分析生成结构损伤图，并将其投影到3D图形模型上，展示了如何在地震激励下预测结构损伤模式。反向预测过程则从受损结构的图像中提取损伤图，并利用深度学习网络预测结构状态。由于现有方法在从损伤图反推结构状态方面存在不足，本研究通过正向预测生成大规模合成数据，训练神经网络以解决这一逆问题。研究以混凝土剪力墙为例，验证了GBDT的有效性，并展示了其在地震后结构评估中的应用潜力。
5.实验设计
抗震钢筋混凝土剪力墙
为清晰阐释Bi-GBDT框架，本研究选取美国伊利诺伊大学厄巴纳-香槟分校（UIUC）试验的抗震钢筋混凝土剪力墙作为原型，系统展示框架工作流程。首先，详细阐述实验设计参数，包括加载工况与剪力墙构造特征。随后，基于Abaqus平台构建该剪力墙的有限元模型，并将其响应（基底弯矩、层间位移角及损伤模式）与既有实验数据进行对标验证。通过对比有限元模型与实验结果的基底弯矩-位移曲线、损伤演化规律等关键指标，确认模型有效性。经校验的有限元模型可为逆向预测任务生成高精度合成数据，进而支撑深度学习网络的训练。
本研究通过构建和验证有限元模型，展示了Bi-GBDT框架在抗震设计混凝土剪力墙中的应用。通过图像后处理方法，将低分辨率损伤图转换为高分辨率真实损伤图，为深度学习网络的训练提供了可靠的数据基础。模拟结果与实验数据的一致性证明了该框架的有效性，为地震后结构损伤的自动化评估提供了重要技术支持。
6.使用正向预测生成GBDT
本节通过创建受损的GBDT，展示了正向预测的完整工作流程。受损的GBDT利用有限元模型的信息，并通过以下五个步骤将其整合到未受损的GBDT中：（1）提取几何配置，（2）生成损伤图，（3）模型纹理化，（4）损伤图纹理化，（5）渲染合成图像。
需要注意的是，损伤图生成过程的细节已在“损伤模式和失效模式”一节中介绍。创建具有与有限元模型相同配置和真实损伤模式的数字孪生体的正向预测过程已经实现了自动化，这为构建大规模数据集并整合不同设计的剪力墙提供了可能性。随着受损GBDT的创建，将在下一节中展示正向预测与反向预测的整合。这一展示通过解释如何利用正向预测生成的合成数据来训练反向预测，完成了Bi-GBDT框架的闭环。
7.基于深度学习网络的反向预测
本节旨在从已识别的损伤图像中预测结构损伤指标和状态，这一过程称为反向预测。该预测利用了两种不同的深度学习网络，即残差神经网络（ResNet）和条件生成对抗网络（cGANs）。这些网络在合成数据集上进行了训练，这些数据集是通过正向预测生成的受损GBDT得到的。
值得注意的是，反向预测并不局限于特定格式的视觉损伤，无论是来自摄影调查的未处理图像，还是已识别的损伤图。如“方法论框架”一节所述，损伤识别已得到了广泛研究。因此，本节的重点在于建立结构状态与已识别损伤之间的联系，此外还展示了正向预测与反向预测的整体工作流程。
8.结论
本研究提出了一种通用框架Bi-GBDT，用于建立结构状态与震后无人机摄影勘测损伤模式之间的关联关系。通过混凝土剪力墙实体实验验证了正向预测过程的可靠性，其中基于有限元建模与仿真的损伤模式预测方法表现出较高的准确性。同时，本研究通过多尺度结构状态评估的反向预测验证了深度学习网络的有效性与鲁棒性。主要结论如下：
(1) 提出的有限元建模与仿真方法能有效表征混凝土剪力墙在循环荷载作用下的物理损伤演化。当层间位移角小于0.5%时，数值仿真成功再现了试验观测的滞回特性与损伤分布模式。
(2) 基于有限元仿真与图形建模技术建立的GBDT模型，能够通过已验证的混凝土剪力墙损伤模式生成高精度结构数字孪生体。该模型可根据研究需求合成具有物理意义的损伤图像，为后续深度学习网络训练提供数据基础。
(3) 通过改进的残差神经网络与条件生成对抗网络，实现了最大位移、应力应变场等多维损伤指标及结构状态的反向预测。基于试验数据与合成数据的综合验证表明，该网络体系具有优异的预测精度与鲁棒性，为基于影像数据的数字孪生构建与自动化震损评估提供了技术支撑。
(4) 在渲染图像上的反向预测应用表明，Bi-GBDT框架能有效利用摄影勘测图像实现结构状态评估，展现出良好的工程适用性。该框架通过建立可见损伤与多尺度损伤状态（包括最大位移、应力应变场等）的映射关系，填补了表观现象与结构性能退化之间的认知鸿沟。
相较于传统仅关注表观损伤建模与识别的研究，Bi-GBDT框架通过建立物理结构与数字孪生体之间的实质性关联，在数字孪生技术实现路径上取得了显著进展。该成果为实现"物理-信息"深度融合的智能震损评估体系奠定了理论基础，对推动工程结构全寿命周期数字化管理具有重要价值。
