新论文 | 基于深度学习的滞回模型如何拥有“误差自纠偏”能力？(附数据集和程序)

论文：Xu YJ, Fei YF, Huang YL, Tian Y, Lu XZ*, Advanced corrective training strategy for surrogating complex hysteretic behavior, Structures, 2022, 41: 1792-1803, DOI: 10.1016/j.istruc.2022.05.097

太长不看版

本研究提出了一种使深度神经网络模型拥有“自纠偏能力”的两阶段训练方法，可以有效纠正模型推演过程中的误差累积。通过在不同案例（复杂支撑模型案例与经典BoucWen滞回模型案例）、不同网络上开展分析，证明了本方法的有效性。最后，提出了“数据-物理耦合驱动”的结构响应分析方法，用神经网络代替有限元程序中的部分单元，并在OpenSEES中开展了程序实现。

数据、模型与程序开源

（1）本研究的基础数据集（以及课题组整理的其他一些相关数据、相应的说明文档）可以从下面的链接处下载。使用该数据集进行模型训练的示例性代码也附在同一链接中

https://pan.baidu.com/s/1d8CkF8RCtn4wkqHuiFKLzA   提取码：se54

（2）OpenSEES程序实现的代码和示例可以从下面的链接下载

https://pan.baidu.com/s/1eeO_p0vefwK4j4lPP8CTeQ   提取码：6onk

（3）本数据集是由博士生徐永嘉、费一凡和顾燚等通过自主模拟、收集网络资料等形成的。使用数据、模型与代码时，可以引用：

Xu YJ, Fei YF, Huang YL, Tian Y, Lu XZ*, Advanced corrective training strategy for surrogating complex hysteretic behavior, Structures, 2022, 41: 1792-1803, DOI: 10.1016/j.istruc.2022.05.097

1

研究背景

基于深度神经网络构建结构响应分析的代理模型，近年来得到很多研究者的关注。此类方法具有拟合能力强、端到端（无需人为干预中间过程）、可以取得“精度-效率”的良好平衡等优点，但也面临诸多问题。在很多案例中，网络的训练过程是并行性的（完整输入序列到完整输出序列的整体映射、Loss计算与反向传播），但推演却是逐步进行的。这一训练和推演的差异，可能导致神经网络的推演过程出现严重的“误差累积”问题，进而导致预测结果偏离真实值。在与有限元等时域逐步积分方法结合时，上述问题可能更加突出。因此，需要提出一种启发神经网络的训练方法，使网络具有一定的误差自纠偏能力，从而有效的纠正误差累积，获取准确的预测结果。

2

误差自纠偏的两阶段训练方法

传统结构分析方法中，通过反复迭代、收敛检查等手段，对误差进行纠正。但神经网络的训练过程的输入是无误差的真实值，推演过程也不包含上述环节，因此无法有效纠正误差累积（如图1所示）。同时，结构行为预测等属于复杂的高维时间序列回归问题，物理意义明确、输入输出映射关系唯一，既有的Mean-Teacher、大规模预训练等方法并不能很好的解决上述误差累积问题。

本研究提出的两阶段自纠偏训练方法，核心是“给定有偏输入，启发网络认识误差并纠偏”。其基本思想可以概述如图2所示，详细过程可以描述如图3所示。具体而言：

1）End to End Stage（简称Stage-E）

采用经典有监督训练模式，开展从完整输入序列到完整输出序列的正向传播、Loss计算、反向传播和参数更新；其每一步的预测都是基于无偏差的真实输入、输出开展的。

2）Step by Step Stage（简称Stage-S）

逐步训练，纠正误差。完成Stage-E训练后，从某一初始时间步M开始，开展模型训练K步；其中，第X步训练（M<X≤M+K）时，第1至第M-1时间步的输出是真实值，而第M至第X-1时间步的输出均为存在误差的预测值；输入序列始终为真实值。

3

绝对-相对误差耦合的推演策略

一个长时间序列包括不同特征的区段，例如“峰”、“谷”等，如图4所示。而神经网络训练同样可以采用多种不同的Loss函数。其中，最常见的Loss函数之一是均方误差MSE，计算公式如图5所示。可以看出，MSE依据每一时间步偏差的“绝对值”计算得到。但对于序列中某些“谷”值区段而言，即使绝对误差不大，相对误差也可能很大。因此，若要更好的控制这些谷值区段的误差，宜采用基于相对误差的Loss函数MRSE（如图5所示）。

基于上述分析，本研究提出了“绝对-相对耦合”的推演策略。在峰值区段（绝对值大于某一阈值）上，基于MSE训练模型并开展推演；谷值区段（绝对值小于另一阈值）上，基于MRSE训练模型并开展推演；中间区段则对两者的推演结果进行插值。论文正文中对阈值等进行了详细讨论，在此不予赘述。

4

方法验证

4.1 案例分析

本研究首先基于Huang提出的复杂支撑模型（如图6所示），构建了包含400个样本的数据集，并进行了标准化和随机划分（训练、验证和测试集分别包含320、40和40个数据样本）。随后，采用Zhang et al.构建的BoucWen数据集，作为典型滞回模型的代表性案例。详细数据集说明见正文开头处的链接和论文正文相应章节。

4.2 基于复杂网络的补充验证

5

数据-物理耦合驱动的结构响应模拟

神经网络适合构建复杂行为的代理模型。对于简单的物理模型而言，构建代理模型带来的收益可能有限；而既有研究也提出了许多结构/构件/材料的物理模型。在实践中，一种合理的思路是结合数据驱动和物理驱动策略，提出数据-物理耦合驱动的结构模拟方法。其基本原则是：

（1）基于物理模型，模拟规律清晰、特征明确的组分的响应；

（2）基于深度神经网络，构建特征多样、规律复杂组分的响应代理模型。

本研究提出的两阶段训练方法，在神经网络的推演过程中，隐式的加入了误差纠偏过程，为其与有限元等时域逐步积分法的结合提供了重要支持。基于开源结构分析软件OpenSEES，本研究开展了上述思路的程序实现，方法框架如图11所示，技术路线如图12所示。该方法框架中，前三步为正常的模型训练（采用本研究提出的两阶段训练方法），第四步则是本节即将介绍的模型集成和耦合模拟。

6

总结

本研究分析了经典模拟方法与神经网络训练的异同点，提出了具有误差自纠偏能力的两阶段训练方法，以及耦合MSE和MRSE的推演策略。案例分析表明，上述方法可以有效地控制整体误差、纠正误差累积。最后，本研究提出了“数据-物理耦合驱动”的结构模拟方案与技术路线，并基于OpenSEES开展了案例分析与程序实现。与精细有限元模型的对比表明，数据-物理耦合驱动的模拟方法可以在保持精度基本一致的情况下，显著提升模拟效率。