面向数字孪生战场的红外场景实时仿真方法

针对采取智能算法进行战场态势分析和目标识别时面临的图像样本不足问题，构建了战场数字孪生系统，以实时物理域数据驱动孪生体仿真生成图像训练样本。首先，设计了开放复杂环境中的数字孪生战场体系结构和战场环境虚拟场景仿真流程，给出了红外图像仿真流程中基于有限自动机的状态转移机制；然后，对红外图像仿真流程的并行性进行了形式化分析和并行计算模型设计，实现了红外图像实时生成；最后，通过典型场景验证了孪生战场红外仿真图像方法的有效性，可为智能算法训练提供了真实感强和数据丰富的图像样本。

基于智能算法的战场态势分析和目标识别在指挥控制（指控）系统中有重要作用。对于图像分类、图像识别和态势分析等机器学习任务，可用于训练的样本数量对于实现高性能算法至关重要。当使用小训练集的训练模型时，训练后的模型常会过度拟合训练集中样本，导致测试效果不佳。为了避免出现过拟合，通常需要大量图像训练样本。但在解决战场目标识别问题时，常会面临图像样本不足、样本获取途径困难和代价较高等问题。为了丰富图像训练集，更好提取图像特征，提高模型泛化性能，可以通过构建战场数字孪生环境方式来仿真生成高质量的图像训练样本。

数字孪生（digital twin）以数字化方式建立物理实体的多维、多时空尺度、多学科和多物理量的动态虚拟模型来仿真和刻画物理实体在真实环境中的属性、行为和规则等。由于数字孪生具备虚实融合与实时交互、迭代运行与优化以及全要素/全流程/全业务数据驱动等特点，目前已应用于产品生命周期各个阶段。2019年，美国海军通过虚拟化“宙斯盾”系统的核心硬件，构建了“宙斯盾”系统的数字孪生系统，在托马斯•哈德纳导弹驱逐舰上利用虚拟“宙斯盾”系统发射了导弹并成功命中目标，实现了美国海军武器系统形态和升级模式的重大变革。

战场态势感知中，红外热成像具有重要作用。基于战场环境数字孪生体，根据在实际场地中采集到的地形、地物、表面温度和天气条件等信息，在数字孪生模型中建立红外辐射模型，对红外传感器入瞳处的红外辐射仿真图像，模拟传感器相应的光学衰减、渐晕和模糊等效应，得到最终的红外仿真图像，以此作为算法训练样本。红外成像仿真流程不仅包括场景的构建、辐射传输的计算，还包括红外探测器部分光学系统、探测单元和后续信号处理模块，红外仿真成像的质量会受到各个过程不同程度的影响，需根据不同的气温、大气条件和成像波段等因素，全面考虑仿真过程中出现的各种效应，以保证红外仿真图像的置信度。

数字孪生战场包括数字孪生体、指挥调度模块、进程态势模块及数据模型与算法库等部分。数字孪生体包括装备数字样机、虚拟环境、虚拟人和器材；指挥调度模块部署于指挥控制端，用于显示和分析战场态势、观察状态和位置高程等信息，为指挥员提供辅助决策建议；进程态势模块对采集数据进行格式化与计算后，驱动装备、环境、人物和器材等数字孪生体产生动态变化，进行态势三维可视化呈现，为指挥员提供直观的信息服务。数字孪生战场组成如图1所示。

图1  数字孪生战场组成

针对数字孪生战场环境开发及运行过程中全生命周期映射、虚实交互强和运行状态动态更新等特点，围绕战场环境物理域-数字域融合构建数字孪生系统的关键过程（包括状态感知与数据采集、动态更新与演化、高保真建模、高可信仿真和决策与优化）展开样本生成方法研究，通过样本表征、环境模型和逼真度评估等关键技术研究为高保真建模和高可信仿真提供保障，从而为数字孪生战场应用奠定基础。

面向数字孪生战场的红外图像样本生成，除了设计包括辐射模型、成像过程和传感器效应的红外仿真流程外，针对虚实映射和动态更新的要求，必须提升复杂红外仿真的实时性，实现数据启动和并行高效的红外图像仿真。

2.1  红外图像仿真流程

红外场景仿真成像过程中，需对红外成像仿真系统中到达虚拟摄像机的辐射能量经过一系列转换变为像素灰度值。到达虚拟摄像机的辐射能量包括物体由于自身温度而向外辐射的能量、被周围其他物体反射的辐射及辐射源贡献的能量（如太阳辐射）以及物体周围的环境辐射能量等，还包括辐射能量从物体传输到传感器路径中受到的大气辐射、大气吸收和大气散射等影响。红外辐射仿真成像流程如图2所示。

图2  红外辐射仿真成像流程

2.2  红外辐射照明模型

2.3  典型目标的热物理特性仿真

图3  典型直升机传热结构示意图

在设计传热模型时，关注的主要仿真特性是热物理特性，设计了温度接口、压力接口、流量接口和特殊接口。温度接口需传递工质的温度；压力接口传递工作的压强；流量接口传递工质的流量，某些部件之间有特殊的机械或热作用，以特殊接口进行连接。

以某型直升机油箱为例，其油箱包括主储罐和消耗储罐。将油箱的结构抽象为壁面温度节点、空气温度节点和燃油温度节点。对于任何温度节点，可以建立如下能量守恒方程：

2.4  数据驱动的热物理特性仿真方法

数据驱动建模运用数据挖掘和机器学习等方法，获得可描述已知过程实测数据间的映射关系。与2.3节基于物理方程的机理建模不同，数据驱动模型无需完全掌握有关过程的内部机理知识或精确的数学表达式，仅依靠已知过程对象的输入、输出数据，通过对输入、输出数据进行一定的参数辨识，即可挖掘、提炼过程对象内在关系的有效信息知识。

热特性仿真模型各个部件均为连续仿真系统，为提高模型计算收敛速度，采用离散时间差分模型。当要对一段时间内产品的运行工况进行研究时，将这段连续时间离散为若干步，每一步为一个充分小的时间间隔，基于微分方程完成仿真计算。由此，连续时间内仿真可通过多个时间步的离散时间模型仿真得到结果。物理世界中真实传感器采集的温度和光照条件可在特定时刻输入模型，以建立虚拟仿真模型与真实世界的关联关系，进而提升仿真置信度水平。数据驱动的仿真建模示意图如图4所示。

图4  数据驱动的仿真建模示意图

通过第2章分析，建立复杂场景中典型目标的红外图像仿真流程。其中，目标的热特性仿真涉及复杂的热能方程求解，多个目标多个部件的计算对数字孪生体演化的实时性提出了很大挑战。为此，需研究目标特性仿真的并行优化方法。

3.1  基于有限自动机的流程模型

基于有限自动机的仿真模型，公式定义如下：

本文将有向图拆分为若干原子结构，所有有向图都可由这些原子结构组成，仅需对这些有向图原子结构进行并行计算的形式化分析。本文将有向图拆分为1对1、1对多、多对1及循环4种原子结构，如图5所示。

图5  状态转移原子结构

3.2 有限自动机流程的并行性分析

图6  1对1结构有限自动机状态转换图

图7  1对1结构并行有限自动机状态转换图

2) 1对多和多对1结构的并行性

类似地，1对多结构计算模型的有限自动机状态转移图如图8所示。

图8  1对多结构有限自动机状态转换图

图9  多对1结构有限自动机状态转换图

3) 循环结构的并行性分析

循环结构有限自动机状态转换图如图10所示。

图10  循环结构有限自动机状态转换图

4.1  目标热特性并行仿真

以某直升机红外特性仿真为例，在对其进行热物理特性仿真时，涉及的部件有油箱、泵、换热器、热载荷和发动机等。油箱接收3个输入参数，泵输出4个参数，输入输出参数如表1所示。油箱及泵热物理特性仿真模型如图11所示。

表1  邮箱和泵输入输出参数

图11  油箱及泵热物理特性仿真模型

绘制泵的4个输出参数在仿真步中结果的折线图，油箱及泵热特性并行仿真结果与单线程结果对比如图12所示。由图12可见，并行计算结果和单线程计算结果基本一致。

图12  油箱及泵热特性并行仿真结果

对于红外图像仿真，在CPU i5-9400F、内存32 GB、显卡GeForce 2060的计算机上，1920×1080分辨率下，红外图像仿真性能统计结果如表2所示，可以满足实时仿真要求。

表2  红外图像仿真性能统计结果

4.2  目标红外辐射特性仿真

零视距红外辐射主要受自身辐射和太阳辐射影响，首先，导入由热物理特性仿真模块中计算得到的温度分布数据及直升机表面的太阳入射辐射。直升机红外仿真计算模型导入如图13所示。

图13  直升机红外仿真计算模型导入

然后，进行直升机蒙皮零视距红外辐射计算，得到直升机蒙皮的零视距红外辐射强度及等效黑体温度。直升机红外仿真计算结果如图14所示。由图14(a)可见，直升机向阳面的零视距红外辐射强度高于背光面，直升机排气管附近辐射强度高于其他区域。

图14  直升机红外仿真计算结果

数字孪生战场和物理空间战场相对应，在多域多层级以及功能、性能与结构等多个方面与物理空间战场同源产生、协同演化且虚实互动的数字模型集 合，是指挥控制、辅助决策、态势评估、对抗演练和验证运用等的主要依据。本文针对智能算法训练中缺少高置信仿真样本的问题，基于数字孪生战场模型设计了数据驱动的实时仿真样本生成方法。基于有限自动机理论对热物理特性仿真模型进行了流程设计，并通过对1对1、1对多、多对1和循环4种结构进行实时图像仿真的并行性分析；最后，对红外成像仿真的实时性进行分析，并进行图像相似度对比。试验结果表明，本文红外仿真样本生成方法可以实时生成高置信度红外图像。

多域数字孪生战场感知过程中的样本包括多种传感器、多种频谱图像，后续需进一步研究多源传感器的样本生成方法。同时，本文使用的红外材质BRDF仅包含十几种常见材料的属性，后续还需扩充红外材料光学属性库，以优化仿真图像细节。

[4]贺嘉璠,汪慢,方峰,等. 深度强化学习技术在智能空战中的运用[J]. 指挥信息系统与技术,2021,12(5):6-13.

[5]杨尚文,周中元,陆凌云. 数字孪生概念与应用[J]. 指挥信息系统与技术,2021,12(5):38-42.