基于人工智能传输与重构的高效通信型数字孪生

来源：舵轮加驱控V不走寻常路

作者：李蜜等

针对现有无线传输技术由于海量数据、多流程处理和低延迟容忍度特性，无法实现数字双元重构的实时点云传输，可以采用新型人工智能驱动的端到端框架，即AIRec，通过点云压缩、无线信道编码和数字孪生重建等方法建立高效通信型数字孪生。

采用编码-解码体系结构，在编码器中，设计一种新型重要感知池方案，自适应地选择具有可学习阈值的显著点，以减少传输量。并设计一种基于信噪比自适应调整传输策略的新型噪声感知源信道联合编码，将特征映射到具有容错能力的信道符号，实现传输速率和重构质量之间的良好平衡。 

另外，设计一种新型噪声感知联合源和信道编码方法，以基于信噪比自适应地调整传输策略，并将特征映射到容错信道符号，从而在传输速率和重构质量之间实现良好的权衡。该解码器可以从接收到的符号中准确地重建数字孪生系统。通过对典型数据集的大量实验和与基础方法比较表明，在24×压缩比下，可以获得更好的重建质量。

关键词：高效通信；数字孪生；深度神经网络；点云数据

物联网和遥感技术的发展促进了数字孪生的爆发，而大规模数字孪生所提供的丰富数据环境促成了地理信息系统、智能交通、资源和能源和灾害管理等等一系列应用。基于现实世界中物体复杂型及其动态变化，需要我们借助人工智能和自动化技术实现实时数字重建。

3D数字点云数据通过原始疏松点、噪声和不均匀点云在数字孪生中能高效表达3D物体和环境数据，例如3D城市模型，室内及建筑模型等。另外，智能3D数字点云分析方法，如3D形状分类、检测、追踪和分割，在城市数字孪生的城市规划和3D导航等方面也有很广的应用。

用于3D导航的城市级数字孪生需要在包括5G在内的主流网络环境中传输密集的点云流。该任务提出两个重大挑战：1）物联网设备收集大量原始点云帧需要过高的带宽，常规压缩后可能达到Gbps级别，超过当前5G网络能力；2）智能数字孪生对延迟敏感，由于阴影、信道衰落和码间干扰，无线通信本质上有损耗。

此外，体积点云数据的高解码占用极大而降低传输速度，传统网络编码方法将压缩后的特征编码为比特，以保证传输可靠性。这些方法受到悬崖效应的影响，只有在准确的目标信道质量估计下才能达到预期性能，均不适合低延迟数字孪生应用。

传统的有损和无损点云压缩方案存在关键信息丢失或压缩比过低等问题，编解码器软件编码和解码的复杂性阻碍了高效传输，此外，这些方法往往忽略了无线网络引起的传输误差这项无线状态传输延迟关键因素。

基于人工智能的框架AIRec，可用于数字孪生中高效点云传输和重建。该系统训练基于端到端编码器-解码器的深度神经网络，促进从点云压缩、无线信道编码到数字孪生重建的数字孪生通信。编码器对采集到的原始点云进行有效压缩，并将特征映射为无线传输的容错信道符号，而解码器则根据接收到的符号准确地重建数字孪生。通过AIRec可以大大减少传输的点云数据，并且对无线信道中的噪声具有鲁棒性。

此框架存在两个技术挑战难点：

1）提高三维点云压缩比的同时保障重建精度；

2）在动态和带宽有限的无线信道条件下保证鲁棒传输，并保持重建质量。解决这两个问题，需要定义新的重要感知池策略(IPAPool)和新型动态JSCC技术。

因此，本文提出数字孪生高效点云传输和重建AIRec框架，一种高效的IPAPool策略，并设计了一种新型点云传输噪声感知联合信道-源编码方案及JSCC技术。与现有基础方案相比，通过对典型数据集的评估表明，在24倍压缩比下，该AIRec框架重建质量良好。

数字孪生是一种建模和监测复杂事件的方法，其分析和仿真结果可以检测危险的紧急行为，有助于缓解对现实世界系统和对象不可预见导致的不利后果。

物联网(IoT)和遥感技术的发展提供大量精确和可接受的测量数据，使实时语义丰富的城市模型得以实现，如数字孪生城市（DTC）。且点云数据可以提供优质的几何测量和有限的非几何语义信息，如DTC的能源消耗信息。因此，DTC可以连接包括建筑信息模型(BIM)、地理信息系统(GIS)和自动驾驶汽车的很多领域。

最原始的点云压缩方法是直接压缩点云以减少传输数据量，包括属性压缩、几何压缩和运动补偿压缩。目前的压缩方法大多基于空间体素特征，忽略了点云的传输特性。在人工智能点云特征处理领域，基于PointNet引入了一种直接从点云提取特征的方法，大量研究依此进行扩展提升，启发了一系列基于点的变体。并产生了使用图结构对点云进行建模，利用图卷积来合并局部邻域数据，从而增强特征表示的DGCNN方法。

很多无线传输系统采用分离的源编码和信道编码，其效果不如联合源信道编码(joint source channel coding, JSCC)。基于较强的复杂特征提取能力，用于无线图像传输的JSCC系统开始应用深度学习解决问题。深度JSCC方法开始大量训练多个模型以实现多速率、对速率的动态调节、引入噪声、增加反馈或图像直接映射到通道输出等JSCC方案。

AIRec框架用于处理数字孪生从初始采集到最终重建的数据。

图2：AIRec框架概述

（显示从使用编码器的智能3D传感设备收集数据到通过基站无线传输，最后使用解码器在数字孪生中心服务器上进行数字重建的过程）

1. 智能3D传感设备的数据采集与编码

采取激光雷达传感器等设备从物理世界捕获原始3D点云数据，通过边缘计算平台以轻量级AIRec预处理原始点云，去除不必要的点减少传输量，再用编码器提取基本点的压缩特征，将这些特征编码为信道符号进行传输。

2. 通过基站无线传输

智能3D传感设备通过无线网络连接数字孪生中心服务器，采用一种新颖的噪声感知点云联合源和信道编码方案，直接将选定的点及其压缩特征映射到容错信道符号。并根据网络情况自适应调整传输策略，保证符号在无线传输过程中的弹性，将这些符号实时传输到基站。

3. 数字孪生中心服务器重构和任务执行

数字孪生中心服务器上的AIRec解码器接收来自智能装置的压缩点特征，解码器基于PUGAN将这些特征精确地重构为数字世界中的3D场景。此外，AIRec框架可灵活地同时支持数字孪生中多个智能任务。例如，通过将重建头替换为三维目标检测头，该框架可以立即有效地传输三维目标检测的显著点。

1. 线下培训阶段

训练AIRec编码器选择显著点，压缩原始点云数据，并将特征转换为反错误的无线信道符号。基于现有网络条件，编码器根据信噪比学习使用更多或更少的信道资源。并对AIRec解码器进行各种智能任务的训练，如重建和3D物体检测。

2. 线上阶段

训练好的轻量级AIRec编码器部署在智能3D传感设备中，AIRec解码器部署在数字孪生中心服务器中。采集原始点云，动态保留重要点并实时传输，在中心服务器接收压缩特征后重建三维场景，并确保传输速率和任务准确性之间的平衡。

基于PointNet++设计一种分层编码器用于点特征提取，直接对点云输入进行分类和分割。以无序点集排列的不变性，使用多集抽象层进行分层特征学习，捕获原始点云的局部特征。因此，点特征提取编码器输出的特征矩阵可以用更少的点抽象地表示原始点云。

每个集 合抽象层包含采样层和分组层。采样层用于对代表局部区域中心的点进行降采样。分组层在中心周围找到一个定量的最近邻来构造局部区域集。进一步采用点网网络从上述操作中提取点的特征。此分层编码器中采用4层集 合抽象，前两层应用D-FPS降采样，捕获基本的几何细节。最后两层利用重要性感知点池策略(IPAPool)，拥有更丰富且特定于任务的语义。

降采样策略是提高三维点云处理存储效率和计算效率的关键，通过随机抽样和最远点抽样(FPS)抽样等策略，可以减少需要处理的点数量，同时保留基本信息。在复杂的物理世界中，地面或墙壁等平坦区域通常比人或车辆等复杂表面所需的点要少得多，因此并非所有点都同等重要。本文新的IPAPool策略，探索了一种可学习的阈值方法，以去除不重要的点，并在方案中引入了一种正则化策略，以克服神经网络倾向于保留更多的点以提高性能的问题。

IPAPool定义数据集内每个点的重要性分数，基于可学习阈值的新采样方法自适应保留显著点。与topK池等其他方法相比，对于不同点云帧，剩余点数量不固定，在复杂帧中选择更多点，简单场景中保留更少点，进一步降低通信成本。阈值通过机器学习得到，可避免繁琐的人工学习，并在传输量和重建精度之间取得了很好的平衡。

显著点可以更有效地描述所表达点云整体形状，例如边界交界处或关键区域的点。通过识别显著点，可以提升模型处理速度，降低非关键点引入的噪声，提高模型精度，重要度采用基于点特征的MLP计算。给定点i及其特征向量Fi(l)，其重要性评分公式为:

其中S(l)表示第i点的重要性，显著点得分更高。ti是可学习的权重参数，对于所有点的重要性得分，可通过只保留高分点对点进行降采样。

手动定义一个阈值Φ(l)，并保留其S(l)大于Φ(l)的重要点，计算所有点的二进制掩码矩阵M(l)。如果点Si(l)的重要性得分低于阈值，则Mi(l) = 0。否则，Mi(l）= 1。Mi(l）形式定义如下:

上式不可微分的问题，可通过一种自适应可学习阈值方案解决，且便于反向传播自适应学习阈值。利用sigmoid( ·)函数将不可微分Mi(l）变换为可微分问题。

式中Φ(l)为可学习重要性阈值，R为池化影响因子。利用上式可微方程通过整个网络的反向传播进行优化。得到M~(1)后，通过掩码矩阵与特征向量相乘以保留显著点。

其中F (l)  ∈ Rn×d代表输入层 l的特征矩阵，F (l+1)  ∈ Rn\ ×d  (n\  < n)代表输入层 l + 1的输出特征。

传统网络编码方法将提取特征转换成比特进行数字无线传输，但是存在悬崖效应现象。当信号强度低于a时，信号质量突然下降，甚至信号全部丢失，导致传输过程中关键信息丢失。其严重依赖于精确的信道质量估计，不适合低延迟数字孪生应用，可直接将特征映射到信道输入符号克服这一限制。

为了减轻现实无线网络场景中，动态和恶劣网络条件下，传输点不足所导致重构性能显著下降问题，可基于信道噪声水平动态调整传输点数量的噪声感知池方案，在高噪声情况下增加传输点，以平衡噪声的不利影响。该方法在保证重建精度的同时，不影响传输速度，在重建质量和速度之间取得有效平衡。

图4：噪声感知动态联合源信道编码

通过实时输入网络状况(信噪比)，噪声感知动态联合源和信道编码方案自适应决定保留和传输重要信息，提供更高效的传输策略。

设计一种基于PU-GAN的特征重构点解码器，能够精确地将接收到的特征重构为具有更多点的点云，使由几个重要点特征生成的点云更接近原始点云，便于智能数字孪生重构，该网络的生成器由特征扩展部分和点集生成模块组成。

（提供了编码器和解码器如何在AIRec框架中协同工作以促进点云压缩、无线传输和数字孪生重建的详细视图）

AIRec模型培训分为三个阶段：

1）用PU-GAN方法基于补丁训练重构解码器，学习对抗性损耗和均匀损耗；

2）加载预训练模型解码器，固定解码器参数并对编码器进行训练以重构损失；

3）训练阈值。

最后，通过广泛的实验来验证本文提出的AIRec框架有效性。首先给出实验设置，然后将AIRec与三个基线进行比较，表明该框架大大减少了传输的点云数据，并且对数字孪生重建无线信道中的噪声具有鲁棒性。

图6给出了不同信噪比的噪声无线信道评价结果，包括用于CD评价指标的AWGN和衰落信道。

结果表明：

1）噪声信道引入附加扰动信道符号，会减少所有方法的准确性。然而，AIRec优于所有比较基线场景。比较AIRec和AIRec (capacity-achieving)可以观察到，即使在低信道噪声条件下(信噪比为15dB)，数字方法也无法达到理想信道的精度，而基于源信道联合编码的AIRec在信噪比为10dB时可以达到接近理想信道的精度；

2）渠道噪声增大时，数字方法的精度急剧下降，AIRec方法精度下降较慢。由于联合源信道编码方案能够学习特定任务的信道抗噪声编码方法，不受数字方法中悬崖效应的影响，可将信道噪声对重建任务的影响降到最低；3）在数字方法的设置下，随着噪声能量的增加，AIRec方法不如基线方法特别是传统的压缩方法有效。

图6：噪声AWGN及衰退无线信道下的评估

图7给出了两种方法在不同网络条件下的剩余点和重建质量对比。如图7左侧所示，随着网络噪声的不断升级，由于信道噪声在重构过程中对特征符号的干扰，AIRec和AIRecagno的性能都有所下降。然而，AIRec比AIRecagno更能适应噪音。

归因于本文提出的噪声感知池方案，该方案通过增加高噪声场景中的传输点数量来减轻噪声的负面影响，从而确保重建精度不会大幅下降，如图7右侧所示。当在有噪声的无线网络上以高度压缩的格式传输点云数据时，这种策略尤其有效，因为压缩特征上的噪声会显著影响最终结果。因此，在良好的网络条件下，AIRec以较高的帧率和速度重建点云，并自适应降低帧率，以保持在恶劣的网络条件下的重建质量。

KITTI数据集是激光雷达传感器在城市场景下采集的真实世界点云数据集。重建真实激光雷达点云是实现城市规模数字孪生一种很有前景的方式。然而，原始扫描点云是非常稀疏且有序的。

如图8所示，近点密集，远点非常稀疏，由于雷达传感器的物理特性，扫描点为线性，在数字重建中几乎无法用于表面重建。通过将AIRec应用于原始点云上进行重建，结果表明该模型取得了很好的重建效果，并且无论与雷达传感器的距离如何，AIRec都能够将所有点重建为一个均匀的表面。注意，在这种情况下，原始点云包含71,825个点，而ALRec模型只选择384个特征维数为64的重要点进行传输，实现了4倍以上的压缩。

在实际场景中，AIRec为各种现实世界的挑战提供了潜在的解决方案。

以智能制造为例，由于数据传输效率低下，工厂操作员经常面临困难，这可能导致不准确的数字孪生。IPAPool技术通过选择性地保留点云数据中的显著点来改进数字孪生，从而提供更准确的生产环境描述。

在自动驾驶的背景下，由于嘈杂或不可靠的网络，系统经常难以保持准确和最新的数字孪生。通过新型动态JSCC技术可确保在可变网络条件下精确的数字孪生，IPAPool则通过保留重要的传感器数据点来改进数字孪生的环境。这些改进有助于更有效的导航和决策，从而增强自动驾驶汽车的安全性和可靠性。

此外，通过优化点云数据的传输和重建，本文可能使更复杂和详细的数字双胞胎的发展成为可能。

由于数据量大、处理开销高、延迟容忍度低等问题，现有无线传输技术难以支持数字孪生重建的实时点云传输。

为了应对这些挑战，本文提出一种创新的、人工智能驱动的端到端框架，称为AIRec，用于数字孪生中的有效通信，包括点云压缩、无线信道编码和数字孪生重建。

AIRec采用编码器-解码器架构，在编码器中采用创新的重要性感知池方案来选择性地减少传输量，并采用独特的噪声感知联合源和信道编码来根据信噪比调整传输策略，从而在传输速率和重建质量之间实现有益的权衡。

解码器可以根据接收到的符号准确地重建数字孪生。最后，对此AIRec模型通过大量实验，并使之与使用典型数据集的基线方法进行比较，结果表明该方法在24倍压缩比下实现了高质量的重建。

未来，可以继续扩展此人工智能端到端框架，以有效地处理和重建数字双胞胎中的点云视频流。并扩大该方法的适用性，使实时或近实时从点云视频源更新数字孪生模型。

参考文献：M. Li, C. Chen, X. Yang, J. T. Zhou, T. Zhang and Y. Li, "Toward Communication-Efficient Digital Twin via AI-Powered Transmission and Reconstruction," in IEEE Journal on Selected Areas in Communications, vol. 41, no. 11, pp. 3624-3635, Nov. 2023, doi: 10.1109/JSAC.2023.3310089.