创新驱动：UniSim引领自动驾驶测试新时代

目的：闭环传感器模拟

• 长尾场景对于机器的评估至关重要。

• 闭环仿真允许自主系统与环境反应交互，能够以低成本和低风险的大规模测试自动驾驶。

• 由于手工创建资产，现有的方法无法进行可扩展性;由于可用的场景和资产数量有限而缺乏多样性;以及由于domain gap而缺乏真实性

• UniSim：从真实世界的数据中构建数字孪生，并在闭环中测试自主性

方法：建立数字孪生

3D世界可以分解为静态背景和动态参与者。

通过有效地分离和建模每个组件，我们可以操作参与者来生成新的场景，并从新的视角模拟传感器观测结果。为了实现这一目标而提出了UniSim，这是一种神经渲染闭环模拟器，它根据从环境的单次传递中捕获的传感器数据，联合学习静态场景和动态参与者的形状和外观表现。

1. 静态背景采用稀疏哈希网格进行建模

2. 由一个超网络生成来表示动态参与者

3. 每条射线的体积渲染特征图

4. 一个CNN对渲染的特征进行上采样以产生输出

具备的能力

给定一个由移动平台捕获的带有相机图像和激光雷达点云的日志，以及它们在参考系中的相对姿态，我们的目标是构建一个可编辑和可控的数字孪生，从中我们可以生成真实的多模态传感器模拟和感兴趣的反事实场景。

• 三维重建：基于采集到的数据建立可操作的数字孪生

• 场景可操作性：操控参与者的行为来创建新的场景

• 自动驾驶车辆的（SDV）控制：控制SDV的反应或传感器放置的位置

  

• 闭环模拟：创建反事实的场景，让自主系统与环境进行反应性 交互

  

使用UniSim，我们可以创建新的场景，模拟传感器数据，运行自动驾驶系统，以反应的方式更新参与者的状态和SDV的位置，并执行下一个时间步骤，见上图。这让我们可以更准确地衡量SDV的性能，以了解它在现实世界中在相同场景下的表现。下图显示了在安全关键场景下附加的模拟，例如一名参与者切入我们的车道或迎面而来的参与者在我们的车道上。然后SDV变道，使用UniSim我们可以在整个场景中逼真地模拟传感器数据。可以看下下面视频的效果。

结果

• 真实性评估

传感器模拟的实现：作者的UniSim方法在相机和LiDAR模拟方面表现出色，并且比与之进行对比的最先进方法具有更高的真实性和准确性。

真实性评估：作者通过比较图像相似度指标（如PSNR、SSIM和LPIPS）发现，UniSim在不同的视角和场景下生成的模拟数据比其他方法更加真实。

感知模型性能：使用基于相机的鸟瞰图检测模型BEVFormer，评估了真实数据和仿真数据之间的domain gap。在不同的测试设置下（replay和lane shift），他们发现他们的方法在减小domain gap方面表现出色，相较于其他方法具有更小的差距。

数据增强和训练：使用UniSim生成的仿真数据进行感知模型的训练和数据增强，可以显著提高模型的性能。与仅使用真实数据或其他基线数据增强方法相比，UniSim的数据增强方法取得了更好的结果。

面向自主系统的闭环仿真：UniSim允许在仿真环境中进行闭环仿真，通过模拟传感器数据、自主系统的运行和反应性更新，能更准确地评估自主系统在真实场景下的表现，并提供更可靠的性能评估指标。

作者首将他们的模型与最先进的方法进行了比较。他们评估了传感器模拟的真实性以及模拟数据与真实数据之间的差距。他们还分析了模型的不同组成部分。研究表明，他们的方法能够生成多样化的传感器模拟以改善车辆检测。此外，他们展示了UniSim用于评估仅基于真实数据训练的自主系统的闭环性能。

• 自主性评估

介绍了使用UniSim进行全自主评价的内容，包括传感器仿真对感知任务和下游任务的影响，以及评估自主系统在仿真图像上的domain gap。评估的自主系统是基于模块的，包括感知模块、运动预测模块和运动规划模块。相比其他方法，该方法在domain gap方面表现最好。此外，UniSim还可以进行闭环仿真，准确评估自主驾驶车辆在真实世界中的表现。

• 局限性

  1. 光照和动画是没有被建模的

  2. 当摄像机远离训练视角时，存在较大的domain gap

  3. 渲染速度不是实时的

总结

在这篇论文中，作者利用一款移动平台收集的实际场景数据，建立了一个高保真度的用于自动驾驶测试的虚拟世界。为了实现这个目标，作者提出了UniSim，一个神经传感器模拟器，它接收一系列的激光雷达和相机数据，并能够分解和重建场景中的动态角色和静态背景，从而使我们能够创建新的场景，并从新的视角呈现这些新场景的传感器观察结果。UniSim在现有技术的基础上进行了改进，生成了具有更低domain gap的逼真传感器数据。此外，作者还证明了可以在新的安全关键场景中闭环评估自动驾驶系统。我们希望UniSim能够更高效开发更安全的自主驾驶系统。未来的工作将包括对场景光照、天气和关键角色进行建模和操控。

以上是论文作者的总结，这里谈一下我对UniSim的一些畅想：

1. 场景生成：UniSim可以进一步扩展成一个全面的场景生成工具。它可以不仅仅模拟传感器数据，还可以生成逼真的道路、建筑、交通标志等场景元素，从而创建各种复杂的驾驶场景。这将为自动驾驶系统的测试和验证提供更丰富、更多样化的数据集。

2. 多模态模拟：目前UniSim主要模拟激光雷达和相机数据，但未来可以考虑支持其他传感器模拟，如雷达、红外传感器等。这将使得UniSim能够模拟更多种类的传感器数据，从而提供更全面的测试环境。

3. 学习能力：UniSim可以通过机器学习技术不断地优化和改进模拟器的性能。例如，可以让UniSim通过与真实场景进行对比学习，从而提高生成的传感器数据的准确性和逼真度。

4. 开放平台：UniSim可以成为一个开放的平台，让研究人员和开发者能够共享和交流他们的模拟场景和数据集。这将促进自动驾驶领域的合作和创新，当前还是不开源的。

5. 配套工具：UniSim可以与其他工具和框架集成，以提供更全面的自动驾驶系统开发环境。例如，可以与仿真平台、深度学习框架等进行集成，从而实现端到端的自动驾驶系统开发和测试。

6. 跨领域应用：UniSim的模拟技术可以应用于其他领域，例如无人机、机器人等。通过修改和定制模拟器，可以为这些领域提供高保真度的仿真和测试环境。

今天的分享就到这里啦~