前沿 | 自动驾驶汽车的传感器仿真 & 智能座舱功能验证
自动驾驶汽车的工作原理与人类驾驶员驾驶原理相同。人类驾驶员用感知器官了解周边环境，并通过神经系统进行处理和融合，从而提供提供合乎逻辑和安全的最优的行为决策。类似的概念也适用于自动驾驶汽车，其中传感器提供探测车辆周围环境并提取目标信息，而决策控制系统与人体的神经系统类型，为自动驾驶车辆提供决策输入。
自动驾驶汽车通过传感器感知周围环境，并将信息传输到路径规划阶段，决定和预测未来的行为，并相应地控制车辆的横向和纵向的驱动系统。为了让自动驾驶汽车在真实道路上顺利行驶，并提高感知的准确度，多传感器感知和融合技术得到了广泛应用，为准确了解周围环境并相应地传输数据奠定了基础。自动驾驶汽车中使用了多类传感器，例如摄像头、雷达、激光雷达、超声波等，可用于多种不同用途和探测范围，如图1所示。实际的自动驾驶系统，需要通过传感器融合技术实现高可靠性环境感知，以便有效地完成路径规划和行为预测。图1 自动驾驶车辆配备的多种传感器
传感器融合技术是自动驾驶汽车中最关键的技术之一，其用途非常广泛，例如 360 °环视、高精定位和目标检测。对于自动驾驶车辆，感知系统首先具备高可靠，高准确的数据的处理和传输能力。传感器融合十分有助于提高数据质量和可靠性，预测未知变量的状态，并增加车辆周围的检测覆盖范围。然而，在传感器融合系统商业化应用之前，它们必须经过严格的测试。一般需要多个传感器输入来测试这些系统，由于相关的硬件成本和执行重复测试的限制，基于真实传感器的测试效率会非常低。通过基于用户感知系统方案来构建的多传感器仿真解决方案可以克服真实传感器测试方案的不足，有效解决重复测试和开发时间以及降低成本的问题。当前，客户面临的主要挑战之一是如何构建基于场景的Camera、Lidar、mmRadar和超声波等多传感器的高精度模型和虚拟场景，用于硬件在环 (HiL) 和软件在环 (SiL) 测试和传感器融合的测试。 以摄像头为例，真实世界Camera捕获的原始数据针对场景的低光、白平衡、色调曲线等进行了校正。在虚拟试驾 (VTD) 中，模拟摄像机还必须调整捕获场景的光线、白平衡、色调曲线等，以匹配原始图像的特定 HiL 测试要求。而原始图像的校正和调整是与光学模组本身特性以ISP强相关。在仿真测试中，需要解决如何构建与摄像头光学模组和 ISP 相关的传感器模型的问题。因此，需要通过工程化方法来模拟镜头存在色差或光学畸变问题，模拟ISP的准确输入从而保证ISP输出的准确性，避免生成图像质量过低，导致测试无法进行。另外，被测系统还需要来自模拟相机模块的特定数据。数据格式包括 BayerPattern、YUV等不同的数据格式。同时，真实摄像头为HDR图像，需要传感器模型具备HDR图像的实时仿真能力。与真正的相机模块相比，可以通过校准被测系统中的 ISP 来满足此要求。VTD 支持对用于 HiL 测试的模拟相机进行 ISP 调整，以提高色彩准确度、对比度和分辨率。可以将此图像解释为与来自 VTD 的模拟相机的真实世界图像有强相关性（图 2）。为解决仿真镜头的相关问题，进行了光学畸变仿真模型研究。通过这项研究，VTD现在提供了基于真实相机特征参数获取畸变参数的方法。它还提供了长焦距镜头的图像模型，增强了镜头设计和阴影的相机校准能力。
图2 使用相机进行基于物理的渲染
VTD基于被测系统（SUT）进行验证，提供针孔、失真、鱼眼、非鱼眼等不同的摄像头模块，甚至可以产生噪声。为了准确分析传感器融合套件，需要多个传感器输入，其中还包括模拟的 RADAR、LiDAR 和超声波传感器。VTD 中的 RADAR 和 LiDAR 模型配备了类似于真实传感器的光线追踪功能。当定义材料属性和需要照片般逼真的图像时，光线追踪功能在模拟中非常有用（图 3 和 4）。
图3（左）使用LIDAR 进行基于物理的渲染
图4（右）带光线追踪的雷达
VTD 最新的毫米波雷达技术允许客户实时配置和模拟模数转换器 (ADC) / 快速傅立叶变换 (FFT) 数据。借助软件开发套件，客户可以设计和开发自己的基于物理的雷达模型。生成的 ADC/FFT 可以直接馈入（电子控制单元）ECU 进行聚类、目标检测、跟踪和分类的原始信号处理。VTD 单射线和多射线传感器为客户提供实时设计和模拟基于物理的超声波传感器数据；生成的数据可以直接输入ECU进行感知验证。为了测试传感器融合算法，VTD 支持多路传感器模型的实时并行仿真，现在可以针对软件在环进行扩展。随着传感器仿真技术的发展，VTD 支持具有确定性行为的分布式传感器仿真，以根据特定要求将同步传感器数据尽可能多地提供给被测传感器融合系统。分布式多传感器的实时并行仿真测试系统，当前得到了非常广泛的应用，例如某用户，基于VTD构建了多传感器仿真测试平台，其中使用了 13 个摄像头、5 个 LiDAR、12 个超声波雷达理想传感器和 6 个毫米波雷达来配置模拟设置。除了当前在传感器融合方面的应用，VTD 还致力于开发用于车内监控系统的技术。车内监控系统由驾驶员监控系统和乘客监控系统组成。驾驶员监控系统主要用于帮助驾驶员减少由于分心、困倦和不警觉而导致的错误。驾驶员辅助系统包括驾驶员睡意检测、驾驶员监控系统、前方碰撞警告、交叉路口辅助、错误方向驾驶警告等。在试验场或现实世界中测试所有这些功能是一项昂贵的业务，并且存在驾驶员的适应问题。通过提供虚拟环境，可以使用模拟器有效地测试这些功能。
VTD 正在研究 ADAS 功能的技术，作为车内的驾驶辅助功能，将提供逼真的虚拟环境。 为了让驾驶员在具有前后视图的驾驶模拟器中获得真实的驾驶感觉，VTD 可以提供 360 度投影，可以改变天气条件、一天中的时间等。安装在模拟器驾驶室中的真实传感器，将从 VTD 连接到虚拟环境。 这些传感器将监控驾驶员以及有关汽车（模拟器）行驶中周围环境的信息。如果驾驶员分心并且虚拟环境中出现危急情况，驾驶员将收到警报。 这只是 VTD 现在着眼于未来多种选择的一个例子。
