基于深度强化学习的工业机器人数字孪生模型更新方法

18天前浏览945

致力于数字孪生体技术的研究与发展

通过解决方案和工程化应用造福人类

来源：航空制造技术

作者：段现银秦志强等

导读

工业机器人的数字孪生模型能够模拟真实世界中工业机器人的行为和性能，但其仿真精度会受场景更新和设备磨损等使役工况的影响而下降。对此，本文提出了一种基于深度强化学习的工业机器人数字孪生模型更新方法。该方法应用仿真工具Coppeliasim 建立了工业机器人数字孪生模型，同时基于深度确定性策略梯度（DDPG）算法对数字孪生模型的PID 参数、关节阻尼等关键参数进行优化，实现模型的参数更新，提高模型精度。最后，通过ABB–IRB2400 工业机器人仿真同步试验，验证了所提方法的有效性。

关键词：深度强化学习；工业机器人；数字孪生；深度确定性策略梯度（DDPG）；模型更新

工业机器人数字孪生模型框架

本文设计的工业机器人数字孪生模型框架如图1 所示，主要由物理空间、数据层、数字孪生空间和服务层组成。其中，物理空间由工业机器人实体及由多种传感器构成的感知模块、网络模块、控制模块组成；数据层主要负责处理和传输数据，对从物理空间和数字孪生空间采集到的数据进行清洗、融合等处理，以确保数据的准确性和可靠性；数字孪生空间包括机器人虚拟模型和算法更新模块；服务层具备人机交互功能，用户能够直接进行状态监控和参数设置等操作。

图1 工业机器人数字孪生模型框架

通过实时采集传感器、控制器等设备的物理数据，并经过适当处理，将处理后的数据输入到数字孪生空间。在数字孪生空间中，数字孪生模型能够实时监测和预测物理实体的运行状态。同时，用户可以通过用户层与数字孪生模型进行直接交互。利用数字孪生模型在虚拟空间中进行调试，并根据所获取的孪生虚拟数据为工业机器人提供决策反馈，从而形成整个过程的闭环机制。这种机制可以通过数字孪生的五维表达式表示。