尹丛勃博士：一种基于卷积自注意力锂离子电池在线容量估计新方法

导读：9月24日19时，仿真秀2024仿真产学研用系列讲座第15期将邀请上海理工大学硕士研究生导师尹丛勃博士做《基于分布式协同仿真工具VenetDCP的联合仿真应用》公开课，届时在仿真秀官网和APP同时直播，扫码即可报名，支持反复查看，直播结束后赠送讲义，请识别下方二维码或点击文尾阅读原文观看。

2024仿真产学研用（十五）：基于分布式协同仿真工具VenetDCP的联合仿真应用-仿真秀直播

本文选自Shen Xiaoyu, 尹丛勃和Luo Chenqiang等作者公开学术论文《基于卷积自注意力锂离子电池在线容量估计》，以下是正文。

提高锂离子电池容量估计精度对于提高锂离子电池的安全性、效率和经济性具有重要意义。本文对锂离子电池充电过程数据进行特征提取和相关性分析，提取出恒流充电阶段端电压曲线，采用各个循环之间的差异特征来描述电池容量，这些统计特征被证明与电池容量高度相关。再建立基于卷积自注意力电池容量在线估计模型，将以上恒流充电过程特征和最近部分循环的电池容量融合作为模型的输入向量，实现电池容量在线估计。最后，采用公开数据集进行模型实验验证。结果表明，MAE预测误差为0.17%，RMSE预测误差为0.22%。

一、写在文前

锂离子电池作为一种应用广泛的电能存储技术，具有能量密度高、发电能力强、寿命长等优点[1]。然而，由于其电化学性质，锂离子电池的性能会随着时间的推移而逐渐下降[2][3]。因此，实现准确电池容量在线估计对于锂离子电池可靠安全运行至关重要。

目前，国内外对于电池容量主要有3种估计方法，即直接测量方法、基于模型驱动法和数据驱动的方法。直接测量方法可以直接根据定义，电池的实际容量对通过整个放电周期释放的电荷进行积分来计算。在基于模型的方法中，有经验等效电路模型，可以使用成熟的算法在线估计电池容量和电阻，例如各种导数最小二乘法和卡尔曼滤波器[4][5]。在基于物理的模型中，电池容量可以通过使用相关的电化学参数直接计算[6]。然而，由于复杂的操作条件和耦合的退化机制，很难在电池的整个生命周期内实现准确容量估计。相比之下，数据驱动的方法可以很容易地为特定应用构建高精度模型[7]。对于车辆应用，使用典型的恒流恒压(Constant Current-Constant Voltage，CC-CV)充电协议。从充电电压曲线得出的不同特征已被证实与电池容量高度相关[9]。提取统计特征松弛电压值来估计电池容量[8]。这种方法的主要缺陷是它需要有明显的松弛过程。机器学习算法逐渐兴起，包括人工神经网络[10]、支持向量机[11]和高斯过程回归[12]。长短期记忆(Long Short-Term Memory，LSTM)网络作为标准循环神经网络(Recurrent Neural Network，RNN)的改进变体，可以解决RNN中的梯度爆炸或消失问题[13]。数据驱动方法的难点在于提取与目标输出高度相关的特征[14]，并且要尽可能降低特征向量的维数，造成模型冗余。

针对上述问题，本文采用卷积自注意力Transformer去实现在线估计，卷积自注意力Transformer神经网络可实现像电池容量具有时序特点的的预测。将充电过程各个循环电压曲线的差异作为特征向量和最近部分循环的的电池容量向量融合作为模型输入向量。最后，通过公开数据集进行模型实验验证，结果表明结果表明，MAE预测误差为0.23%，RMSE预测误差为0.34%。

二、多级充电策略分析及特征提取

1、实验数据

对于基于数据驱动方法的电池寿命预测，Severson 等人[3] 通过大量的组合实验收集电池数据。该数据集包括 124 个商用 LiFePO4石墨电池。电池的标称容量为1.1Ah，其上限截止电压和下限截止电压分别为3.6V和2.0V。本文选取了第三批数据通道11、12、13、14上测得的电池数据，在本文中分别命名为B01、B02、B03、B04。

2、充电过程

电池在实践中存在三种状态：充电、放电和休息。由于电动汽车等设备在实际运行中的工作负载可能会发生较快的变化，因此流经电池的电流也会发生较快的变化。在静止状态下，电池参数一般是不变的或变化缓慢的。相比之下，充电过程无论是在设备上的实际应用中还是在电池的开发过程中都始终受到控制。因此，在充电过程中，可以计算或估算出电池的充电容量、电流和端电压等几个电池参数。

充电过程在实际运行中一般由几个子过程组成：恒流（CC）和恒压（CV）。在实际中，为了快速充电和延长电池寿命，通常使用多级充电策略[15]。多级充电策略包括多级恒流充电和恒压充电。多级恒流可表示为“C1(Q1)-C2”，其中C1和C2分别是第一和第二阶段的电流速率。Q1是电池的充电容量与电池制造商给出的标称容量的比值，称为容量比。充电策略不同，Q1也不同。第二阶段在容量比达到80%时结束，之后用1C CC-CV，对电池进行充电。本文中1C等于1.1A，所有电池都在环境温度为30°C的恒温温箱内循环，直到其容量降至标称值的80%以下。图1显示了一个示例。充电电流速率首先恒定为5.3C，在充电容量达到Q1后，充电电流速率切换到另一个恒定的4C，在充电容量达到80%后，充电电流速率切换到另一个恒定的1C后直到电池端电压达到3.6V的截止电压。之后，电池以3.6V的恒定电压以电流递减的方式充电，当电流为0.02C时停止充电。电池电压曲线清楚地表明了严重的非线性，不同的电池或处于不同循环的电池可能对电池容量有不同的影响。

图1 充电过程

3、特征提取

本文采用充电过程中的多级恒流充电阶段电压曲线和恒压阶段电流曲线进行特征提取。当电池循环数变化时，电池将具有不同的特性。因此，不同循环次数的电池，其内部性能和外部性能会有所不同，从而导致充电时的端电压、电流曲线形状不同。

图2 不同循环充电电压曲线

如图2所示，电池在四个不同循环次数下的充电电压曲线。CC1、CC2、CC3、CV阶段的持续时间，以及电压达到上限截止电压的时间和曲线的末端在不同的循环数下都是不同的。如图2所示。CC1、CC2、CC3阶段的起始电压和终止电压随着循环次数的增加呈上升趋势。如图3所示，CV阶段的起始电流速率和终止电流速率随着循环次数的增加呈下降趋势。

总结统计数据能够准确用数字方式说明电压曲线的形状和位置变化[3]。因此在恒压、恒流

(a) 不同循环C1阶段电压曲线

(b) 不同循环C2阶段电压曲线

(c) 不同循环C3阶段电压曲线

图2 恒流充电阶段不同循环充电电压曲线

阶段进行特征提取时，每个阶段曲线和整个充电曲线都转换为6个统计特征，即方差（Variance）、偏度（Skewness）、最大值（Max）、最小值（Min）、均值（Mean）和峰度（Kurtosis）。

基于从充电过程的各个阶段提取出的曲线，

采用数据驱动的方法进行电池容量估计。数据驱

动模型的输入特征和输出之间的相关性越高，模型的准确性就越好。我们采用Pearson相关系数(ρ)来衡量各曲线统计特征和电池容量两者的关系，其公式如下[16]：

图3 恒压充电阶段不同循环电流速率

(1)

式中：是特征序列，y是电池容量，是其平均值。

如图4所示，CC1阶段的电压最大值，CC2阶段的电压最小值，CC3阶段的电压最大值。相关系数绝对值接近于1，这3个特征与电池容量具有较强的相关性。最终选定这3个特征，图5给出了相关性分析结果。

图4 充电过程统计量和电池容量的相关系数

三、基于卷积神经网络在线容量估计

1、模型结构

图5 三个特征与电池容量关系

本文采用卷积自注意力模型[17]。Transformer[18]被提出作为一种全新的架构，它利用注意力机制来处理一系列数据。与基于RNN的方法不同，Transformer允许模型访问历史的任何部分，因为自注意力机制使Transformer能够捕获长期和短期依赖关系，并且不同的注意力头学会关注特征的不同方面。这些使 Transformer在预测方面有一点优势。本文模型在一个带有掩码张量多头卷积自注意层中，同时将输入Y转化为H个不同的查询矩阵、键矩阵和值矩阵，公式如下：

                 (2)

                  (3)

                 (4)

        (5)

式中：为上三角元素为的掩码矩阵，是可学习的参数。

图6 模型结构

然而，Transformer中的自注意力将查询矩阵与对上下文不敏感的键矩阵匹配，这可能使模型容易出现异常并带来潜在的优化问题。通过采用的内核大小为k的一维卷积将输入转换为查询矩阵和键矩阵。通过使用一维卷积，生成的查询矩阵和可以更好了解局部形状，这有助于准确预测[17]。当k=1时，卷积自注意力会退化为规范自注意力。

如图6所示本文使用卷积自注意机制Transformer模型，其中掩码多头自注意力机制所需的Q，K，V，由一维卷积生成。如图7所示。

图7 卷积自注意力

2、模型参数优化

一般神经网络模型包含很多参数需要进行优化。受限于计算机算力和训练时间，正交实验是一种用于搜索模型参数的高效方法[19]，本文使用正交实验法对模型主要参数进行设置优化，并以电池B01、B02、B03为训练集来确定模型参数。模型结构的主要参数包括卷积核尺寸、网络深度(N)、多头注意力机制中的头数(h)等3个参数，还包括输入向量的附加维度m，即电池前m次循环的电池容量。共计4个参数。设计3水平4因素正交实验设计如表1所示。我们以每次实验的均方根误差(Root Mean Square Error，RMSE)作为预测精度来进行判断。

表1 正交实验设计表

        （6）

    （7）

式中：Ak是元素的平均值，最大差值R可以体现的变化幅度，代表了每个因素的影响性。

根据表1可知，卷积自注意力神经网络影响因素最大的是附加维度m。在训练过程中，根据影响性大小，各个元素应逐次得到调整。经过正交实验验证，附加维度m、卷积核尺寸、头数、网络深度取值分别为20、4、6、3。

3、在线容量估计方法及流程

基于卷积自注意力在线容量估计流程如图8所示，分为线下和线上两个部分。

图8 卷积自注意力在线容量估计流程

线下部分：通过恒流充电阶段数据提取电压曲线，计算出CC1阶段的电压最大值，CC2阶段的电压最小值，CC3阶段的电压最大值。恒流充电阶段的3个特征。可以与此次充电循环的电池容量形成映射减少充电过程中随机波动或突发问题带来的干扰，前m次循环电池容量与上述特征共同融合，形成m+3维的特征向量，用于预测模型的训练和验证。然后，基于卷积自注意力建立了在线容量估计模型，将由正交实验确定的模型参数用于网络结构搭建。通过误差反向传播算法和训练数据集的迭代，实现网络权重和偏置参数的学习，直至目标函数满足要求。

线上部分：将上述方法获取的m+3维特征向量输入到训练好的容量估计模型并输出容量估计值，将该估计值与实际值通过评价函数进行对比，从而对所提出的容量估计模型进行评价与分析。

四、实验验证

1、实验设置

实验所用的模型输入特征向量是有3维充电过程特征和20维电池容量组成的23维向量，输出是本次循环的电池容量值。例如，要预测第i次循环电池容量，则输入向量为[]，为历史电池容量为特征向量。并采用Adam作为最小化目标函数的自适应优化器，其初始学习率设置为0.0001，每训练30次，学习率降低10倍。其余采用Adam默认值。训练集批量为50，实验迭代次数设置为100，测试集采用单步滚动预测方法。

在数据预处理阶段还需要进行归一化处理，以保证数据被限定在同一范围，避免不同取值范围影响模型参数优化。使用Max-min归一化方法。计算过程如下：

 （8）

式中：x和x’分别是特征向量S归一化后的数值。

为了评价容量在线估计模型的估计精度，本文使用均方根误差(RMSE)和平均绝对误差(Mean Square Error MAE)作为评价函数，计算过程如下：

（9）

 （10）

式中：n是循环次数，是实际容量，是估计容量。

在大部分基于数据驱动方法的实验设置中，通常同一个电池的循环数据被分成训练集和验证集，这样在同一个电池上可以实现并验证在线容量估计。但是在驾驶场景中，60%至80%的训练数据是需要长时间获取，所以会影响性能，整个电池循环的在线估计很难实现。

为了解决这个问题，我们参考了Chen在研究中使用的“留一法”（Leave-one-out Evaluation）评价方法[20]：一个电池用于验证，其他三个电池用于训练。总共执行四次实验，每次实验都使用全新的训练集和验证集，以实现与驾驶场景相类似的验证环境。

3.2 预测结果与分析

电池B01、B02、B03、B04的容量估计结果和相对误差如图9所示，红色曲线代表实际容量值，蓝色曲线代表预测容量值，预测相对误差保持在0.15%以内，证明模型有很好的预测精度和预测鲁棒性。

表3总结了各个方法的预测精度，可以明显看出本文提出的基于卷积自注意力模型的预测方法拥有更高的精度。表中GRU（Gate RecurrentUnit）是门循环单元、CNN（Convolutional Neural Network）是卷积神经网络。

表2 预测结果

表3 与其他方法对比结果

图9 预测结果

五、结论

本文提出一种基于卷积自注意模型的锂离子电池在线容量估计方法，通过分析充电过程各阶段电压数据，发现利用电压分析方法提取的恒流充电阶段特征与电池容量存在强相关性，可以表征电池老化和容量衰减过程。同时，基于卷积自注意力建立容量估计模型，可利用一维卷积优势弥补Transformer不足。并提出一种全新的融合特征向量，可以全面反应充电过程，并且也会抗击充电过程中随机干扰，具有较高的鲁棒性。最终，通过公开电池数据集进行实验验证，结果表明，MAE预测误差为0.17%，RMSE预测误差为0.22%。

参考文献（References）

[1] Gzab C ,Dl A , Mc B , et al. The lithium-ion battery: State of the art and future perspectives - ScienceDirect[J]. Renewable and Sustainable Energy Reviews, 2018, 89:292-308.

[2] Hu X , Xu L , Lin X , et al. Battery Lifetime Prognostics[J]. Joule, 2020, 4(2): 310-346

[3] Severson K A , Attia P M , Jin N , et al. Data-driven prediction of battery cycle life before capacity degradation[J]. Nature Energy, 2019, 4(5): 383-391

[4] Zhu R , Duan B , Zhang J , et al. Co-estimation of model parameters and state-of-charge for lithium-ion batteries with recursive restricted total least squares and unscented Kalman filter[J]. Applied Energy, 2020, 277:115494

[5] Lai X,WeiYi, YifanCui, et al. Capacity estimation of lithium-ion cells by combining model-based and data-driven methods based on a sequential extended Kalman filter[J]. Energy, 2020, 216:119233

[6] Deng Z , Hu X , Lin X , et al. Sensitivity Analysis and Joint Estimation of Parameters and States for All-Solid-State Batteries[J]. IEEE Transactions on Transportation Electrification, 2021, 7(3):1314-1323.

[7] JLiu K . Data-driven health estimation and lifetime prediction of lithium-ion batteries: A review[J]. Renewable and Sustainable Energy Reviews, 2019, 113:109254

[8] Deng Z , Lin X , Cai J , et al. Battery Health Estimation with Degradation Pattern Recognition and Transfer Learning[J]. Journal of Power Sources, 2022, 525:231027.

[9] Yang J , Xia B , Huang W , et al. Online state-of-health estimation for lithium-ion batteries using constant-voltage charging current analysis[J]. Applied Energy, 2018, 212(FEB.15):1589-1600

[10] Hussein A.A. Capacity Fade Estimation in Electric Vehicle Li-Ion Batteries Using Artificial Neural Networks[J]. IEEE Transactions on Industry Applications, 2013, 51(3):2321-2330.

[11] Deng Z , Yang L , Cai Y , et al. Online available capacity prediction and state of charge estimation based on advanced data-driven algorithms for lithium iron phosphate battery[J]. Energy, 2016, 112(oct.1):469-480.

[12] Duo, Yang, et al. A novel Gaussian process regression model for state-of-health estimation of lithium-ion battery using charging curve[J]. Journal of Power Sources, 2018, 384:387-395.

[13] Zhang Y , Xiong R , He H , et al. Long Short-Term Memory Recurrent Neural Network for Remaining Useful Life Prediction of Lithium-Ion Batteries[J]. IEEE Transactions on Vehicular Technology, 2018, 67(7):5695-5705.

[14] Deng Z , Hu X , Lin X , et al. Data-driven state of charge estimation for lithium-ion battery packs based on Gaussian process regression[J]. Energy, 2020:118000.

[15] D Anseán, Dubarry M , Devie A , et al. Fast charging technique for high power LiFePO4 batteries: A mechanistic analysis of aging[J]. Journal of Power Sources, 2016, 321:201-209.

[16] Zhou Y , Huang M , Chen Y , et al. A novel health indicator for on-line lithium-ion batteries remaining useful life prediction[J]. Journal of Power Sources, 2016, 321(JUL.30):1-10.

[17] Li S , Jin X , Xuan Y , et al. Enhancing the Locality and Breaking the Memory Bottleneck of Transformer on Time Series Forecasting[J]. Neural information processing systems, 2019.

[18] Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[J]. Advances in neural information processing systems, 2017, 30.

[19] 刘瑞江, 张业旺, 闻崇炜, 等. 正交试验设计和分析方法研究[J]. 实验技术与管理, 2010, 27(9): 4.

LIU R, ZHANG Y, WEN C, et al. Study on the design and analysis methods of orthogonal experiment[J]. Experimental technology and management, 2010, 27(9): 4.

[20] Chen D, Hong W, Zhou X. Transformer network for remaining useful life prediction of lithium-ion batteries[J]. IEEE Access, 2022, 10: 19621-19628.

仿真秀读者福利

仿真秀，致力于为每一位学习者提供优质的仿真资源与技术服务支持，让您的仿真学习之旅更加顺畅，欢迎在公 众号对话框与我互动交流！以下资料供用户永久免费下载哦（见下图），本论文PDF已经收录。

下载地址在仿真秀APP公 众号菜单-资料库-资料下载-进入百度云盘群下载，不会失效，且永久免费更新。

扫码进技术群领仿真资料包

可免费参加技术直播

来源：仿真秀App