2-292基于Matlab的次梯度下降算法、扩展梯度算法、加速梯度算法非线性优化问题的数值仿真

基于Matlab的次梯度下降算法、扩展梯度算法、加速梯度算法非线性优化问题的数值仿真。

1. 次梯度下降算法：适用于不可微或非光滑的优化问题，如L1正则化。它简单且通用，对步长的选择相对宽松。

但收敛速度可能较慢，尤其是在目标函数的非光滑部分。此外，次梯度下降可能不会总是沿着下降方向进行，这可能导致非单调收敛行为。

2. 扩展梯度算法：能够处理带有约束的优化问题，通过引入拉格朗日乘子和KKT条件，可以找到满足所有约束的最优解。但计算成本可能较高，尤其是在每次迭代中需要解决线性方程组的情况下。对于非凸问题，可能会收敛到局部最优解而非全局最优解。

3. 加速梯度算法：通过引入动量项，可以加速收敛速度，尤其是在目标函数光滑且强凸的情况下。这种方法可以更快地接近最优解，并且对于条件数较大的问题特别有效。实现相对复杂，需要精心设计动量项和步长。程序已调通，可直接运行。