LS-OPT中的模拟退火算法和遗传算法

优化算法中比较常见的也就是模拟退火算法和遗传算法了。今天就来讲一下这两个算法的原理。（以下部分内容来自某乎，如有冒犯，请联系作者删除）

一元函数最大值问题

袋鼠蹦跳

既然我们把函数曲线理解成一个一个山峰和山谷组成的山脉。那么我们可以设想所得到的每一个解就是一只袋鼠，我们希望它们不断的向着更高处跳去，直到跳到最高的山峰。所以求最大值的过程就转化成一个"袋鼠跳”的过程。

下面介绍介绍”袋鼠跳”的几种方式

模拟退火:袋鼠喝醉了。它随机地跳了很长时间这期间，它可能走向高处，也可能踏入平地。但是，它渐渐清醒了并朝最高峰跳去。这就是模拟退火算法。

遗传算法:有很多袋鼠，它们降落到喜玛拉雅山脉的任意地方。这些袋鼠并不知道它们的任务是寻找珠穆朗玛峰。但每过几年，就在一些海拔高度较低的地方射杀一些袋鼠。于是，不断有袋鼠死于海拔较低的地方，而越是在海拔高的袋鼠越是能活得更久，也越有机会生儿育女。就这样经过许多年，这些袋鼠们竟然都不自觉地聚拢到了一个个的山峰上，可是在所有的袋鼠中，只有聚拢到珠穆朗玛峰的袋鼠被带回了美丽的澳洲。

通过上面的袋鼠蹦跳的故事，大家应该对这两种算法的原理有了一个大概的了解了，下面开始正式介绍。

模拟退火算法简介

模拟退火算法从某一高温出发，在高温状态下计算初始解，然后以预设的邻域函数产生一个扰动量，从而得到新的状态，即模拟粒子的无序运动比较新旧状态下的能量，即目标函数的解。如果新状态的能量小于旧状态，则状态发生转化;如果新状态的能量大于旧状态，则以Metropolis接受准则发生转化。当状态稳定后，便可以看作达到了当前状态的最优解，便可以开始降温，在下一个温度继续迭代，最终达到低温的稳定状态，便得到了模拟退火算法产生的结果。

模拟退火算法特点

可以保证全局最优特别适合组合优化问题，可以随机选择初始解，对问题本身没有特别要求，不会因为问题实例的改变影响性能，简单易行，通用性好。模拟退火算法 (SA)在某一初温下，伴随温度参数的不断下降，结合概率突跳特性在解空间中随机寻找目标函数的全局最优解，即在局部最优解能概率性地跳出并最终趋于全局最优

模拟退火算法在求解规模较大的实际问题时，往往存在以下缺点:

(1)收敛速度比较慢。

(2)尽管理论上只要计算时间足够长，模拟退火法就可以保证以概率1收敛于全局最优点。但是在实际算法的实现过程中，由于计算速度和时间的限制，在优化效果和计算时间二者之间存在矛盾，因而难以保证计算结果为全局最优点，优化效果不甚理想

(3)在每一温度下很难判定是否达到了平衡状为此，人们对模拟退火算法提出了各种各样态。的改进，其中包括并行模拟退火算法、快速模拟退火算法(Cauchy机)和对模拟退火算法中各个函数和参数的重新设计等

遗传算法简介

遗传算法(Genetic Algorithm,GA)是模拟达尔文生物进化论的自然选择和遗传学机理的生物进化过程的计算模型，是一种通过模拟自然进化过程搜索最优解的方法其主要特点是直接对结构对象进行操作，不存在求导和函数连续性的限定;具有内在的隐并行性和更好的全局寻优能力;采用概率化的寻优方法，不需要确定的规则就能自动获取和指导优化的搜索空间，自适应地调整搜索方向

遗传算法以一种群体中的所有个体为对象，并利用随机化技术指导对一个被编码的参数空间进行高效搜索。其中，选择、交叉和变异构成了遗传算法的遗传操作;参数编码、初始群体的设定、适应度函数的设计、遗传操作设计、控制参数设定五个要素组成了遗传算法的核心内容。

遗传算法特点

遗传算法并不保证你能获得问题的最优解，但是使用遗传算法的最大优点在于你不必去了解和操心如何去“找”最优解。(你不必去指导袋鼠向那边跳跳多远。) 而只要简单的”否定”一些表现不好的个体就行了。(把那些总是爱走下坡路的袋鼠射杀，这就是遗传算法的精粹! )