万有引力搜索算法的改进
改进的粒子群优化算法
第37卷第4期河北工业大学学报2008年8月V ol.37No.4JOURNAL OF HEBEI UNIVERSITY OF TECHNOLOGY August2008 文章编号：1008-2373(2008)04-0055-05 改进的粒子群优化算法 宋洁，董永峰，侯向丹，杨彦卿 （河北工业大学计算机科学与软件学院，天津300401） 摘要粒子群优化算法是一种基于群体的自适应搜索优化算法，存在后期收敛慢、搜索精度低、容易陷入局部极 小等缺点，为此提出了一种改进的粒子群优化算法，从初始解和搜索精度两个方面进行了改进，提高了算法的计 算精度，改善了算法收敛性，很大程度上避免了算法陷入局部极小．对经典函数测试计算，验证了算法的有效性． 关键词粒子群优化算法；均匀化；变量搜索；初始解；搜索精度 中图分类号TP391文献标识码A A Modified Particle Swarm Optimization Algorithm SONG Jie,DONG Yong-feng,HOU Xiang-dan,Y ANG Yan-qing (School of Computer Science and Engineering,Hebei University of Technology,Tianjin300401,China) Abstract Particle Swarm Optimization Algorithm is a kind of auto-adapted search optimization based on community. But the standard particle swarm optimization is used resulting in slow after convergence,low search precision and easily leading to local minimum.A new Particle Swarm Optimization algorithm is proposed to improve from the initial solution and the search precision.The obtained results showed the algorithm computation precision and the astringency are im- proved,and local minimum is avoided.The experimental results of classic functions show that the improved PSO is ef- ficient and feasible. Key words PSO；average；variable search；initial solution；search accuracy 0引言 粒子群优化（Particle Swarm Optimization，PSO）算法是一种基于群体的随机优化技术，最早在1995年由美国社会心理学家James Kennedy和电气工程师Russell Eberhart[1]共同提出，基本思想源于对鸟群觅食行为的研究．PSO将每个可能产生的解都表述为群中的一个微粒，每个微粒都具有自己的位置向量和速度向量，和一个由目标函数决定的适应度，通过类似梯度下降算法使各粒子向适应度函数值最高的方向群游．该算法控制参数少、程序相对简单，因此在应用领域表现出了很大的优越性．由于PSO算法容易理解、易于实现，所以PSO算法发展很快．目前，多种PSO改进算法已广泛应用于函数优化、神经网络训练、模式识别、模糊系统控制以及其他的应用领域． 许多学者对PSO算法进行研究，发现其容易出现早熟、最优解附近收敛慢等现象，并提出了一些改进方案，例如自适应PSO算法、混合PSO算法、杂交PSO算法等[2-4]．因此，本文从初始解和收敛精度两个角度出发对PSO算法进行了改进，提高了算法的计算精度，有效的改善了算法的优化性能． 1基本PSO算法 PSO算法是一种基于群体的随机优化技术，基本思想源于对鸟群觅食行为的研究．通过对鸟群飞行时经常会突然改变方向、散开、聚集，但整体总保持一致性，个体与个体间鸟群好像在一个中心的控制 收稿日期：2008-04-17 基金项目：河北省自然科学基金（F2006000109） 作者简介：宋洁（1967-），女（汉族），副教授．
蚁群算法
蚁群算法报告及代码 一、狼群算法 狼群算法是基于狼群群体智能,模拟狼群捕食行为及其猎物分配方式,抽象出游走、召唤、围攻3种智能行为以及“胜者为王”的头狼产生规则和“强者生存”的狼群更新机制,提出一种新的群体智能算法。 算法采用基于人工狼主体的自下而上的设计方法和基 于职责分工的协作式搜索路径结构。如图1所示,通过狼群个体对猎物气味、环境信息的探知、人工狼相互间信息的共享和交互以及人工狼基于自身职责的个体行为决策最终实现了狼群捕猎的全过程。 二、布谷鸟算法 布谷鸟算法 布谷鸟搜索算法,也叫杜鹃搜索,是一种新兴启发算法CS 算法，通过模拟某些种属布谷鸟的寄生育雏来有效地求解最优化问题的算法.同时，CS 也采用相关的Levy 飞行搜索机制 蚁群算法介绍及其源代码。 具有的优点：全局搜索能力强、选用参数少、搜索路径优、多目标问题求解能力强，以及很好的通用性、鲁棒性。 应用领域：项目调度、工程优化问题、求解置换流水车间调度和计算智能 三、差分算法 差分算法主要用于求解连续变量的全局优化问题，其主要工作步骤与其他进化算法基本一致，主要包括变异、交叉、选择三种操作。 算法的基本思想是从某一随机产生的初始群体开始，利用从种群中随机选取的两个个体
的差向量作为第三个个体的随机变化源，将差向量加权后按照一定的规则与第三个个体求和而产生变异个体，该操作称为变异。然后，变异个体与某个预先决定的目标个体进行参数混合，生成试验个体，这一过程称之为交叉。如果试验个体的适应度值优于目标个体的适应度值，则在下一代中试验个体取代目标个体，否则目标个体仍保存下来，该操作称为选择。在每一代的进化过程中，每一个体矢量作为目标个体一次，算法通过不断地迭代计算，保留优良个体，淘汰劣质个体，引导搜索过程向全局最优解逼近。 四、免疫算法 免疫算法是一种具有生成+检测的迭代过程的搜索算法。从理论上分析，迭代过程中，在保留上一代最佳个体的前提下，遗传算法是全局收敛的。 五、人工蜂群算法 人工蜂群算法是模仿蜜蜂行为提出的一种优化方法，是集群智能思想的一个具体应用，它的主要特点是不需要了解问题的特殊信息，只需要对问题进行优劣的比较，通过各人工蜂个体的局部寻优行为，最终在群体中使全局最优值突现出来，有着较快的收敛速度。为了解决多变量函数优化问题，科学家提出了人工蜂群算法ABC模型。 六、万有引力算法 万有引力算法是一种基于万有引力定律和牛顿第二定律的种群优化算法。该算法通过种群的粒子位置移动来寻找最优解，即随着算法的循环，粒子靠它们之间的万有引力在搜索空间内不断运动，当粒子移动到最优位置时，最优解便找到了。 GSA即引力搜索算法，是一种优化算法的基础上的重力和质量相互作用的算法。GSA 的机制是基于宇宙万有引力定律中两个质量的相互作用。 七、萤火虫算法 萤火虫算法源于模拟自然界萤火虫在晚上的群聚活动的自然现象而提出的，在萤火虫的群聚活动中，每只萤火虫通过散发荧光素与同伴进行寻觅食物以及求偶等信息交流。一般来说，荧光素越亮的萤火虫其号召力也就越强，最终会出现很多萤火虫聚集在一些荧光素较亮的萤火虫周围。人工萤火虫算法就是根据这种现象而提出的一种新型的仿生群智能优化算法。在人工萤火虫群优化算法中，每只萤火虫被视为解空间的一个解，萤火虫种群作为初始解随机的分布在搜索空间中，然后根据自然界萤火虫的移动方式进行解空间中每只萤火虫的移动。通过每一代的移动，最终使的萤火虫聚集到较好的萤火虫周围，也即是找到多个极值
禁忌搜索算法浅析
禁忌搜索算法浅析 摘要:本文介绍了禁忌搜索算法的基本思想、算法流程及其实现的伪代码。禁忌搜索算法（Tabu Search或Taboo Search，简称TS算法）是一种全局性邻域搜索算法，可以有效地解决组合优化问题，引导算法跳出局部最优解，转向全局最优解的功能。 关键词:禁忌搜索算法；组合优化；近似算法；邻域搜索 1禁忌搜索算法概述 禁忌搜索算法（Tabu Search）是由美国科罗拉多州大学的Fred Glover教授在1986年左右提出来的，是一个用来跳出局部最优的搜寻方法。在解决最优问题上，一般区分为两种方式：一种是传统的方法，另一种方法则是一些启发式搜索算法。使用传统的方法，我们必须对每一个问题都去设计一套算法，相当不方便，缺乏广泛性，优点在于我们可以证明算法的正确性，我们可以保证找到的答案是最优的；而对于启发式算法，针对不同的问题，我们可以套用同一个架构来寻找答案，在这个过程中，我们只需要设计评价函数以及如何找到下一个可能解的函数等，所以启发式算法的广泛性比较高，但相对在准确度上就不一定能够达到最优，但是在实际问题中启发式算法那有着更广泛的应用。 禁忌搜索是一种亚启发式随机搜索算法，它从一个初始可行解出发，选择一系列的特定搜索方向(移动)作为试探，选择实现让特定的目标函数值变化最多的移动。为了避免陷入局部最优解，TS搜索中采用了一种灵活的“记忆”技术，对已经进行的优化过程进行记录和选择，指导下一步的搜索方向。 TS是人工智能的一种体现，是局部领域搜索的一种扩展。禁忌搜索是在领域搜索的基础上，通过设置禁忌表来禁忌一些已经历的操作，并利用藐视准则来奖励一些优良状态，其中涉及邻域（neighborhood）、禁忌表（tabu list）、禁忌长度（tabu 1ength）、候选解（candidate）、藐视准则（candidate）等影响禁忌搜索算法性能的关键因素。迄今为止，TS算法在组合优化、生产调度、机器学习、电路设计和神经网络等领域取得了很大的成功，近年来又在函数全局优化方面得到较多的研究，并大有发展的趋势。 2禁忌搜索算法的基本思想 禁忌搜索最重要的思想是标记对应已搜索的局部最优解的一些对象，并在进一步的迭代搜索中尽量避开这些对象（而不是绝对禁止循环），从而保证对不同的有效搜索途径的探索，TS的禁忌策略尽量避免迂回搜索，它是一种确定性的局部极小突跳策略。 禁忌搜索是对局部邻域搜索的一种扩展，是一种全局逐步寻求最优算法。局部邻域搜索是基于贪婪思想持续地在当前解的邻域中进行搜索，虽然算法通用易实现，且容易理解，但搜索性能完全依赖于邻域结构和初解，尤其会陷入局部极小而无法保证全局优化型。 禁忌搜索算法中充分体现了集中和扩散两个策略，它的集中策略体现在局部搜索，即从一点出发，在这点的邻域内寻求更好的解，以达到局部最优解而结束，为了跳出局部最优解，扩散策略通过禁忌表的功能来实现。禁忌表中记下已经到达的某些信息，算法通过对禁
禁忌搜索算法评述(一)
禁忌搜索算法评述(一) 摘要:工程应用中存在大量的优化问题,对优化算法的研究是目前研究的热点之一。禁忌搜索算法作为一种新兴的智能搜索算法具有模拟人类智能的记忆机制,已被广泛应用于各类优化领域并取得了理想的效果。本文介绍了禁忌搜索算法的特点、应用领域、研究进展,概述了它的算法基本流程,评述了算法设计过程中的关键要点,最后探讨了禁忌搜索算法的研究方向和发展趋势。 关键词:禁忌搜索算法;优化;禁忌表;启发式;智能算法 1引言 工程领域内存在大量的优化问题,对于优化算法的研究一直是计算机领域内的一个热点问题。优化算法主要分为启发式算法和智能随机算法。启发式算法依赖对问题性质的认识,属于局部优化算法。智能随机算法不依赖问题的性质,按一定规则搜索解空间,直到搜索到近似优解或最优解,属于全局优化算法,其代表有遗传算法、模拟退火算法、粒子群算法、禁忌搜索算法等。禁忌搜索算法(TabuSearch,TS)最早是由Glover在1986年提出,它的实质是对局部邻域搜索的一种拓展。TS算法通过模拟人类智能的记忆机制,采用禁忌策略限制搜索过程陷入局部最优来避免迂回搜索。同时引入特赦(破禁)准则来释放一些被禁忌的优良状态,以保证搜索过程的有效性和多样性。TS算法是一种具有不同于遗传和模拟退火等算法特点的智能随机算法,可以克服搜索过程易于早熟收敛的缺陷而达到全局优化1]。 迄今为止,TS算法已经广泛应用于组合优化、机器学习、生产调度、函数优化、电路设计、路由优化、投资分析和神经网络等领域,并显示出极好的研究前景2~9,11~15]。目前关于TS 的研究主要分为对TS算法过程和关键步骤的改进,用TS改进已有优化算法和应用TS相关算法求解工程优化问题三个方面。 禁忌搜索提出了一种基于智能记忆的框架,在实际实现过程中可以根据问题的性质做有针对性的设计,本文在给出禁忌搜索基本流程的基础上,对如何设计算法中的关键步骤进行了有益的总结和分析。 2禁忌搜索算法的基本流程 TS算法一般流程描述1]: (1)设定算法参数,产生初始解x,置空禁忌表。 (2)判断是否满足终止条件?若是,则结束,并输出结果;否则,继续以下步骤。 (3)利用当前解x的邻域结构产生邻域解,并从中确定若干候选解。 (4)对候选解判断是否满足藐视准则?若成立,则用满足藐视准则的最佳状态y替代x成为新的当前解,并用y对应的禁忌对象替换最早进入禁忌表的禁忌对象,同时用y替换“bestsofar”状态,然后转步骤(6);否则,继续以下步骤。 (5)判断候选解对应的各对象的禁忌情况,选择候选解集中非禁忌对象对应的最佳状态为新的当前解,同时用与之对应的禁忌对象替换最早进入禁忌表的禁忌对象。 (6)转步骤(2)。 算法可用图1所示的流程图更为直观的描述。 3禁忌搜索算法中的关键设计 3.1编码及初始解的构造 禁忌搜索算法首先要对待求解的问题进行抽象,分析问题解的形式以形成编码。禁忌搜索的过程就是在解的编码空间里找出代表最优解或近似优解的编码串。编码串的设计方式有多种策略,主要根据待解问题的特征而定。二进制编码将问题的解用一个二进制串来表示2],十进制编码将问题的解用一个十进制串来表示3],实数编码将问题的解用一个实数来表示4],在某些组合优化问题中,还经常使用混合编码5]、0-1矩阵编码等。 禁忌搜索对初始解的依赖较大,好的初始解往往会提高最终的优化效果。初始解的构造可以
基于亲和度的引力移动算法
Computer Engineering and Applications 计算机工程与应用 2018，54（6）1概述近年来，许多相关研究人员通过观察自然界中各种自然现象并从中受到了启发，提出了很多启发式优化算法来解决一些复杂的问题，例如：中心力算法[1]、模拟退火算法[2]、蚁群算法[3]、遗传算法[4]、粒子群算法[5]等。这些启发式优化算法只在某些特定问题上提供了有效解决问题的途径，在解决一些高维空间优化问题时存在着搜索解的精度较低、搜索解过程中容易陷入局优导致算法收敛速度慢等问题。因此，探索新的算法仍然是必要的。引力搜索算法（Gravitational Search Algorithm ，GSA ）是近年来伊朗克曼大学的教授EsmatRashedi 等[6-7]提出的基于牛顿第二定律和万有引力定律的一种新型启发式优化算法。目前有关引力搜索算法的研究已经陆续 展开，在应用方面，文献[8]将GSA 用于解决流水线调度问题时获得了较好的效果，文献[9-10]将模糊C-mean 算法与GSA 相结合用于求解模糊聚类问题，文献[11]将GSA 应用到船舶船舱的布置上得出的方案能较好地符合算例的要求，文献[12]用GSA 求解该电力系统电压无功控制的数学模型；在理论研究方面，文献[13-14]从不同的角度对算法进行了改进以增强其优化性能。在GSA 算法的基础上文献[15]提出了一种新型的群体搜 索优化算法引力移动算法（GMA ）并在文中证明了GMA 的搜索解的精度和稳定性明显优于粒子群算法。但是引力移动算法在使用中仍然存在着过早陷入局部基于亲和度的引力移动算法 赵蕊娟，杨连贺 ZHAO Ruijuan,YANG Lianhe 天津工业大学计算机科学与软件学院，天津300387 School of Computer Science and Software Engineering,Tianjin Polytechnic University,Tianjin 300387,China ZHAO Ruijuan,YANG Lianhe.Improved gravitation move algorithm based on https://www.360docs.net/doc/568184377.html,puter Engineering and Applications,2018,54（6）：44-48. Abstract ：To improve the searching performance of gravitation move algorithm,in accordance with problems of bad per-formance in search accuracy and slow convergence speed in the high dimensional space optimization,PGMA is proposed by introducing affinity to improve the algorithm convergence and search precision,and this improved Gravitational Move Algorithm （GMA ）changes the particle ’s gravitational force calculation formula.It includes the principles of gravitational move algorithm and the structure of the affinity,and the affinity for the appropriate transformation is added to the formula resultant force.Then the formula resultant force is modified.Thirteen benchmarks function are tested and show that new algorithm is better than GMA with both a steady convergence and a better accuracy of solution. Key words ：Gravitation Move Algorithm （GMA ）;resultant force;affinity;benchmark function;adjustable parameter 摘要：为提高引力移动算法搜索性能，针对引力移动算法解决一些高维空间优化问题时存在的收敛速度慢、搜索精度不高的问题，提出一种基于亲和度的改进引力移动算法PGMA 。基于引力移动算法原理，通过构造一个基于亲和度概念的系数对种群个体受到的引力合力公式作适当的变换改造基本引力移动算法。改进后的算法对种群中个体的位置更新方向加以引导，来提高算法的搜索精度和算法搜索能力。用13个基准函数对改进算法进行试验验证改进算法在求解精度和稳定性上优于基本引力移动算法。 关键词：引力移动算法；合力；亲和度；基准函数；可调参数 文献标志码：A 中图分类号：TP 301doi ：10.3778/j.issn.1002-8331.1611-0158 基金项目：天津市科技计划项目（No.16JCTPJC47400）。 作者简介：赵蕊娟（1990—），女，硕士研究生，研究方向：数据挖掘、智能优化，E-mail ：zhaorj_tjpu@https://www.360docs.net/doc/568184377.html, ；杨连贺，博士，教授，博 导，研究方向：数据挖掘。 收稿日期：2016-11-09修回日期：2017-01-02文章编号：1002-8331（2018）06-0044-05 CNKI 网络出版：2017-03-13,https://www.360docs.net/doc/568184377.html,/kcms/detail/11.2127.TP.20170313.1638.024.html 44万方数据
论文-禁忌搜索算法
基于禁忌搜索算法的车辆路径选择 摘要：本文从VRP的提出背景与求解方法出发，阐释了禁忌搜索算法的原理与影响算法性能的关键因素，进而将禁忌搜索算法的思想运用于解决车辆路径问题，在VRP问题初始解的基础上，用禁忌搜索算法优化车辆配送路线，设计出直观且策略易于理解的客户直接排列的解的表示方法，最后将该算法用C语言实现并用于求解VRP问题，测试结果表明该算法可行且解的质量较高。 关键词：车辆路径问题；禁忌搜索；邻域；禁忌表 1.引言 物流配送过程的成本构成中，运输成本占到52%之多，如何安排运输车辆的行驶路径，使得配送车辆依照最短行驶路径或最短时间费用，在满足服务时间限制、车辆容量限制、行驶里程限制等约束条件下，依次服务于每个客户后返回起点，实现总运输成本的最小化，车辆路径问题正是基于这一需求而产生的。求解车辆路径问题（Vehicle Routing Problem简记VRP）的方法分为精确算法与启发式算法，精确算法随问题规模的增大，时间复杂度与空间复杂度呈指数增长，且VRP问题属于NP-hard问题，求解比较困难，因此启发式算法成为求解VRP问题的主要方法。禁忌搜索算法是启发式算法的一种，为求解VRP提供了新的工具。本文通过一种客户直接排列的解的表示方法，设计了一种求解车辆路径问题的新的禁忌搜索算法。 因此研究车辆路径问题，就是要研究如何安排运输车辆的行驶路线，使运输车辆依照最短的行驶路径或最短的时间费用，依次服务于每个客户后返回起点，总的运输成本实现最小。 2.车辆路径问题的禁忌搜索算法 2.1 车辆路径问题的描述 车辆路径问题的研究目标是对一系列送货点或取货点，确定适当的配送车辆行驶路线，使车辆有序地通过它们，在满足一定的约束条件（如货物需求量、发送量交发货时间、车辆容量限制、行驶里程限制、时间限制等）下，达到一定的目标（如路程最短、费用最小、时间尽量少、使用车辆尽量少等)。参见下图2.1所示：其中0表示配送中心，1～８表示客户编号。 图2.1 车辆路径问题 在本文中为使得问题易于理解，将该问题描述为：有一定数量的客户，各自有不同数量的货物需求，且每个客户的位置和需求量一定，一个物流中心提供这些货物，并有一个车队负责分送货物，每台配送车辆的载重量一定，这里假设车辆的型号一致，即最大载重量和最
基于改进粒子群算法的优化策略
收稿日期:2009-12-13 基金项目:国家自然科学基金资助项目(60674021) 作者简介:卢 峰(1982-),男,辽宁抚顺人,东北大学博士研究生;高立群(1949-),男,辽宁沈阳人,东北大学教授,博士生导师 第32卷第9期2011年9月东北大学学报(自然科学版)Journal of Northeastern U niversity(Natural Science)Vol 32,No.9Sep.2011 基于改进粒子群算法的优化策略 卢 峰,高立群 (东北大学信息科学与工程学院,辽宁沈阳 110819) 摘 要:为提高传统粒子群算法的搜索速度和搜索精度,提出了一种改进的自适应粒子群优化算法 将正则变化函数和慢变函数引入传统位置更新和速度更新公式当中,形成两种新的更新机制:搜索算子和开发算子 在算法运行的初始阶段,种群中大部分个体将按照搜索算子进行更新,搜索算子将有助于种群遍历整个解空间;随着迭代次数的增加,按照搜索算子进行更新的个体将逐渐减少,而按照开发算子进行更新的个体将逐渐增多,开发算子将有效地克服陷入局部最优解的问题 通过典型测试函数的仿真实验,新算法在加快收敛速度同时,提高了算法的全局搜索能力 关 键 词:进化算法;粒子群算法;全局优化;慢变函数;自适应 中图分类号:T G 273 文献标志码:A 文章编号:1005 3026(2011)09 01221 04 Novel Optimization Mechanism Based on Improved Particle Swarm Optimization L U Feng ,GAO L i qun (School of Information Science &Engineering,Northeaster n U niv ersity,Shenyang 110819,China.Corresponding author :LU F eng,E mail:feng.lu.lf @g https://www.360docs.net/doc/568184377.html,) Abstract :To accelerate searching speed and optimization accuracy of traditional PSO,an improved particle swarm optimization (PSO )algorithm w as presented.Regularly vary ing function and slow ly varying function were introduced in the position and velocity update formula.New mechanisms such as explorative operator and exploitative operator are formulated.At the beginning,most elements will be updated by explorative operator in the entire search space sufficiently.Within the iterations,more and more particles w ill be handled by ex ploitative operator,which are useful to overcome the deceptions of multiple local optima.It can be seen from the simulation results of the standard benchm ark test functions that the proposed algorithm not only accelerates the convergence process,but also improves g lobal optim ization ability. Key words:evolutionary algorithms;particle sw arm optimization;global optimization;slow ly v arying function;self adaptive 20世纪90年代初,产生了模拟自然生物群体行为的优化方法,被称为群智能优化方法 Dorigo 等人通过模拟蚂蚁的寻径行为,提出了蚁群优化算法(ant colony optimization)[1] ;Eberhart 等人基于对鸟群、鱼群的模拟,提出了粒子群优化算法(particle sw arm optim ization )[2] 作为一种群智能优化方法的代表,粒子群算法通过个体间的协作来寻找最优解,每个个体都被赋予一个随机速度并在整个解空间中搜索,通 过个体之间的合作与竞争来实现个体进化 由于粒子群优化算法运算简单,易于实现,具有良好的解决非线性、不可微和多峰值复杂优化问题的能力,已被广泛应用于科学和工程实际领域[3-5] 但是,粒子群优化算法是根据全体粒子和自身的搜索经验向着最优解的方向进化,在进化后期收敛速度将变得缓慢,同时算法在收敛到一定精度时,容易陷入停滞,无法继续进化更新,因此,存在早熟和陷入局部极值点的现象
启发式优化算法综述
启发式优化算法综述 一、启发式算法简介 1、定义 由于传统的优化算法如最速下降法，线性规划，动态规划，分支定界法，单纯形法，共轭梯度法，拟牛顿法等在求解复杂的大规模优化问题中无法快速有效地寻找到一个合理可靠的解，使得学者们期望探索一种算法:它不依赖问题的数学性能，如连续可微，非凸等特性; 对初始值要求不严格、不敏感，并能够高效处理髙维数多模态的复杂优化问题，在合理时间内寻找到全局最优值或靠近全局最优的值。于是基于实际应用的需求，智能优化算法应运而生。智能优化算法借助自然现象的一些特点，抽象出数学规则来求解优化问题，受大自然的启发，人们从大自然的运行规律中找到了许多解决实际问题的方法。对于那些受大自然的运行规律或者面向具体问题的经验、规则启发出来的方法，人们常常称之为启发式算法（Heuristic Algorithm）。 为什么要引出启发式算法，因为NP问题，一般的经典算法是无法求解，或求解时间过长，我们无法接受。因此，采用一种相对好的求解算法，去尽可能逼近最优解，得到一个相对优解，在很多实际情况中也是可以接受的。启发式算法是一种技术，这种技术使得在可接受的计算成本内去搜寻最好的解，但不一定能保证所得的可行解和最优解，甚至在多数情况下，无法阐述所得解同最优解的近似程度。 启发式算法是和问题求解及搜索相关的，也就是说,启发式算法是为了提高搜索效率才提出的。人在解决问题时所采取的一种根据经验规则进行发现的方法。其特点是在解决问题时,利用过去的经验,选择已经行之有效的方法，而不是系统地、以确定的步骤去寻求答案，
以随机或近似随机方法搜索非线性复杂空间中全局最优解的寻取。启发式解决问题的方法是与算法相对立的。算法是把各种可能性都一一进行尝试，最终能找到问题的答案，但它是在很大的问题空间内，花费大量的时间和精力才能求得答案。启发式方法则是在有限的搜索空间内，大大减少尝试的数量，能迅速地达到问题的解决。 2、发展历史 启发式算法的计算量都比较大，所以启发式算法伴随着计算机技术的发展，才能取得了巨大的成就。纵观启发式算法的历史发展史： 40年代：由于实际需要，提出了启发式算法（快速有效）。 50年代：逐步繁荣，其中贪婪算法和局部搜索等到人们的关注。 60年代: 反思，发现以前提出的启发式算法速度很快，但是解得质量不能保证，而且对大规模的问题仍然无能为力（收敛速度慢）。 70年代：计算复杂性理论的提出，NP问题。许多实际问题不可能在合理的时间范围内找到全局最优解。发现贪婪算法和局部搜索算法速度快，但解不好的原因主要是他们只是在局部的区域内找解，等到的解没有全局最优性。由此必须引入新的搜索机制和策略。 Holland的遗传算法出现了（Genetic Algorithm）再次引发了人们研究启发式算法的兴趣。 80年代以后：模拟退火算法（Simulated Annealing Algorithm），人工神经网络（Artificial Neural Network），禁忌搜索（Tabu Search）相继出现。 最近比较火热的：演化算法（Evolutionary Algorithm）, 蚁群算法（Ant Algorithms），拟人拟物算法，量子算法等。 二、启发式算法类型
一种求解高维复杂优化问题的动态自适应和声搜索算法
第３９卷第９期２０１２年９月计算机科学 ＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ Ｖ０１．３９Ｎｏ．９ Ｓｅｐ２０１２ 一种求解高维复杂优化问题的动态自适应和声搜索算法 拓守恒邓方安 （陕西理工学院数学与计算机科学学院汉中７２３０００） 摘要为了更好地提高求解高维复杂优化问题的能力，提出一种动态自适应和声搜索（ＤＳＨＳ）算法。该算法采用正交试验来设计算法的初始化和声记忆库；利用多维动态自适应调整算子和单维和声微调算子相结合的策略进行和声创作；改进和声音调调解步长，从而增强算法的扰动能力，避免其陷入局部搜索。通过６个标准Ｂｅｎｃｈｍａｒｋ函数测试表明，该算法在全局搜索能力、收敛速度和稳定性方面都有明显提高。 关键词高维优化问题，动态自适应，和声搜索算法 中图法分类号ＴＰｌ８文献标识码Ａ ＤｙｎａｍｉｃＳｅｌｆ－ａｄａｐｔｉｖｅＨａｒｍｏｎｙＳｅａｒｃｈＡｌｇｏｒｉｔｈｍｆｏｒＳｏｌｖｉｎｇ Ｈｉｇｈ－ｄｉｍｅｎｓｉｏｎａｌＣｏｍｐｌｅｘＯｐｔｉｍｉｚａｔｉｏｎＰｒｏｂｌｅｍｓ ＴＵＯＳｈｏｕ－ｈｅｎｇＤＥＮＧＦａｎｇ－ａｎ （ＳｃｈｏｏｌｏｆＭａｔｈｅｍａｔｉｃｓａｎｄＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ，ＳｈａａｎｘｉＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，Ｈａｎｚｈｏｎｇ７２３０００，Ｃｈｉｎａ） ＡｂｓｔｒａｃｔＴｈｉｓｓｔｕｄｙｐｒｅｓｅｎｔｅｄａｄｙｎａｍｉｃｓｅｌｆ－ａｄａｐｔｉｖｅｈａｒｍｏｎｙｓｅａｒｃｈ（ＤＳＨＳ）ａｌｇｏｒｉｔｈｍｔＯｓｏｌｖｅｈｉｇｈ－ｄｉｍｅｎｓｉｏｎａｌｏｐｔｉｍｉｚａｔｉｏｎｐｒｏｂｌｅｍｓ．ＩｎｔｈｅｐｒｏｐｏｓｅｄＤＳＨＳａｌｇｏｒｉｔｈｍ，ｔｈｅｏｒｔｈｏｇｏｎａｌｅｘｐｅｒｉｍｅｎｔａｌｄｅｓｉｇｎａｌｇｏｒｉｔｈｍｗａｓｕｓｅｄｔｏｉｎｉ—ｔｉａｌｉｚｅｐｏｐｕｌａｔｉｏｎ；ｔｗｏｎｅｗｈａｒｍｏｎｙａｄｊｕｓｔｍｅｎｔｏｐｅｒａｔｏｒｓ，ｍｕｌｔｉ－ｄｉｍｅｎｓｉｏｎａｌｄｙｎａｍｉｃａｄａｐｔｉｖｅａｄｊｕｓｔｍｅｎｔｏｐｅｒａｔｏｒａｎｄｏｎｅ－ｄｉｍｅｎｓｉｏｎａｌｔｏｎｅｓｆｉｎｅ－ｔｕｎｉｎｇｏｐｅｒａｔｏｒ，ｗｅｒｅｉｎｔｅｇｒａｔｅｄｔｏｔｈｅｉｍｐｒｏｖｉｓａｔｉｏｎｓｃｈｅｍｅ．Ｆｏｒａｖｏｉｄｉｎｇｔｈｅｓｅａｒｃｈｂｅｉｎｇｔｒａｐｐｅｄｉｎ１０ｃａｌｏｐｔｉｍｕｍ。ａｎｉｍｐｒｏｖｅｄｂａｎｄｗｉｄｔｈａｄｊｕｓｔｍｅｎｔ ａｌｇｏｒｉｔｈｍｗａｓｅｍｐｌｏｙｅｄｔｏｅｎｈａｎｃｅｔｈｅｄｉｓｔｕｒｂａｎｅｅｐｅｒ－ ｆｏｒｍａｎｃｅ．６ｂｅｎｃｈｍａｒｋｆｕｎｃｔｉｏｎｅｘｐｅｒｉｍｅｎｔｓｓｈｏｗｔｈａｔｔｈｅｐｒｏｐｏｓｅｄａｌｇｏｒｉｔｈｍｈａｓ ｓｔｒｏｎｇｃｏｎｖｅｒｇｅｎｃｅｖｅｌｏｃｉｔｙ，ｓｔａｂｉｌｉ—ｚａｔｉｏｎａｎｄｃａｐａｃｉｔｙｏｆｓｐａｃｅｅｘｐｌｏｒａｔｉｏｎｏｎｓｏｌｖｉｎｇｈｉｇｈ－ｄｉｍｅｎｓｉｏｎａｌｃｏｍｐｌｅｘｏｐｔｉｍｉｚａｔｉｏｎｐｒｏｂｌｅｍｓ，ｃｏｍｐａｒｅｄｗｉｔｈｍｏｓｔｏｔｈｅｒａｐｐｒｏａｃｈｅｓ． ＫｅｙｗｏｒｄｓＨｉｇｈ－ｄｉｍｅｎｓｉｏｎａｌ，Ｄｙｎａｍｉｃｓｅｌｆ－ａｄａｐｔｉｖｅ，Ｈａｒｍｏｎｙｓｅａｒｃｈａｌｇｏｒｉｔｈｍ １引言 仿生群体智能优化算法以对其优化问题的数学模型复杂度要求较低、优化过程与初始值无关、搜索速度快等优势，成为求解大规模复杂问题的研究热点。目前典型仿生群体智能优化算法主要有遗传算法（ＧｅｎｅｔｉｃＡｌｇｏｒｉｔｈｍ：ＧＡ）、微粒子群算法ＰＳＯ、人工蜂群优化算法ＡＢＣ、蚁群算法Ａｃ０、模拟退火算法ＳＡ和差分进化算法ＤＥ等。仿生智能优化算法通过模仿生物的进化规则（ＧＡ，ＤＥ）或生物觅食规则（ＰＳ０、ＡＣ０、ＡＢＣ）等来进行优化问题求解，已经得到广泛应用。 和声搜索（ＨａｒｍｏｎｙＳｅａｒｃｈ：ＨＳ）算法是Ｇｅｅｍ和Ｋｉｍ等［１］提出的一种新型的仿生智能优化算法。ＨＳ算法模拟音乐家在音乐创作中不断调整各个乐器或音符，形成美妙动听的和声。同样地，在优化问题求解中，通过逐步调整各个解中的决策变量的值使其向全局最优解靠近。目前，该方法已在组合优化［２］、无约束函数优化［３］等问题中得到了广泛应用，Ｅｓ—ｍａｉｌｅＫｈｏｒｒｏｎ／４］将ＨＳ算法应用到热力和电力经济调度问题中，ＳｉｎｅｍＫｕｌｌｕｋ［５］应用ＨＳ算法训练神经网络，雍龙泉嘲采用ＨＳ算法求解绝对值方程。 ＨＳ算法在求解低维优化问题时，求解速度快，且稳定性好。但该算法是逐步淘汰和声库中最差和声向量，当问题的维数和复杂度较高时，往往需要多次迭代求解，因此非常容易早熟而陷入局部搜索，并且难以跳出局部搜索区域。针对该缺点，学者们提出了一些改进算法：改进的和声算法（ＩｍｐｒｏｖｅＨａｒｍｏｎｙＳｅａｒｃｈ，ＨＩＳ）［７｜、全局最优和声搜索算法（Ｇｌｏｂａｌ－ｂｅｓｔＨａｒｍｏｎｙＳｅａｒｃｈ，ＧＨＳ）［８］、自适应全局最优和声搜索算法（Ｓｅｌｆ－ａｄａｐｔｉｖｅＧｌｏｂａｌ－ｂｅｓｔＨａｒｍｏｎｙＳｅａｒｃｈ，ＳＧＨＳ）［９．１０３等。ＩＨＳ、ＧＨＳ和ＳＧＨＳ算法对ＨＳ算法从收敛性和搜索空间探索能力都有一定的提升，但对一些高维多模态复杂问题还是有一些不足，为此，本文在上述算法的基础上提出一种求解高维复杂优化问题的动态自适应和声搜索算法（ＤｙｎａｍｉｃＳｅｌｆ－ａｄａｐｔｉｖｅＨａｒｍｏｎｙＳｅａｒｃｈ，ＤＳＨＳ）。 到稿日期：２０１１－１２－０７返修日期：２０１２－０３－０５本文受国家高技术研究发展计划（８６３计划）（２００８ＡＡ０１Ａ３０３），国家自然科学基金（８１１６０１８３），宁夏自然科学基金项目（ＮＺｌｌｌ０５），宁夏卫生厅科研项目（２０１１０３３），陕西理工学院“汉水文化”省级重点学科课题（ＳＬＧＨｌ２２６）资助。 拓守恒（１９７８一），男，讲师，硕士，ＣＣＦ会员，主要研究方向为进化计算、人工智能、神经网络等；邓方安（１９６３一），男，博士，教授，主要研究方向为人工智能、粗糙集。 ?２４０? 万方数据
结合禁忌搜索的改进粒子群优化算法
———————————— 基金项目基金项目：：国家自然科学基金资助项目(61174133) 作者简介作者简介：：李勇刚(1974－)，男，副教授，主研方向：人工智能，智能搜索；邓艳青，硕士研究生 收稿日期收稿日期：：2011-09-20 修回修回日期日期日期：：2011-12-26 E-mail ：dengyanqing12345@https://www.360docs.net/doc/568184377.html, 结合禁忌搜索的改进粒子群优化算法 李勇刚李勇刚，，邓艳青 (中南大学信息科学与工程学院，长沙 410083) 摘 要：为提高粒子群优化算法的全局搜索和局部开采能力，提出一种结合禁忌搜索(TS)的改进粒子群优化算法。在搜索过程中，以线性递增的概率对最优粒子实施随机扰动，在全局搜索收敛到一定程度后，引入TS 算法进行局部搜索，使算法快速收敛到全局最优解。分析结果表明，该算法收敛精度较高，能有效克服早熟收敛问题。 关键词关键词：：粒子群优化算法；禁忌搜索；随机扰动；局部最优；收敛精度 Improved Particle Swarm Optimization Algorithm with Tabu Search LI Yong-gang, DENG Yan-qing (School of Information Science and Engineering, Central South University, Changsha 410083, China) 【Abstract 】To improve the global exploration and local exploitation ability of Particle Swarm Optimization(PSO) algorithm, an improved PSO algorithm integrated with Tabu Search(TS) is proposed. In PSO algorithm, optimal particle is perturbed with a linear increasing probability. When the global PSO algorithm converges to a certain degree, TS algorithm is used for local search of global optimum. Simulation results show that the convergence precision of the improved algorithm is very high, and can overcome premature convergence effectively. 【Key words 】Particle Swarm Optimization(PSO) algorithm; Tabu Search(TS); random perturbance; local optimum; convergence precision DOI: 10.3969/j.issn.1000-3428.2012.18.042 计 算 机 工 程 Computer Engineering 第38卷 第18期 V ol.38 No.18 2012年9月 September 2012 ·人工智能及识别技术人工智能及识别技术·· 文章编号文章编号：：1000—3428(2012)18—0155—03 文献标识码文献标识码：：A 中图分类号中图分类号：：TP301.6 1 概述 粒子群优化(Particle Swarm Optimization, PSO)算法[1] 是由于在人工生命研究中对鸟群社会行为模拟受到启发，提出的一种基于群智能的启发式搜索算法，具有思想简单、容易实现等特点，受到了广泛的关注。 PSO 算法容易早熟收敛，并且局部寻优能力较差。为此，许多学者提出各种改进策略，如文献[2-3]提出与遗传算法，差分进化算法等全局优化算法混合；文献[4-5]提出与单纯形法，模拟退火等局部优化算法混合。但大多数都只采用一种策略对其改进，要么与其他算法混合，要么加入变异操作[6]，同时，采用2种策略的混合算法较少。与局部算法相混合可以提高收敛速度，却加剧了陷入局部最优的概率。引入变异操作增强了全局搜索，但局部搜索能力却没有改善。因此，如果将局部搜索算法和变异操作同时混合到PSO 算法中，通过适当的调节，使其在优化机制、进程、搜索行为、操作上进行有机结合，可以发挥各自的优点，同时，提高PSO 算法的全局搜索和局部开采能力。 本文提出一种结合禁忌搜索(Tabu Search, TS)与加入随机扰动的PSO 算法的混合算法。利用PSO 算法的快速 性和随机性，全空间地搜索最优解可能存在的区域，使用禁忌搜索算法的记忆功能及爬山能力强的特点，解决算法陷入局部最优的问题。 2 粒子群优化算法粒子群优化算法及禁忌搜索算法及禁忌搜索算法 2.1 标准标准粒子群优化算法粒子群优化算法 PSO 算法先初始化一群随机粒子，然后通过迭代找到最优解。在每次迭代中，粒子通过跟踪2个“极值”更新自己。一个是粒子本身找到的最好解称个体极值pbest ，另—个是整个种群目前找到的最优解称全局极值gbest 。在找这2个最优值时，粒子根据如下的公式来更新自己的速度和位置： 11122()()k k k k k k v wv c r pbest x c r gbest x +=+?+? (1) 11k k k x x v ++=+ (2) 其中，w 为惯性权重；1r 、2r 取[0:1]之间的随机数；1c 、 2c 为加速常量。 2.2 禁忌搜索禁忌搜索算算法 禁忌搜索思想是一种模拟人思维的智能搜索算法[7]。它采用一种灵活的“记忆”技术，即对历史进行记录和选择，指导下一步的搜索方向。另外，为了尽可能不错过产生最优解的“移动”，TS 还采用“释放准则”的策略[8]。
粒子群算法常用改进方法总结
粒群算法的改进方法 一．与其他理论结合的改进 1.协同PSO(CPSO)算法 原理：提出了协同PSO的基本思想，采用沿不同分量划分子群体的原则，即用N个相互独立的微粒群分别在D维的目标搜索空间中的不同维度方向上进行搜索。 优点：用局部学习策略，比基本PSO算法更容易跳出局部极值，达到较高的收敛精度． 缺点：此算法在迭代初期，适应值下降缓慢，且其收敛速度与种群所含微粒数目成反比． 2.随机PSO(SPSO)算法 原理：其基本思想是利用停止进化的微粒来改善全局搜索能力。即将式(1)中的当前速度项V过去掉，从而使得速度本身失去记忆性，减弱了全局搜索能力．但这样也使得在进化的每一代均至少有一个微 粒出予处于微粒群的历史最好位置而停止进化．然后在搜索空问中重新随机产生新的微粒以代替停止微粒的进一步进化．这样就大大增强了全局搜索麓力． 3.有拉伸功能的PSO算法 原理：为了有效地求解多模态复杂函数优化问题，Parsopoulos等人将函数“Stretching”技术引入PSO算法，形成了一种高效的全局优化算法一“Stretching PSO”(SPSO)。它通过消除不理想的局部极小而保留全局最小来避免陷入局部极小．在检测到目标函数的局部极小
点后，立即对待优化的目标函数进行拉伸变换． 优点：．SPSO具有稳健的收敛性和良好的搜索能力，在很多高维度，多局部极值的函数最小值的求解问题上，搜索成功率显著提高。 缺点：计算耗时相应地也会增加． 4.耗散PSO(DPSO)算法 原理：谢晓峰等人根据耗散结构的自组织性，提出了一种耗散型PSO 算法．耗散PSO算法构造了一个开放的耗散系统．微粒在开放系统中的“飞行”不只依赖于历史经历，还要受环境的影响．附加噪声从外部环境中，持续为微粒群弓|入负熵，使得系统处于远离平衡态的状态．又由于群体中存在内在的非线性相互作用，从而使群体能够不断进化。 二．与其他算法结合的改进 1.混合PSO(HPSO)算法 原理：Angeline于1998年提出采用进化计算中的选择操作的改进型PSO模型，成为混合PSO(HPSO)。 优点：HPSO提高了收敛速度并保持了一定的全局收敛能力 缺点：在解决超高维、非线性、多局部极值的复杂性优化问题时有些力不从心。 2.杂交PSO算法 原理：借鉴遗传算法的思想，Angelinec最早提出了杂交PSO算法的概念，而Lovbjerg等人进一步将进化计算机制应用于PSO算法，给出了算法交叉的具体形式。