最优化 多目标优化 惩罚函数法 梯度法 牛顿法
2008-12-08 12:30
利用梯度法和牛顿法编程求最优解(matlab)
f(x)=x1^2+4*x2^2 x0=[2;2] e=0.002
利用梯度法和牛顿法编程求最优解
方法一.梯度法
function y=fun(x1,x2)
y=x1^2+4*x2^2; %定义fun.m函数
clc
syms x1 x2 d;
f=x1^2+4*x2^2;
fx1=diff(f,'x1');
fx2=diff(f,'x2');
x1=2;
x2=2;
for n=1:100
f0=subs(f);
f1=subs(fx1);
f2=subs(fx2);
if (double(sqrt(f1^2+f2^2)) <= 0.002)
n
vpa(x1)
vpa(x2)
vpa(f0)
break;
else
D=fun(x1-d*f1,x2-d*f2);
Dd=diff(D,'d');
dd=solve(Dd);
x1=x1-dd*f1;
x2=x2-dd*f2;
end
end %结果n=10,x1=0.2223e-3,x2=-0.1390e-4,f0=0.5021e-7. 方法二.牛顿法
clc
syms x1 x2 ;
f=x1^2+4*x2^2;
fx1=diff(f,'x1'); fx2=diff(f,'x2');
fx1x1=diff(fx1,'x1');fx1x2=diff(fx1,'x2');fx2x1=diff(fx2,'x1');fx2x2= diff(fx2,'x2');
x1=2;
x2=2;
for n=1:100
f0=subs(f);
f1=subs(fx1);
f2=subs(fx2);
if (double(sqrt(f1^2+f2^2)) <= 0.002)
n
x1=vpa(x1,4)
x2=vpa(x2,4)
f0=vpa(f0,4)
break;
else
X=[x1 x2]'-inv([fx1x1 fx1x2;fx2x1 fx2x2]) *[f1 f2]';
x1=X[1,1];
x2=X[2,1];
end
end %结果 n=2,x1=0,x2=0,f0=0.
惩罚函数法（内点法、外点法）求解约束优化问题最优值编程 matlab
1 用外点法求下列问题的最优解
方法一：外点牛顿法：
clc
m=zeros(1,50);a=zeros(1,50);b=zeros(1,50);f0=zeros(1,50);%a b为最优点坐标，f0为最优点函数值，f1 f2最优点梯度。
syms x1 x2 e; %e为罚因子。m(1)=1;c=10;a(1)=0;b(1)=0; %c为递增系数。赋初值。
f=x1^2+x2^2+e*(1-x1)^2;f0(1)=1;
fx1=diff(f,'x1');fx2=diff(f,'x2');fx1x1=diff(fx1,'x1');fx1x2=diff(fx1 ,'x2');fx2x1=diff(fx2,'x1');fx2x2=diff(fx2,'x2');%求偏导、海森元素。for
k=1:100 %外点法e迭代循环.
x1=a(k);x2=b(k);e=m(k);
for
n=1:100 %梯度法求最优值。
f1=subs(fx1); %求解梯度值和海森矩阵
f2=subs(fx2);
f11=subs(fx1x1);
f12=subs(fx1x2);
f21=subs(fx2x1);
f22=subs(fx2x2);
if(double(sqrt(f1^2+f2^2))<=0.001) %最优值收敛条件
a(k+1)=double(x1);b(k+1)=double(x2);f0(k+1)=double(subs(f ));
break;
else
X=[x1 x2]'-inv([f11 f12;f21 f22])*[f1 f2]';
x1=X(1,1);x2=X(2,1);
end
end
if(double(sqrt((a(k+1)-a(k))^2+(b(k+1)-b(k))^2))<=0.001)&&(double(abs ((f0(k+1)-f0(k))/f0(k)))<=0.001) %罚因子迭代收敛条件
a(k+1) %输出最优点坐标，罚因子迭代次数，最优值
b(k+1)
k
f0(k+1)
break;
else
m(k+1)=c*m(k);
end
end
方法二：外点梯度法：
clc
m=zeros(1,50);a=zeros(1,50);b=zeros(1,50);f0=zeros(1,50); syms d x1 x2 e;
m(1)=1;c=10;a(1)=0;b(1)=0; f=x1^2+x2^2+e*(1-x1)^2; f0(1)=1;
fx1=diff(f,'x1');
fx2=diff(f,'x2');
for k=1:100
x1=a(k);x2=b(k);e=m(k);
for n=1:100
f1=subs(fx1);
f2=subs(fx2);
if(double(sqrt(f1^2+f2^2))<=0.002)
a(k+1)=double(x1);b(k+1)=double(x2);f0(k+1)=double(subs(f)); break;
else
D=(x1-d*f1)^2+(x2-d*f2)^2+e*(1-(x1-d*f1))^2;
Dd=diff(D,'d'); dd=solve(Dd); x1=x1-dd*f1; x2=x2-dd*f2;
end
end
if(double(sqrt((a(k+1)-a(k))^2+(b(k+1)-b(k))^2))<=0.001)&&(double(abs ((f0(k+1)-f0(k))/f0(k)))<=0.001)
a(k+1)
b(k+1)
k
f0(k+1)
break;
else
m(k+1)=c*m(k);
end
end
2,用内点法求下列问题的最优解
内点牛顿法
clc
m=zeros(1,50);a=zeros(1,50);b=zeros(1,50);f0=zeros(1,50);
syms x1 x2 e;
m(1)=1;c=0.2;a(1)=2;b(1)=-3;
f=x1^2+x2^2-e*(1/(2*x1+x2-2)+1/(1-x1)); f0(1)=15;
fx1=diff(f,'x1');fx2=diff(f,'x2');fx1x1=diff(fx1,'x1');fx1x2=diff(fx1 ,'x2');fx2x1=diff(fx2,'x1');fx2x2=diff(fx2,'x2');
for k=1:100
x1=a(k);x2=b(k);e=m(k);
for n=1:100
f1=subs(fx1);
f2=subs(fx2);
f11=subs(fx1x1);
f12=subs(fx1x2);
f21=subs(fx2x1);
f22=subs(fx2x2);
if(double(sqrt(f1^2+f2^2))<=0.002)
a(k+1)=double(x1);b(k+1)=double(x2);f0(k+1)=double(subs(f ));
break;
else
X=[x1 x2]'-inv([f11 f12;f21 f22])*[f1 f2]';
x1=X(1,1);x2=X(2,1);
end
end
if(double(sqrt((a(k+1)-a(k))^2+(b(k+1)-b(k))^2))<=0.001)&&(double(abs ((f0(k+1)-f0(k))/f0(k)))<=0.001)
a(k+1)
b(k+1)
k
f0(k+1)
break;
else
m(k+1)=c*m(k);
end
end
2008-12-14 09:44
多目标约束优化问题编程（ matlab）
线性加权混合罚函数法牛顿法
clc
m=zeros(1,50);a=zeros(1,50);b=zeros(1,50);c=zeros(1,50);f0=zeros(1,50 );
syms d x1 x2 x3 e;
m(1)=1;p=0.2;a(1)=2;b(1)=2;c(1)=2;
f=0.36*((x1-1)^2+(x2-2)^2+(6-x1-x2-3)^2)+0.64*(x1^2+2*x2^2+3*(6-x1-x2 )^2)-e*(log(x1)+log(x2)+log(x3))+(1/e)*(x1+x2+x3-6)^2;
fx1=diff(f,'x1');fx2=diff(f,'x2');fx3=diff(f,'x3');fx1x1=diff(fx1,'x1 ');fx1x2=diff(fx1,'x2');fx1x3=diff(fx1,'x3');fx2x1=diff(fx2,'x1');fx2
x2=diff(fx2,'x2');fx2x3=diff(fx2,'x3');
fx3x1=diff(fx3,'x1');fx3x2=diff(fx3,'x2');fx3x3=diff(fx3,'x3');
for k=1:100
x1=a(k);x2=b(k);x3=c(k);e=m(k);
for n=1:100
f1=subs(fx1);f2=subs(fx2);f3=subs(fx3);
f11=subs(fx1x1);f12=subs(fx1x2);f13=subs(fx1x3);f21=subs(fx2x 1);f22=subs(fx2x2);f23=subs(fx2x3);f31=subs(fx3x1);f32=subs(fx3x2);f3 3=subs(fx3x3);
if(double(sqrt(f1^2+f2^2+f3^2))<=0.001)
a(k+1)=double(x1);b(k+1)=double(x2);c(k+1)=double(x3);f0( k+1)=double(subs(f));
break;
else
X=[x1 x2 x3]'-inv([f11 f12 f13;f21 f22 f23;f31 f32 f33])*[f1 f2 f3]';
x1=X(1,1);x2=X(2,1);x3=X(3,1);
end
end
if(double(sqrt((a(k+1)-a(k))^2+(b(k+1)-b(k))^2))<=0.001)
a(k+1)
b(k+1)
c(k+1)
k
f0(k+1)
break;
else
m(k+1)=p*m(k);
end
end
#技术
最优化课程设计
《最优化》课程设计 题目：牛顿法与阻尼牛顿法算法分析 学院: 数学与计算科学学院 专业：数学与应用数学 姓名学号：廖丽红 1000730105 欧艳 1000730107 骆宗元 1000730122 沈琼赞 1000730127 指导教师：李向利 日期：2012年11月08日
摘要 本文基于阻尼牛顿法在解决无约束最优化问题中的重要性，对其原理与算法予以讨论。论文主要是参阅大量数学分析和最优化理论方法，还有最优化方法课程以及一些学术资料，结合自己在平时学习中掌握的知识，并在指导老师的建议下，拓展叙述牛顿法和其改进方法——阻尼牛顿法的优缺点，同时针对阻尼牛顿法的基本思路和原理进行研究，其搜索方向为负梯度方向，改善了牛顿法的缺点，保证了下降方向。 关键词：无约束牛顿法下降方向阻尼牛顿法最优解
Abstract This thesis is based on the importance of the damping Newton's method to solve unconstrained optimization problems, we give the discussion about its principles and algorithms. We search a large number of mathematical analysis and optimization theory methods, optimization methods courses, as well as some academic information ,and at the same time combined with knowledge we have learning in peacetime and thanks to the instructor's advice, we also give an expanding narrative for the Newton's method and the improved method -- damping Newton method's advantages and disadvantages, and make a study of the basic ideas and principles for damping Newton method at the same time , we find that a negative gradient direction is for the search direction of the damping Newton method, this method improves the shortcomings of the Newton method which can ensure the descent direction. Keywords: unconstrained , Newton's method , descent direction , damping Newton's method ,optimal solution
外点惩罚罚函数
https://www.360docs.net/doc/5414415618.html,/kuai_su/youhuasheji/suanfayuanli/4.3.asp 约束优化算法——外点惩罚函数法 (一)基本原理 设原目标函数为，在不等式约束条件下用外点惩罚函数法求极小。外点法常采用如下形式的泛函： （6） 由此，外点法所构造的相应的惩罚函数形式为 （7） 式中，惩罚因子是一个递增的正值数列，即 惩罚项中： （8） 由此可见，当迭代点X位于可行域内满足约束条件时，惩罚项为零，这时不管 取多大，新目标函数就是原目标函数，亦即满足约束条件时不受“惩罚”，此时求式（7）的无约束极小，等价于求原目标函数在己满足全部约束条件下的极小；而 当点X位于可行域外不满足约束条件时，惩罚项为正值，惩罚函数的值较原目标函数的值增大了，这就构成对不满足约束条件时的一种“惩
罚”。 由式（7）可知,每一次对罚函数求无约束的极值，其结果将随该次所给定的罚因子值而异。在可行域外，离约束边界越近的地方，约束函数的值越大，的值也就越小，惩罚项的作用也就越弱，随着罚因子逐次调整增大，有增大惩罚项的趋势，但一般说来泛函值下降得更 快一些。此时尽管值增大，但泛函值亦趋于零，满足式（3）。最后当，泛函值和惩罚项值均趋近于零。外点法在寻优过程中，随着罚因子的逐次调整增大，即取 ，所得的最优点序列可以看作是以为参数的一条轨迹，当时，最优点点列 从可行域的外部一步一步地沿着这条轨迹接近可行域，所得的最优点列逼近原问题的约束最优点。这样，将原约束最优化问题转换成为序列无约束最优化问题。外点法就是因从可行域的外部逼近最优解而得名。 (二)迭代过程及算法框图 外点惩罚函数法的具体迭代步骤如下： (1)给定初始点，初始惩罚因子，迭代精度，递增系数c>1，维数n。置。 (2)以为初始点，用无约束最优化方法求解惩罚函数的极小点，即： （9）。 (3)检验是否满足迭代终止条件： 或（若） 或（若） 若不满足，则进行第(4)步;否则转第(5)步。
最优化方法,汇总
最优化方法结课作业 年级数学121班 学号201200144209 姓名李强
1、几种方法比较 无约束优化：不对定义域或值域做任何限制的情况下，求解目标函数的最小值。这是因为实际应用中，许多情形被抽象为函数形式后均为凸函数，对于凸函数来说局部最小值点即为全局最小值点，因此只要能求得这类函数的一个最小值点，该点一定为全局最小值。（直接法：又称数值方法，它只需计算目标函数驻点的函数数值，而不是求其倒数，如坐标轮换法，单纯型法等。间接法：又称解析法，是应用数学极值理论的解析方法。首先计算出目标函数的一阶或一阶、二阶导数，然后根据梯度及海赛矩阵提供的信息，构造何种算法，从而间接地求出目标函数的最优解，如牛顿法、最速下降法共轭梯度法及变尺度法。）在优化算法中保证整体收敛的重要方法就是线搜索法与信赖域法,这两种算法既相似又有所不同。根据不同的线搜索准则就延伸出不同的线搜索算法,譬如比较常见和经典的最速下降法,牛顿法,拟牛顿法以及共辄梯度法等。 一维搜索又称线性搜索(Line Search),就是指单变量函数的最优化,它是多变量函数最优化的基础,是求解无约束非线性规划问题的基本方法之一。 一维搜索技术既可独立的用于求解单变量最优化问题,同时又是求解多变量最优化问题常用的手段,虽然求解单变量最优化问题相对比较简单,但其中也贯穿了求解最优化问题的基本思想。由于一维搜索的使用频率较高,因此努力提高求解单变量问题算法的计算效率具有重要的实际意义。 在多变量函数的最优化中,迭代格式Xk+1=Xk+akdk其关键就是构造搜索方向dk和步长因子ak 设Φ(a)=f(xk+adk) 这样从凡出发,沿搜索方向dk,确定步长因子ak,使Φ(a)<Φ(0)的问题就是关于步长因子a 的一维搜索问题。其主要结构可作如下概括:首先确定包含问题最优解的搜索区间，然后采用某种分割技术或插值方法缩小这个区间，进行搜索求解。 一维搜索通常分为精确的和不精确的两类。如果求得ak使目标函数沿方向dk达到极小,即使得f (xk+akdk)=min f (xk+ adk) ( a>0)则称这样的一维搜索为最优一维搜索,或精确一维搜索,ak叫最优步长因子;如果选取ak使目标函数f得到可接受的下降量,即使得下降量f (xk)一f (xk+akdk)>0是用户可接受的,则称这样的一维搜索为近似一维搜索,或不精确一维搜索,或可接受一维搜索。由于在实际计算中,一般做不到精确的一维搜索,实际上也没有必要做到这一点,因为精确的一维搜索需要付出较高的代价,而对加速收敛作用不大,因此花费计算量
最优化方法之修正牛顿法matlab源码(含黄金分割法寻找步长)
revisenewton.m syms x1 x2 x3 xx; % f = x1*x1 +x2*x2 -x1*x2 -10*x1 -4*x2 + 60 ; % f = x1^2 + 2*x2^2 - 2*x1 *x2 -4*x1 ; f = 100 * (x1^2 - x2^2) + (x1 -1 )^2 ; hessen = jacobian(jacobian(f , [x1,x2]),[x1,x2]) ; gradd = jacobian(f , [x1,x2]) ; X0 = [0,0]' ; B = gradd' ; x1 = X0(1); x2 = X0(2); A = eval(gradd) ; % while sqrt( A(1)^2 + A(2)^2) >0.1 i=0; while norm(A) >0.1 i = i+1 ; fprintf('the number of iterations is: %d\n', i) if i>10 break; end B1 = inv(hessen)* B ; B2= eval(B1); % X1 = X0 - B2 % X0 = X1 ; f1= x1 + xx * B2(1); f2= x2 + xx* B2(2); % ff = norm(BB) ? syms x1 x2 ; fT=[subs(gradd(1),x1,f1),subs(gradd(2),x2,f2)]; ff = sqrt((fT(1))^2+(fT(2))^2); MinData = GoldData(ff,0,1,0.01); x1 = X0(1); x2 = X0(2); x1 = x1 + MinData * B2(1) x2 = x2 + MinData * B2(2) A = eval(gradd) End GoldData.m function MiniData = GoldData( f,x0,h0,eps) syms xx;
matlab最优化-牛顿法
实验报告日期：2013年6月2日 一、实验概述 【实验名称】：牛顿法 【实验性质】：验证性 【实验目的及要求】：配合课堂教学，培养学生动手能力，根据牛顿法求极小值的思想设计程序。 【基本原理】：牛顿法的迭代公式：)()(12)()1(k k k k x f x f x x ??-=-+，其中)(2k x f k ?是f(x)在k x 处的Hesse 矩阵。【实施环境】： MATLAB 7.0 二、实验内容 【项目内容及要求】 用牛顿法求解以下问题： min z=(x1-1)4+x22 三、实验过程 【实验操作步骤】 function [x1k]=newton(x1,j) %x1为初始点x1=[8,8]';j=1e-10; hs=inline('(x-1)^4+y^2');
ezcontour(hs,[-1010-1010]);hold on; syms x y f=(x-1)^4+y^2; grad1=jacobian(f,[x,y]);%求梯度 grad2=jacobian(grad1,[x,y]);%求Hesse矩阵 k=0; while1 grad1z=subs(subs(grad1,x,x1(1)),y,x1(2));%求梯度值 grad2z=subs(subs(grad2,x,x1(1)),y,x1(2));%求Hesse矩阵x2=x1-inv(grad2z)*(grad1z');%牛顿迭代公式 if norm(x1-x2) #include [设计]罚函数法MATLAB程序 一、进退法、0.618法、Powell法、罚函数法的Matlab程序设计罚函数法(通用) function y=ff(x,k) y=-17.86*0.42*x(1)/(0.8+0.42*x(1))*(1-exp(- 2*(0.8+0.42*x(1))/3))*exp(-1.6)*x(2)-22. 99*x(1)/(0.8+x(1))*(1-exp(-2*(0.8+x(1))/3))*x(3)+k*(x(2)- (1.22*10^2*(9517.8*exp(-1 .6-2*0.42*x(1)/3)*x(2)+19035.6*exp(- 2*x(1)/3)*x(3)))/(1.22*10^2+9517.8*exp(-1.6-2 *0.42*x(1)/3)*x(2)+19035.6*exp(-2*x(1)/3)*x(3)))^2+k*(x(3)-exp(-0.8-2*x(1)/3)*x(3) -exp(-2.4-2*0.42*x(1)/3)*x(2))^2; % 主函数，参数包括未知数的个数n，惩罚因子q，惩罚因子增长系数k，初值x0，以及允许的误差r function G=FHS(x0,q,k,n,r,h,a) l=1; while (l) x=powell(x0,n,q,r(1),h,a); %调用powell函数 g(1)=ff1(x),g(2)=ff2(x) . . . g(p)=ffp(x); %调用不等式约束函数，将其值 %存入数组g h(1)=hh1(x),h(2)=hh2(x) . . . h(t)=hht(x); %调用等式约束函数，将其值%存入数组h for i=1:p 牛顿法 迭代公式：(1)2()1()[()]()k k k k x x f x f x +-=-?? Matlab 代码： function [x1,k] =newton(x1,eps) hs=inline('(x-1)^4+y^2'); 写入函数 ezcontour(hs,[-10 10 -10 10]); 建立坐标系 hold on; 显示图像 syms x y 定义变量 f=(x-1)^4+y^2; 定义函数 grad1=jacobian(f,[x,y]); 求f 的一阶梯度 grad2=jacobian(grad1,[x,y]); 求f 的二阶梯度 k=0; 迭代初始值 while 1 循环 grad1z=subs(subs(grad1,x,x1(1)),y,x1(2)); 给f 一阶梯度赋初值 grad2z=subs(subs(grad2,x,x1(1)),y,x1(2)); 给f 二阶梯度赋初值 x2=x1-inv(grad2z)*(grad1z)'; 核心迭代公式 if norm(x1-x2) end end end 优点：在极小点附近收敛快 缺点：但是要计算目标函数的hesse 矩阵 最速下降法 1. ：选取初始点xo ，给定误差 2. 计算一阶梯度。若一阶梯度小于误差，停止迭代，输出 3. 取()()()k k p f x =? 4. 10 t ()(), 1.min k k k k k k k k k k t f x t p f x tp x x t p k k +≥+=+=+=+进行一维搜索，求，使得令转第二步 例题： 求min (x-2)^4+(x-2*y)^2.初始值（0,3）误差为0.1 (1)编写一个目标函数，存为f.m function z = f( x,y ) z=(x-2.0)^4+(x-2.0*y)^2; end (2)分别关于x 和y 求出一阶梯度，分别存为fx.m 和fy.m function z = fx( x,y ) z=2.0*x-4.0*y+4.0*(x-2.0)^3; end 和 function z = fy( x,y ) 一、内点法 1. 基本原理 内点法的特点是将构造的新的无约束目标函数——惩罚函数定义在可行域内，并在可行域内求惩罚函数的极值点，即求解无约束问题时的探索点总是在可行域内部，这样，在求解内点惩罚函数的序列无约束优化问题的过程中，所求得的系列无约束优化问题的解总是可行解，从而在可行域内部逐步逼近原约束优化问题的最优解。。 内点法是求解不等式约束最优化问题的一种十分有效方法，但不能处理等式约束。因为构造的内点惩罚函数是定义在可行域内的函数，而等式约束优化问题不存在可行域空间，因此，内点法不能用来求解等式约束优化问题。 对于目标函数为 min ()f X s.t. ()0u g X ≤ （u=1,2,3,…m ） 的最优化问题，利用内点法进行求解时，构造惩罚函数的一般表达式为 ()() 11 (,)()()m k k u u X r f X r g X ?==-∑ 或者 () () () []1 1 (,)()ln () ()ln ()m m k k k u u u u X r f X r g X f X r g X ?===+=--∑∑ 而对于()f X 受约束于()0(1,2, ,)u g X u m ≥=的最优化问题，其惩罚函数的一般形式为 () () 11 (,)()()m k k u u X r f X r g X ?==+∑ 或 ()() []1 (,)()ln ()m k k u u X r f X r g X ?==-∑ 式中，() k r -----惩罚因子，是递减的正数序列，即 ()()()()()01210k k r r r r r +>>>>>> > ()lim 0k k r →∞ = 通常取() 1.0,0.1,0.01,0.001, k r =。 上述惩罚函数表达式的右边第二项，称为惩罚项，有时还称为障碍项。 说明： 当迭代点在可行域内部时，有()0u g X ≤（u =1，2，3，4，…m ），而() 0k r >，则惩罚 项恒为正值，当设计点由可行域内部向约束边界移动时，惩罚项的值要急剧增大并趋向无穷大，于是惩罚函数的值也急剧增大直至无穷大，起到惩罚的作用，使其在迭代过程中始终不 惩罚函数法简介 罚函数法 它将有约束最优化问题转化为求解无约束最优化问题： 其中M为足够大的正数，起"惩罚"作用，称之为罚因子，F(x,M)称为罚函数。 定理 对于某个确定的正数M,若罚函数F(x,M)的最优解x*满足有约束最优化问题的约束条件，则x*是该问题的最优解。 序列无约束最小化方法 罚函数法在理论上是可行的，在实际计算中的缺点是罚因子M的取值难于把握，太小起不到惩罚作用；太大则由于误差的影响会导致错误。 改进 这些缺点，可根据上述定理加以改进，先取较小的正数M，求出F(x,M)的最优解x*。 当x*不满足有约束最优化问题的约束条件时，放大M(例如乘以10)重复进行，直到x*满足有约束最优化问题的约束条件时为止。 种类 传统的罚函数法一般分为外部罚函数法和内部罚函数法。外部罚函数法是从非可行解出发逐渐移动到可行区域的方法。内部罚函数法也称为障碍罚函数法，这种方法是在可行域内部进行搜索，约束边界起到类似围墙的作用，如果当前解远离约束边界时，则罚函数值是非常小的，否则罚函数值接近无穷大的方法。 由于进化计算中通常采用外部罚函数法，因此本文主要介绍外部罚函数法。在进化计算中，研究者选择外部罚函数法的原因主要是该方法不需要提供初始可行解。需要提供初始可行解则是内部罚函数法的主要缺点。由于进化算法应用到实际问题中可能存在搜索可行解就是NP难问题，因此这个缺点是非常致命的。 外部罚函数的一般形式为 B(x)=f(x)+[∑riGi+∑cjHj] 其中B(x)是优化过程中新的目标函数，Gi和Hj分别是约束条件gi(x)和hj(x)的函数，ri和cj是常数，称为罚因子。 Gi和Hj最常见的形式是 Gi=max[0,gi(x)]a Hj=|hj(x)|b 其中a和b一般是1或者2。 理想的情况下，罚因子应该尽量小，但是如果罚因子低于最小值时可能会产生非可行解是最优解的情况（称为最小罚因子规则）。这是由于如果罚因子过大或者过小都会对进化算法求解问题产生困难。 如果罚因子很大并且最优解在可行域边界，进化算法将很快被推进到可行域以内，这将不能返回到非可行域的边界。在搜索过程开始的时候，一个较大的罚因子将会阻碍非可行域的搜索。如果在搜索空间中可行域是几个非连通的区域，则进化算法可能会仅移动在其中一个区域搜索，这样将很难搜索到其他区域，除非这些区域非常接近。另一方面，如果罚因子太小，这样相对于目标函数罚函数项是可以忽略的，则大量的搜索时间将花费在非可行域。由于很多问题的最优解都在可行域的边界，大量时间在非可行域进行搜索对找到最优解是没有多大作用的，这对于进化算法来说非常致命的。 最小罚因子规则概念是很简单的，但是实现起来却是非常的困难。对于一个 2008-12-08 12:30 利用梯度法和牛顿法编程求最优解(matlab) f(x)=x1^2+4*x2^2 x0=[2;2] e=0.002 利用梯度法和牛顿法编程求最优解 方法一.梯度法 function y=fun(x1,x2) y=x1^2+4*x2^2; %定义fun.m函数 clc syms x1 x2 d; f=x1^2+4*x2^2; fx1=diff(f,'x1'); fx2=diff(f,'x2'); x1=2; x2=2; for n=1:100 f0=subs(f); f1=subs(fx1); f2=subs(fx2); if (double(sqrt(f1^2+f2^2)) <= 0.002) n vpa(x1) vpa(x2) vpa(f0) break; else D=fun(x1-d*f1,x2-d*f2); Dd=diff(D,'d'); dd=solve(Dd); x1=x1-dd*f1; x2=x2-dd*f2; end end %结果n=10,x1=0.2223e-3,x2=-0.1390e-4,f0=0.5021e-7. 方法二.牛顿法 clc syms x1 x2 ; f=x1^2+4*x2^2; fx1=diff(f,'x1'); fx2=diff(f,'x2'); fx1x1=diff(fx1,'x1');fx1x2=diff(fx1,'x2');fx2x1=diff(fx2,'x1');fx2x2= diff(fx2,'x2'); x1=2; x2=2; for n=1:100 f0=subs(f); f1=subs(fx1); f2=subs(fx2); if (double(sqrt(f1^2+f2^2)) <= 0.002) n x1=vpa(x1,4) x2=vpa(x2,4) f0=vpa(f0,4) break; else X=[x1 x2]'-inv([fx1x1 fx1x2;fx2x1 fx2x2]) *[f1 f2]'; x1=X[1,1]; x2=X[2,1]; end end %结果 n=2,x1=0,x2=0,f0=0. 惩罚函数法（内点法、外点法）求解约束优化问题最优值编程 matlab 1 用外点法求下列问题的最优解 方法一：外点牛顿法： clc m=zeros(1,50);a=zeros(1,50);b=zeros(1,50);f0=zeros(1,50);%a b为最优点坐标，f0为最优点函数值，f1 f2最优点梯度。 syms x1 x2 e; %e为罚因子。m(1)=1;c=10;a(1)=0;b(1)=0; %c为递增系数。赋初值。 f=x1^2+x2^2+e*(1-x1)^2;f0(1)=1; fx1=diff(f,'x1');fx2=diff(f,'x2');fx1x1=diff(fx1,'x1');fx1x2=diff(fx1 ,'x2');fx2x1=diff(fx2,'x1');fx2x2=diff(fx2,'x2');%求偏导、海森元素。for k=1:100 %外点法e迭代循环. x1=a(k);x2=b(k);e=m(k); for 混合型惩罚函数法：混合法是综合外点法和内点法的优点而建立的一种惩罚函数法。 混合型惩罚函数法有两种形式：内点形式的混合型惩罚函数法和外点型惩罚函数法。 （一） 内点形式的混合型惩罚函数法 不等式约束部分按内点型惩罚函数法形式处理，其惩罚函数形式为 212121=1 1 [()]()p m k k k k v u v u r h X g X ?=+∑∑（X ，r ,r ）=f(X)+r 式中，惩罚因子12,k k r r 应分别为递减和递增的正值数列，为了统一用一个内点惩罚因子，可将上式写成如下形式 ()2 11 11(,)()[()]()p m k k v u v u X r f x r h X g X ?===++ ∑ 式中()k r 和内点法一样，为一个递减的正值数列，即 (1)(2)()()......0min 0 k k r r r r >>>>= 内点形式的混合型惩罚函数法的迭代过程及算法框图均与内点惩罚函数法相同。初始点(0)X 必须是严格满足诸不等式约束条件的内点，初始惩罚因子()k r 、抵减系数e 均应参照内点惩罚函数法进行选取。 （二） 外点形式的混合型惩罚函数法 不等式约束部分按外点惩罚函数法形式处理，其惩罚函数形式为 ()221 1 (,)(){[min{0,()}][()]} m P k u v u V X r f X g X h X ?===++∑∑式中，惩罚因子()k r 和外点法一样，为一个递增的正值数列，即 (1)(2)0..... min k r r r →∞ <<<<<=+∞ （k ） 外点形式的混合型惩罚函数法的迭代过程及算法框图均与外点惩罚函数法相同。初始点(0)X 可在n R 空间任选，初始惩罚因子(1)r 、递增系数c 均与参照外点惩罚函数法进行选取。 [1]胡洪涛，NGW 行星回转减速器可靠性优化设计[D].合肥：合肥工业大学，1996. [2]王述彦、马鹏飞，2K-H 型行星齿轮系传动的优化设计[J].建筑机械化，2002.5. [3]陈秀宁，机械优化设计[M].浙江：浙江大学出版社，1989. [4]陈举华、朱国强，行星齿轮传动的可靠性优化设计[M].北京：化学 [5]梁小光，行星齿轮减速器优化设计的数学模型[J].山西机械，2003. [6]龚小平，行星齿轮传动的模糊可靠性优化设计[J].行星齿轮传动 实验报告 日期：2013年6月2日 一、 实验概述 【实验名称】：牛顿法 【实验性质】：验证性 【实验目的及要求】：配合课堂教学，培养学生动手能力，根据牛顿法求极小值的思想设计程序。 【基本原理】：牛顿法的迭代公式：)()(12)()1(k k k k x f x f x x ??-=-+， 其中)(2k x f k ?是f(x)在k x 处的Hesse 矩阵。 【实施环境】： MATLAB 7.0 二、实验内容 【项目内容及要求】 用牛顿法求解以下问题： min z=(x1-1)4+x22 三、实验过程 【实验操作步骤】 function [x1 k]=newton(x1,j) %x1为初始点 x1=[8,8]';j=1e-10; hs=inline('(x-1)^4+y^2'); ezcontour(hs,[-10 10 -10 10]);hold on; syms x y f=(x-1)^4+y^2; grad1=jacobian(f,[x,y]);%求梯度 grad2=jacobian(grad1,[x,y]);%求Hesse矩阵 k=0; while 1 grad1z=subs(subs(grad1,x,x1(1)),y,x1(2));%求梯度值 grad2z=subs(subs(grad2,x,x1(1)),y,x1(2));%求Hesse矩阵 x2=x1-inv(grad2z)*(grad1z');%牛顿迭代公式 if norm(x1-x2) 2013-2014 (1) 专业课程实践论文 内点法 一、算法理论 内点法总是从可行域的内点出发，并保持在可行域内进行搜索，因此这种 方法适用于只有不等式约束条件的问题 内点法据图计算步骤： 1．给定初()D x int 0∈，允许误差0?ε，初始参数0r 1?缩小系数1k ），1,0（=∈β； 2．以）1-k （x 为初始点，求解问题 Min )()(f x B r x k + S.t. D int x ∈ 3．若ε?)()(k k x B r 则停，得近似解)(k x ；否则令1,r 1k +==+k k r k β回2. clc m=zeros(1,50); a=zeros(1,50); b=zeros(1,50); f0=zeros(1,50); syms x1 x2 e; m(1)=1;c=0.2;a(1)=2;b(1)=-3; f=x1^2+x2^2-e*(1/(2*x1+x2-2)+1/(1-x1)); f0(1)=15; fx1=diff(f,'x1'); fx2=diff(f,'x2'); fx1x1=diff(fx1,'x1'); fx1x2=diff(fx1,'x2'); fx2x1=diff(fx2,'x1'); fx2x2=diff(fx2,'x2'); for k=1:100 x1=a(k);x2=b(k);e=m(k); for n=1:100 f1=subs(fx1); f2=subs(fx2); f11=subs(fx1x1); f12=subs(fx1x2); f21=subs(fx2x1); f22=subs(fx2x2); if(double(sqrt(f1^2+f2^2))<=0.002) a(k+1)=double(x1);b(k+1)=double(x2);f0(k+1)=double(subs(f)); break; else X=[x1 x2]'-inv([f11 f12;f21 f22])*[f1 f2]'; x1=X(1,1);x2=X(2,1); end end if(double(sqrt((a(k+1)-a(k))^2+(b(k+1)-b(k))^2))<=0.001)&&(double( abs((f0(k+1)-f0(k))/f0(k)))<=0.001) a(k+1) b(k+1) k #include "stdio.h" #include "stdlib.h" #include "math.h" const int kkg=3; double r0; double f(double x[]) {double ff; ff=pow((x[0]-8),2)+pow((x[1]-8),2); return(ff); } /*约束条件子程序*/ void strain(double x[],double g[]) {g[0]=x[0]-1; g[1]=x[1]-1; g[2]=11-x[0]-x[1]; } /*惩罚函数子程序*/ double objf(double p[]) {int i; double ff,sg,*g; g=(double *)malloc(kkg*sizeof(double)); sg=0; strain(p,g); for(i=0;i for(i=0;i 《最优化方法》复习题 一、 简述题 1、怎样判断一个函数是否为凸函数. （例如: 判断函数212 2 212151022)(x x x x x x x f +-++=是否为凸函数） 2、写出几种迭代的收敛条件. 3、熟练掌握利用单纯形表求解线性规划问题的方法（包括大M 法及二阶段法）. 见书本61页(利用单纯形表求解); 69页例题 (利用大M 法求解、二阶段法求解); 4、简述牛顿法和拟牛顿法的优缺点. 简述共轭梯度法的基本思想. 写出Goldstein 、Wolfe 非精确一维线性搜索的公式。 5、叙述常用优化算法的迭代公式． （1）0.618法的迭代公式：(1)(), ().k k k k k k k k a b a a b a λτμτ=+--??=+-? （2）Fibonacci 法的迭代公式：111(),(1,2,,1)() n k k k k k n k n k k k k k n k F a b a F k n F a b a F λμ---+--+? =+-?? =-? ?=+-?? L ． （3）Newton 一维搜索法的迭代公式： 1 1k k k k x x G g -+=-． （4）推导最速下降法用于问题1min ()2 T T f x x Gx b x c = ++的迭代公式： 1()T k k k k k T k k k g g x x f x g G gx +=-? （5）Newton 法的迭代公式：211[()]()k k k k x x f x f x -+=-??． （6）共轭方向法用于问题1min ()2 T T f x x Qx b x c = ++的迭代公式： 1()T k k k k k T k k f x d x x d d Qd +?=-． 二、计算题 双折线法练习题 课本135页 例3.9.1 FR 共轭梯度法例题：课本150页 例4.3.5 二次规划有效集：课本213页例6.3.2, 罚函数法 本章介绍一类求解约束优化问题的方法----惩 罚函数法。这类方法是求解无约束优化问题的最 早的一类方法，也是一类比较有效的方法。 罚函数法的基本思想就是，借助罚函数把 约束问题转化为无约束问题，进而用无约束最优 根据我们利用的罚函数的类型，分为 外点罚函数法的算法思想 0, i=1, 2, …, m = 0, j=1, 2, …, l n上的连续函数。 由于上述问题存在约束，而且约束可能 是非线性的，因此在求解是必须同时照顾到 满足约束条件这两个 = 0, j=1, 2, …, l 方面。实现这一点的途径是有目标函数和约 束函数组成辅助函数，把原来的约束问题转 化为极小化辅助函数的无约束问题。 x ()(8.1) 的最优解必须使得h j (x )接近的第二项将是很大的正数，现行点必不是极小点。因此可见，求解问题(8.2)的近似解。 (8.2) 转化为无约束问题 0, i=1, 2, …, m 不等式约束问题的辅助函数与等式约束的辅助函数情形不同，但构造辅助函数的基本思在可行点辅助函数等于原来的目标函数值，在不可行点，辅助函数值等于原来的目标函数值加上一个很大的正数。}2 ()(8.3) i g x ??? }0,.()0 i g x ?={}max 0,.()() i i g x g x ?=?的最优解必须使得g i (x )大于 的第二项将是很大的正数，现行点必不是极小点。因此可见，求解问的近似解。 (8.4) 转化为无约束问题 0, i=1, 2, …, m = 0, j=1, 2, …, l 我们把上述思想加以推广，对于一般问(8.5) ()) (8.6) j h x 是满足以下条件的连续函数 一、 填空题 1.若()()??? ? ??+???? ?????? ??=212121 312112)(x x x x x x x f ， 则=?)(x f ，=?)(2x f . 2.设f 连续可微且0)(≠?x f ，若向量d 满足 ，则它是f 在x 处的一个下降方向。 3.向量T )3,2,1(关于3阶单位方阵的所有线性无关的共轭向量有 . 4. 设R R f n →:二次可微，则f 在x 处的牛顿方向为 . 5.举出一个具有二次终止性的无约束二次规划算法： . 6.以下约束优化问题： )(01)(..)(min 212121 ≥-==+-==x x x g x x x h t s x x f 的K-K-T 条件为： . 7.以下约束优化问题： 1 ..)(min 212 2 21=++=x x t s x x x f 的外点罚函数为（取罚参数为μ） . 二、证明题（7分+8分） 1.设1,2,1,:m i R R g n i =→和m m i R R h n i ,1,:1+=→都是线性函数，证明下面的约束问题： } ,,1{, 0)(},1{, 0)(..)(min 1112 m m E j x h m I i x g t s x x f j i n k k +=∈==∈≥=∑= 是凸规划问题。 2.设R R f →2:连续可微，n i R a ∈，R h i ∈，m i ,2,1=，考察如下的约束条件问题： } ,1{,0} 2,1{,0..) (min 11m m E i b x a m I i b x a t s x f i T i i T i +=∈=-=∈≥- 设d 是问题 1 ||||,0,0..)(min ≤∈=∈≥?d E i d a I i d a t s d x f T i T i T 的解，求证：d 是f 在x 处的一个可行方向。 三、计算题（每小题12分） 1.取初始点T x )1,1()0(=.采用精确线性搜索的最速下降法求解下面的无约束优化问题（迭代2步）： 2 2 212)(min x x x f += 2.采用精确搜索的BFGS 算法求解下面的无约束问题： 212 2212 1)(min x x x x x f -+= 3.用有效集法求解下面的二次规划问题： . 0,001..42)(min 21212 12 221≥≥≥+----+=x x x x t s x x x x x f 4.用可行方向算法（Zoutendijk 算法或Frank Wolfe 算法）求解下面的问题（初值设为)0,0() 0(=x ,计算到)2(x 即可)： . 0,033..22 1)(min 21211222121≥≥≤+-+-= x x x x t s x x x x x x f 201-2014 (1) 专业课程实践论文 内点法 内点法总是从可行域的内点出发，并保持在可行域内进行搜索，因此这种方法适用于只有不等式约束条件的问题 内点法据图计算步骤： 1．给定初()D x int 0∈，允许误差0?ε，初始参数0r 1?缩小系数1k ），1,0（=∈β； 2．以）1-k （x 为初始点，求解问题 Min )()(f x B r x k + S.t. D int x ∈ 3．若ε?)()(k k x B r 则停，得近似解)(k x ；否则令1,r 1k +==+k k r k β回2. 求满足)0()0(x ,.....,2,1,0)(g 的m i x i =< ；；ρρ??00k 从)(k x 出发，求 ))(()(f ),(min ),(1)1(x g x x G x G i m i i k ∑=++==φρρρ 0~)}({max )1(+k i i x g )1()()1(0)()(x ++?-+k k k k x x x a )(f ~)(f )()1(k k x x + 1~ερ 1(k)1)(k ||~ x -x ||ε+k =+?1k ；ραρ 改变约束极值方法 输出结果 停 clc m=zeros(1,50); a=zeros(1,50); b=zeros(1,50); f0=zeros(1,50); syms x1 x2 e; m(1)=1;c=0.2;a(1)=2;b(1)=-3; f=x1^2+x2^2-e*(1/(2*x1+x2-2)+1/(1-x1)); f0(1)=15; fx1=diff(f,'x1'); fx2=diff(f,'x2'); fx1x1=diff(fx1,'x1'); fx1x2=diff(fx1,'x2'); fx2x1=diff(fx2,'x1'); fx2x2=diff(fx2,'x2'); for k=1:100 x1=a(k);x2=b(k);e=m(k); for n=1:100 f1=subs(fx1); f2=subs(fx2); f11=subs(fx1x1); f12=subs(fx1x2); f21=subs(fx2x1); f22=subs(fx2x2); if(double(sqrt(f1^2+f2^2))<=0.002) a(k+1)=double(x1);b(k+1)=double(x2);f0(k+1)=double(subs(f)); break; else X=[x1 x2]'-inv([f11 f12;f21 f22])*[f1 f2]'; x1=X(1,1);x2=X(2,1); end end if(double(sqrt((a(k+1)-a(k))^2+(b(k+1)-b(k))^2))<=0.001)&&(double(a bs((f0(k+1)-f0(k))/f0(k)))<=0.001) a(k+1) b(k+1) k f0(k+1) break;机械优化设计惩罚函数内点法
[设计]罚函数法MATLAB程序
最优化牛顿法最速下降法共轭梯度法matlab代码
内点法的基本原理以及举例计算
惩罚函数法简介
最优化 多目标优化 惩罚函数法 梯度法 牛顿法
混合惩罚函数法
matlab最优化-牛顿法
惩罚函数的内点法
内点惩罚函数法子程序
《最优化方法》复习题
罚函数法
最优化方法(试题+答案)
惩罚函数的内点法