实用最优化试卷及答案-2014

《实用最优化方法》考试试题

2014级研究生用

1.简要总结《实用最优化方法》这门课主要内容（限1500字内）。

2.解释名词（在下列7个名词中，任选5个）：

（1）设计变量；（2）约束条件；(3)梯度；(4)凸函数；

(5)牛顿方向；(6)单纯形；(7)松驰变量。

3.简述无约束目标函数极值点存在的条件

4.简述序列消去原理和黄金分割法（0.618法）的计算步骤。

5.变尺度法是在什么方法的基础上改进而形成的，有何特点？

6.简述二次（抛物线）差值的计算步骤。

7.分别用惩罚函数法的内点法和混合法编程计算：

min f(X)=x12+x22

s.t. g(X)=-x1-x2+1≤0

计算精度：ε=0.0001

优化设计答案

1.总结这门课的主要内容：

总的来说这门课介绍了最优化的理论和计算方法。详细的说，这门课是从“设计问题—数学模型—最优结果”这个思路来阐述的。

当然，学习一门新的知识必先从基础开始，这门课也不例外，书的前两章讲的是优化问题建立的基础和解决优化的数学基础知识，包括最优化问题的算法及分类，二次型，方向导数，极值的判定条件，还有凸规划等问题。所有的这些为下面具体的计算方法的学习打定了基础。

最优化数学模型的建立包括设计变量的选择，目标函数的确定，约束条件的应用（例如，利用边界条件可以确定设计变量的取值范围，还有强度、刚度等一些性态约束）。只有建立了相关的数学模型，才能有可能利用相关的算法寻优。下面就具体的优化方法和寻优过程谈一下自己的收获。

一维搜索法：对分法，牛顿切线法，黄金分割法，和插值法。所有的这些方法搜索以确定搜索区间，以迭代算法)()(

k

k s

k

+为基

(

(k

)

)1

=

+

xα

x

础，利用相关的计算算法及步骤求出最优值。

多维无约束最优化方法：最速下降法，牛顿法，共轭方向法，变尺度法，坐标轮换法，单纯形法。归纳起来分为两类：一类是仅用计算函数值所得到的信息来确定搜索方向，通常称它为直接搜索法，简称直接法，另一类需要计算函数的一阶或二阶导数值所得到的信息来确定搜索方向，这一类方法称为间接法。直接法不涉及导数和Hesse 矩阵，适应性强，但收敛速度一般较慢；间接法收敛速度一般较快，

但需要计算梯度，甚至需要计算Hesse 矩阵。一般的经验是,在可能求得目标函数导数的情况下还是尽可能使用间接方法；相反，在不可能求得目标函数的导数或根本不存在导数的情况下，应该使用直接法。

常用的约束方法：外点罚函数法，内点罚函数法，混合罚函数法，及复合形法。其数学模型为：

??

?=≥0

)(0)(..)(min X h X g t s X f j i 约束方法也可分为直接法和间接法两大类。间接法的基本思想是将约束优化问题首先转换为一系列的无约束优化问题，然后利用无约束优化方法来求解，逐渐逼近约束问题的最优解。这些算法一般较复杂，但由于他们可以采用计算效率高、稳定好的无约束优化方法，故可用于求解高维的优化问题。直接法的基本思想是构造一迭代过程，使每次迭代点都在可行域D 中，且一步一步的降低函数值，直到求得最优解。这类方法很多，如约束坐标轮换法，复合形法等。这类方法一般是算法简单，对目标函数和约束函数无特殊要求；但计算量大，需用机时较多，不适用维数较高的问题，而且一般用于求解只含不等式约束的优化问题。

线性规划及对偶问题：线性规划问题的标准形式：

??

?≥==0

..)(min X b AX t s CX X f

任意的线性规划模型都可以转化为标准形式。单纯性法是求解线性规划问题的迭代算法。其基本思路是：从可行域中某个基可行解开始，转换到另一个基可行解，直到目标函数达到最优时，基可行解即

为最优解。

多目标优化：其优化问题的目标函数通常表示为：

??

?=≥-,

0)(,0)(..),(min X h X g t s X F V 其实质是向量的最优化。在解法中比较重要和常见的事评价函数法。评价函数是借助于构造某种适当的评价函数，将多目标规划问题转化为单目标规划问题来求解。其一般步骤是：首先构造适当的评价函数h(F(X)),然后解单目标规划问题))((min X F h D

X ∈。最后对得到的解

X 进行评价，必要时加以修正。

现代优化方法发展也较快，像模拟退火法，遗传算法，禁忌算法等，这些已逐步在相关领域应用开来。 2.解释名词

⑴设计变量：在优化过程中经过逐步调整，最后达到最优值得独立参数。

⑵约束条件：变量间本身应该遵循的限制条件的数学表达式成为约束条件或约束函数。

⑶梯度：以)(x f 的n 个偏导数为为分量的向量称为)(x f 在x 处的梯度，记为T

n x x f x x f x x f x f ])

()()()(,)()([

)(21??????=? ⑷凸函数：设函数)(x f 定义在凸集C 上，其中T n x x x X ],[21 =，若有

)()1()())()1((2121x f x f x f x f λλλλ-+≤-+，则称为)(x f 凸函数。

⑹单纯性：在E n 空间中，由K 个顶点构成的凸多面体（其中n=k+1）。 3.无约束目标函数极值点存在的条件。

极值存在的必要条件：各一阶偏导数等于零；

极值存在的充分条件：海赛矩阵H(X (k))正定。 4.序列消去原理和黄金分割法（0.618法）的计算步骤

1. 序列消去原理：在探索区间内，选取计算点计算函数值并进行比较，消去部分区间。以缩短搜索区间，直至最小点存在范围达到允许误差范围为止。

2. 黄金分割法步骤：

1） 给定初始区间[]13αα。精度.ελ值。 2） 计算：

11331()ααλαα=--

111()f f α=

12131()ααλαα=+- 122()f f α=

3） 比较1f 2f 的大小，进行区间消去。

若12f f ≥，消去[]111αα， 111αα?， 1211αα?， 21f f = 计算 12131()ααλαα=+- 122()f f α=

若21f f <，消去[]123αα， 123αα?，1112αα?， 12f f = 计算 11331()ααλαα=-- 111()f f α=

4） 终止判断：检查区间及函数值是否达到最小，满足，则结束。比较比较1f 2f 的大小， 12f f ≥ 则 *12αα=，*2()f f α= 21f f < 则 *11αα=，*1()f f α=

否则，转至3）。

5.变尺度法的形成基础及其特点。

1．变尺度法的引出：变尺度发是在牛顿法的基础上发展起来的，它和梯度法亦有联系。比较他们的迭代公式： 梯度法：)()()()1(k k k x x x λ-=+

牛顿法：)()(1)()()1(k k k k x y H x x -+-=

梯度法的搜索方向为-g(x (k))，只需计算一阶偏导数，计算工作量小；但当迭代点逼近极小点时，函数收敛很慢。牛顿法计算量大，在极小点附近，函数收敛很快。对这两种办法取优去劣，迭代过程先用梯度法，后用牛顿法，避开Hession 矩阵的逆矩阵的繁琐计算，就萌生了变尺度发的基本构想。 2．变尺度法的主要特点： (1)只需用到函数的一阶梯度； (2)下降算法，故全局收敛； (3)不需求矩阵逆（计算量小）； (4)一般可达到超线性收敛（速度快）； (5)有二次终结性： 6.计算步骤：

⑴)(t φ是定义在区间[t 1,t 2]上的单谷函数，确定t 0,t 1,t 2要求 )()(01t t Φ≥Φ,)()(02t t Φ≥Φ ；

⑵按式)

()()()()()(2)()()()()()(20101212022

02

102

12

212

22

0t t t t t t t t t t t t t t t t t t t Φ-+Φ-+Φ-Φ-+Φ-+Φ-=计算极小值点t ；

⑶判断ε<-0t t

a.若式子成立，则t t =*，)(*t Φ=Φ，输出*t ，*Φ；计算结束。

b.若式子不成立，判断0t t >： ①若0t t >成立，判断)()(0t t Φ≤Φ，

i)若)()(0t t Φ≤Φ成立，则01t t =，t t =0；)()(01t t Φ=Φ，)()(0t t Φ=Φ 返回步骤(2)。

ii)若)()(0t t Φ≤Φ不成立，则t t =2，)()(2t t Φ=Φ，返回步骤(2)。

②若0t t >不成立，判断)()(0t t Φ≤Φ，

i)若)()(0t t Φ≤Φ成立，则02t t =，t t =0，02)(t t =Φ，)()(0t t Φ=Φ， 返回步骤(2)。

ii)若)()(0t t Φ≤Φ不成立，则t t =1，)()(1t t Φ=Φ，返回步骤(2)。 7. 内点法： clc

m=zeros(1,50);a=zeros(1,50);b=zeros(1,50);f0=zeros(1,50);%a b 为最优点坐标，f0为最优点函数值，f1 f2最优点梯度。 syms x1 x2 e; %e 为罚因子。

m(1)=1;c=10;a(1)=0;b(1)=0; %c 为递增系数。赋初值。 %%%题中函数为 %%% min （x1-1）^2+x^2 %%% st x2-1>=0

f=(x1-1)^2+x2^2+e*(x2-1)^2;%%%%主要修改函数 f0(1)=1;

fx1=diff(f,'x1');fx2=diff(f,'x2');fx1x1=diff(fx1,'x1');fx1x2=diff(fx1,'x2');fx 2x1=diff(fx2,'x1');fx2x2=diff(fx2,'x2');%求偏导、海森元素。 for k=1:100 %外点法e 迭代循环. x1=a(k);x2=b(k);e=m(k); for n=1:100 %梯度法求最优值。 f1=subs(fx1); %求解梯度值和海森矩阵

f2=subs(fx2);

f11=subs(fx1x1);

f12=subs(fx1x2);

f21=subs(fx2x1);

f22=subs(fx2x2);

if(double(sqrt(f1^2+f2^2))<=0.001) %最优值收敛条件

a(k+1)=double(x1);b(k+1)=double(x2);f0(k+1)=double(subs(f));

break;

else

X=[x1 x2]'-inv([f11 f12;f21 f22])*[f1 f2]';

x1=X(1,1);x2=X(2,1);

end

end

if(double(sqrt((a(k+1)-a(k))^2+(b(k+1)-b(k))^2))<=0.001)&&(double( abs((f0(k+1)-f0(k))/f0(k)))<=0.001) %罚因子迭代收敛条件

a(k+1) %输出最优点坐标，罚因子迭代次数，最优值

b(k+1)

k

f0(k+1)

break;

else

m(k+1)=c*m(k);

end

end

外点法:

clc

m=zeros(1,50);a=zeros(1,50);b=zeros(1,50);f0=zeros(1,50);%a b为最优点坐标，f0为最优点函数值，f1 f2最优点梯度。

syms x1 x2 e; %e为罚因子。

m(1)=1;c=10;a(1)=0;b(1)=0; %c为递增系数。赋初值。

%%%题中函数为

%%% min （x1-1）^2+x^2

%%% st x2-1>=0

f=(x1-1)^2+x2^2+e*(x2-1)^2;%%%%主要修改函数

f0(1)=1;

fx1=diff(f,'x1');fx2=diff(f,'x2');fx1x1=diff(fx1,'x1');fx1x2=diff(fx1,'x2');fx 2x1=diff(fx2,'x1');fx2x2=diff(fx2,'x2');%求偏导、海森元素。

for k=1:100 %外点法e迭代循环.

x1=a(k);x2=b(k);e=m(k);

for n=1:100 %梯度法求最优值。

f1=subs(fx1); %求解梯度值和海森矩阵

f2=subs(fx2);

f11=subs(fx1x1);

f12=subs(fx1x2);

f21=subs(fx2x1);

f22=subs(fx2x2);

if(double(sqrt(f1^2+f2^2))<=0.001) %最优值收敛条件

a(k+1)=double(x1);b(k+1)=double(x2);f0(k+1)=double(subs(f));

break;

else

X=[x1 x2]'-inv([f11 f12;f21 f22])*[f1 f2]';

x1=X(1,1);x2=X(2,1);

end

end

if(double(sqrt((a(k+1)-a(k))^2+(b(k+1)-b(k))^2))<=0.001)&&(double( abs((f0(k+1)-f0(k))/f0(k)))<=0.001) %罚因子迭代收敛条件

a(k+1) %输出最优点坐标，罚因子迭代次数，最优值

b(k+1)

k

f0(k+1)

break;

else

m(k+1)=c*m(k);

end

end