优化设计的数学基础

第二章 优化设计的数学基础

优化设计中绝大多数是多变量有约束的非线性规划问题，即是求解多变量非线性函数的极值问题。由此可见，优化设计是建立在多元函数的极值理论基础上的，对于无约束优化问题为数学上的无条件极值问题，而对于约束优化问题则为数学上的条件极值问题。本章主要叙述与此相关的数学基础知识。

第一节 函数的方向导数与梯度

一、函数的方向导数

一个二元函数()21,x x F 在点()

02010,x x X 处的偏导数，即函数沿坐标轴方向的变化率定义为：

而沿空间任一方向S 的变化率即方向导数为：

方向导数与偏导数之间的数量关系为

依此类推可知n 维函数()n x x x F ,,,21 在空间一点()

002010,,,n x x x X 沿S 方向的方向导数为

二、函数的梯度 函数()X F 在某点X 的方向导数表明函数沿某一方向S 的变化率。—般函数在某一确定点沿不同方向的变化率是不同的。为求得函数在某点X 的方向导数为最大的方向，引入梯度的概念。

仍以二元函数()21,x x F 为例进行讨论，将函数沿方向S 的方向导数写成如下形式

令：

图2-1 二维空间中的方向

图2-2 三维空间中的方向

称为()21,x x F 在点X 处的梯度()X F grad ，而同时设S 为单位向量

于是方向导数可写为：

此式表明，函数()X F 沿S 方向的方向导数等于向量()X F ?在S 方向上的投影。且当()()1,cos =?S X F ，即向量()X F ?与S 的方向相向时，向量()X F ?在S 方向上的投影最大，其值为

()X F ?。这表明梯度()X F ?是函数()X F 在点X 处方向导数最大的方向，也就是导数变化率最大的方向。

上述梯度的定义和运算可以推广到n 维函数中去，即对于n 元函数()n x x x F ,,,21 ，其梯度定义为

由此可见，梯度是一个向量，梯度方向是函数具有最大变化率的方向。即梯度()X F ?方向是函数()X F 的最速上升方向，而负梯度()X F ?-方向则为函数()X F 的最速下降方向。 例2-1 求二元函数()2214x x F π

=X 在[]T 1,10=X 点沿

???===44211πθπθS 和???===6

3212πθπθS 的方向导数。 解：()()()????????????=????????????????=?2121214

2x x x x F x F F ππX X X ，将[]T 1,10=X 代入可得

()

?

?

?

?

?

?

?

?

?

?

?

?

=

?

4

2

π

π

X

F，因此

而

这说明同一函数在不同方向上的方向导数不同，其变化率也不同。函数()X

F由0

X出发，沿S1方向的变化率大于沿S2方向的变化率。所以，函数()X

F沿S1方向增长得较快。

第二节凸集、凸函数与凸规划

如果函数在整个可行域中有两个或两个以上的极值点，则称每一个极值点为局部极值点。在整个可行域中，函数值最小的点为全域极值点。为求得全域极值点，以获得最好的可行设计方案，就需要进一步讨论局部最小点和全域最小点的关系，因而涉及到凸集、凸函数及凸规划问题。

一、凸集

设D为n维欧氏空间内的一个集合，如果D内任意两点X1和X2的连线整个都包围在D内，即对于任意实数（1

0≤

≤α），点()D

X

X?

-

+2

11α

α，则称这种集合为凸集，如图2-3a所示，否则为非凸集，如图2-3b、c所示。凸集满足以下性质：若D是一个凸集，是一个实数，则集合D仍为凸集；若D与F均为凸集，则其和（或

并）还

是凸集；任何一组凸集的积（或交）还是凸集。

二、凸函数

设D 为E n

中的一凸集，()X F 为定义在D 上的一个函数，若对于任意实数（10≤≤α）和D 内任意两点X 1和X 2，恒有

则()X F 为D 上的凸函数；若式中不等号反向，则为凹函数。

凸函数的几何意义如图2-4

所示。若()X F 在区间[]b a ,内为

凸函数，则曲线上任意两点A 、B

间（与X 1和X 2

相对应）所连成直

线上的点K ’总不会落在这两点

间曲线的下方，即大于相应点K

的函数值。 因而，若()X F 为凸函数，则－()X F 为凹函数；线性函数既可视为凸函数，又可视为凹函数。

凸函数的性质：

1）设取()X F 为定义在凸集D

的凸函数，则对于任意正实数

图2-3 凸集a ）与非凸集b ）、c ）

图2-4 凸函数的几何含义

，函数()X F 在D 上也是凸函数；

2）设()X 1F 、()X 2F 为定义在凸集D 上的凸函数，则函数()()()X X X 21F F F +=在D 上也是凸函数：

3）若函数()X F 在n 维欧氏空间E n

一阶可微，则对于任意2121,X X X X ≠∈n E ，()X F 为凸函数的充分必要条件为(其证明

可参见教材p. 26) ()()()[]()12112X X X X X -?+≥T

F F F 图2-5所示为一维函数情况，

其凸函数的几何意义在于函数曲线

永远在切线的上面。若()X F 是凸

集D 上的凸函数，并且在D 内有极

小点，则极小点是唯一的。最优化

方法中很多结论都是以函数具有凸

性为前提的。

三、凸规划

对于约束优化问题

式中，若()X F 、()X u g 、u ＝1，2，…，n 均为凸函数，则称此问题为凸规划。

凸规划的性质：

1）可行域(){}n u g u ,,2,1,0 =≤X X 为凸集。

2）凸规划问题的任何局部最优解都是全局最优解。

图2-5 一维凸函数

3）若()X F 可微，则*

X 为凸规划问题的最优解的充分必要条件是：对于D ∈X ，都满足

（该式表明在*X 的邻域内的所有点的目标函数值均大于*

X 处的值）

但在实际应用中，要证明一个线性规划问题是否为凸规划，一般比较困难，有时甚至比求解一个优化问题还要麻烦得多，尤其对一些工程问题，由于其数学模型的性态都比较复杂，更难以实现。因此，在优化设计的求解时，就不必花精力进行求证，而通常是从几个初始点出发，看它是否能收敛于同一点上，否则从求得的几个方案中，选取相对较好的方案，作为最优设计的结果，也就是从局部最优解的比较中来选取全局的最优解。 第三节 无约束优化问题的极值条件

优化问题的几何表达只能形象地给出最优解的有关概念，而最优解数值的求得，还得靠必要的定量计算来达到。这种运算的理论依据