非线性共轭梯度法的文献综述

非线性共轭梯度法的文献综述研究

摘要：共轭梯度法最早是由Hestenes 和Stiefel 于1952年提出来的，用于解正定系数矩阵的线性方程组，在这个基础上，Fletcher 和Reeves 于1964年首先提出了解非线性最优化问题的共轭梯度法。由于共轭梯度法不需要矩阵存储，且有较快的收敛速度和二次终止性等优点，于是，共轭梯度法的理论研究受到了人们的关注，现在共轭梯度法已经广泛地应用与实际问题中。

关键词：共轭梯度法，非线性最优化，线性搜索，收敛性

1.共轭梯度法

共轭梯度法最早是由计算数学家Hestenes 和几何学家Stiefel 在20世纪50年代初为求解线性方程组

,n Ax b x R =∈

而独立提出的。他们奠定了共轭梯度法的基础，他们的文章详细讨论了求解线性方程组的共轭梯度法的性质以及它和其他方法的关系。当A 对称正定时，上述线性方程组等价于最优化问题

1min 2n T T x R x Ax b x ∈- 基于此，Hestenes 和Stiefel 的方法可视为求解二次函数极小值的共轭梯度法。

1964年，Fletcher 和Reevse 将此方法推广到非线性优化，得到了求一般函数极小值的共轭梯度法。

而本书中，戴彧虹和袁亚湘介绍了多种类型的共轭梯度法，各方法的区分主要在于每次迭代的方向上，并且他们检验了每种方法在不同搜索下的全局收敛性。在他们的研究中，目标函数连续可微有下界，导数满足Lipschitz 条件，他们通过对Zoutendijk 条件的判断，通常用反证的方法来考察全局各共轭梯度法的全局收敛性问题。

对于无约束优化问题

min ()n x R f x ∈

一般给出一初值1x ，经由算法迭代产生23,,x x 。在第k 次迭代，当前迭代点

为k x ，用一种方法产生一搜索方向n k d R ∈。然后下一迭代点为：

1k k k k x x d α+=+

其中，迭代方向k d 的不同选取产生了不同的共轭梯度法，k α为步长因子，步长的不同选取产生了不同的搜索准则。而本书着重研究各方法在精确线搜索，Curry 原则，强Wolfe 线搜索和推广的Wolfe 线搜索下的收敛性。其中：

精确线搜索要求每次迭代的步长满足：0()min ()k k k k k f x d f x d ααα>+=+

Curry 原则要求每次迭代的步长k α为一维函数(){():0}k k k f x d αααΦ=+>的第一个极小点。

强Wolfe 线搜索要求每次迭代的步长满足：

()()T k k k k k k k f x d f x d g αδα+≤+

()T T k k k k k k d g x d d g ασ+≤

其中，01δσ<<<。

推广的Wolfe 线搜索要求每次迭代的步长满足：

()()T k k k k k k k f x d f x d g αδα+≤+

12()T T T k k k k k k k k d g d g x d d g σασ≤+≤-

其中1201,(,1),0δσδσ<<∈≥。

而迭代方向一般为：

1,1,2k k k k k g k d g d k β--=?=?-+≥?

可知迭代方向的不同由k β产生，故k β的不同选取产生的各种共轭梯度法，戴彧虹和袁亚湘介绍了如下方法，有：

Fletcher 和Reeves 在1964年求解线性方程组推广而得的共轭梯度法，简称FR 方法。 Polak 和Ribiere 和Polyak 在1969年独立提出的一种非线性共轭梯度法，简称PRP 方法。Hestenes 和Stiefel 给出的另一种HS 方法。

Fletcher 在1987年引入的共轭下降法，简称为CD 方法。

戴彧虹和袁亚湘在1995年提出的新的共轭梯度法，简称为DY 方法。

本书中给出了各种方法在不同搜索标准下的收敛性条件和全局收敛证明。

2.全局收敛性及条件

全局收敛性保证了算法从任何初始点开始都可以找到满足任意精度的近似解。所以最优化方法的收敛性是算法领域最基本的问题之一。本书中，戴彧虹和袁亚湘着重研究了不使用重新开始技术的共轭梯度法的全局收敛性，而他们研究的方法，因为有着不同的修正公式，以及不同的搜索策略，故而有不同的收敛性质。下面分别介绍这些方法。

2.1 FR 方法

FR 方法中，k β的选取按公式：

221k

FR

k k g g β-=

早期对于FR 方法的分析是基于精确线搜索。Powell 在精确线搜索下分析了FR 方法可能连续产生小步长的性质，而FR 方法的这种可能连续产生许多小步长的性质，在很大程度上也解释了为何FR 方法在数值计算中有时表现得很差。但Zoutendijk 证明了采取精确线搜索的FR 方法对一般非凸函数总收敛。

由于精确线搜索在每步迭代时的难以操作性，实际计算中通常使用非精确线搜索。1985年，Al-Baali 证明了使用参数12σ<的强Wolfe 线搜索的FR 方法必满足充分下降条件，且全局收敛。Liu 、Han 、和Yin 将Al-Baali 的结果推广到了12σ=。戴彧虹和袁亚湘通过考虑相邻两迭代点列的技巧，发现只要FR 方法的每个搜索方向下降，则任意两个相邻迭代点列中至少有一个使得充分下降条件成立，从而证明方法全局收敛。由于

12σ=的强Wolfe 线搜索能保证FR 方法在每一迭代点列产生一个下降方向，因此12σ=的强Wolfe 线搜索下FR 全局收敛。但若12σ>，戴彧虹和袁亚湘给出了反例，即无法保证FR 方法的全局收敛性。此外，戴彧虹和袁亚湘提出了广义线搜索下的FR 方法，并证明了采用广义Wolfe 线搜索或广义Armijo 线搜索的FR 方法全局收敛。

2.2 PRP 方法和HS 方法

PRP 方法中，k β的选取按公式：

121()

T PRP

k k k k k g g g g β---=

PRP 方法是目前认为数值表现最好的共轭梯度法之一。当算法产生一个小步长时，由PRP 方法定义的搜索方向k d 自动靠近负梯度方向，从而有效避免了FR 方法可能连续产生小步长的缺陷。由此，Powell 证明了当步长1k k k s x x +=-趋于零时，PRP 方法全局收敛，且采用精确线搜索的PRP 方法对一致凸函数全局收敛。但对一般非凸函数，Powell 举出了三维情况下的反例，表面即使按Curry 原则选取步长因子，PRP 方法可能在六点附近循环，且任意一点都不是目标函数的稳定点。

当n=2时，Powel 证明了采取Curry 准则的PRP 方法对一般非凸函数的收敛性。由于当线搜索精确且n=2时，Broyden 凸簇拟牛顿法会产生和PRP 方法完全相同的点列，戴彧虹利用了Powell 提出的二维例子，说明了采取Wolfe 非精确线搜索的Broyden 凸簇拟牛顿法对一般非凸函数不必收敛。

如果使用非精确线搜索如强Wolfe 线搜索，戴彧虹举出例子表明，即使()f x 一

致凸，而且参数(0,1)σ∈充分小，PRP 方法都有可能产生一个上升搜索方向。进而，如果要求每一搜索方向都下降，则采取非精确线搜索的PRP 方法对凸函数收

敛。对一般非凸函数，Powell 建议限制PRP 方法中的参数PRP k β为非负

max{,0}PRP k k ββ=。

避免当k d 很大时，相邻两搜索方向会趋于相反。Gilbert 和Nocedal 考虑了Powell 的上述建议，并在适当的搜索条件下，建立了上述修正PRP 方法对一般非凸函数的全局收敛结果。

然而，Gilbert 和Nocedal 也举出例子表明，即使对于一致凸的目标函数，PRP k

β也可能为负。于是，Grippo 和Lucidi 设计了一种Armijo 型的线搜索，即每次迭代步长满足：

2max{;0,1,}0,(0,1)

T k k j

k k g d j d ταλτλ==>∈

并证明了原始PRP 方法在该线搜索下，对一般非凸函数全局收敛。根据Armijo 型线搜索下的性质，可得出存在一个常数，满足每次迭代的步长均大于此常数。由此给出新的性质，即取常数步长因子的PRP 方法在每次迭代都产生一个下降方向，并且全局收敛。

HS 方法中，k β的选取按公式： 1111,()T HS

k k k k k k T k k g y y g g d y β----==-

与PRP 方法相比，HS 方法的一重要性质为共轭关系式：10T k k d y -=。不论线

性搜索是否精确，总是成立。但HS 方法的理论性质和计算表现与PRP 方法很类似。 戚厚铎等考虑了修正的HS 方法：

1max{0,min{,}}HS k k k g ββ=

并在无充分下降条件下，建立了方法的全局收敛性。

2.3 CD 方法

CD 方法中，k β的选取按公式：

211k CD k T k k g d g β--=-

CD 又称共轭下降法，由Fletcher 在1987年引入。CD 法一个很重要的性质为：只有强Wolfe 条件中的参数1σ<，方法在每次迭代便产生一个下降搜索方向，这

与FR 方法和PRP 方法不同，因为FR 方法和PRP 方法在这时对一致凸函数都有可能产生一个上升搜索方向，如2.1和2.2中所述。采取强Wolfe 非精确线搜索的共轭梯度法，只要每个搜索方向下降，即可保证收敛性。故这一结论为CD 方法的收敛性分析提供了一个非常有力的工具，不过采取强Wolfe 非精确线搜索的CD 方法，无法保证其全局收敛性。

对于推广的Wolfe 线搜索，若参数满足121,0σσ<=。可得到

0CD FR k k ββ≤≤。类似于FR 方法中的收敛性证明，可以看出，当满足参数满足上述式子时，CD 法必全局收敛。相反的，若参数满足11σ≥，可构造出例子，使得CD 方法收敛于一个非稳定点，表明11σ<是必要的。若参数满足20σ>，戴彧虹和袁亚湘发现，这时2k d 可能以指数级数增长。由此，他们给出一般性证明，表面对任意正常数2σ，满足推广的Wolfe 线搜索的CD 方法不必收敛。此外，戴彧虹和袁亚湘构造了一个凸二次函数的反例。表明20σ=是必要的。

由上可见，虽然一般参数的强Wolfe 条件即可保证CD 方法在每步产生一个下

降搜索方向，但CD 方法的收敛性质并不好。此外，当线搜索精确时，CD FR k k ββ≡，

由2.1已FR 方法的若干缺陷可知，CD 方法有着和FR 方法同样的数值缺点，即可能连续产生许多小步长而不恢复。CD 方法在实际的数值表现中与FR 方法相差不大。但对CD 方法的研究，找到了一种新的共轭梯度法。

2.4 DY 方法

DY 方法中，k β的选取按公式：

2

1111,()k k k k k T k k g y g g d y β----==-

k β的选取是在CD 方法的研究中得到的。CD 方法在强Wolfe 线搜索时的收敛性质不佳。为解决这个问题，即希望每次总能产生一个下降方向。戴彧虹和袁湘江降低了线搜索条件，在Wolfe 线搜索下研究了共轭梯度法。

由上所述，每次总是产生一个下降方向，故k β的选取需使得0T k k d g <满足，由此得210T k k k k g g d β--+<。令2k k k g τβ=，且约束0k β>。由此得

1T k k k g d τ->。结合Wolfe 线搜索条件，得到了上述k β选取的形式。

当线搜索精确时，DY 方法中k β的公式等价于FR 公式，由此知DY 方法是对应着一个新的共轭梯度法。此方法由戴彧虹和袁湘江于1995年提出，且他们严格

证明了采取Wolfe 线搜索的DY 方法在每一步均产生一个下降方向，并且方法全局收敛。故DY 方法不使用强Wolfe 非精确线搜索而仅使用Wolfe 非精确线搜索也可得到很好的收敛效果，此结果进一步揭示了非线性共轭梯度法不同于线性共轭梯度法的一面。

对于DY 方法，戴彧虹在不使用任何线搜索的情况下，证明了方法在远离最优点时，充分下降条件必对大部分迭代点列成立。由此性质知DY 方法在一般的线搜索下全局收敛。

3.一些方法的改进和创新

3.1 杂交共轭梯度法

由上述收敛性部分中可知，关于参数k β有如下计算公式：

221k

FR

k k g g β-=，121()

T PRP k k k k k g g g g β---=，2

11k DY k T k k g d y β--=，111T HS k k k T k k g y d y β---=

其中，11k k k y g g --=-。它们对应的共轭梯度法依次为FR 、PRP 、DY 和HS 方法。

PRP 方法是数值表现最好的非线性共轭梯度法之一，但即使采取精确线搜索也不一定收敛。相反的，虽然FR 方法的数值表现不佳，但其全局收敛性很好。一个结合这两办法的想法自然就产生了，为了结合这两方法的优点，TouatiAhmed 和Storey 考虑结合PRP 方法和FR 方法，首先引入了杂交共轭梯度法，对k β的选取

满足如下要求：

max{0,min{,}}PRP FR k k k βββ= 这方法确实可以避免FR 方法可能连续产生小步长的缺点。由此，Gilbert 和Nocedal

进一步研究了杂交方法，对k β的选取采用了：

max{,min{,}}FR PRP FR k k k k ββββ=- 这种方法的好处在于，允许了参数k β取负数。然而，Gilbert 和Nocedal 进行了大量数值实验，其结果表明，这种方法的数值表现虽然比FR 方法好一些，但仍比PRP 方法差很多。

另外，戴彧虹和袁亚湘研究了DY 方法和HS 方法的杂交共轭梯度法，这种方法比上述FR 方法和PRP 方法的杂交共轭梯度法好在，它们不要求线搜索满足强Wolfe 条件，而只需线搜索满足Wolfe 条件。他们选取的k β满足

max{0,min{,}}HS DY k k k βββ=

且他们进行的大量数值试验表面DY 方法和HS 方法的杂交共轭梯度法的计算表现非常好。在对较为困难的问题时，它比PRP 方法还要好很多。

3.2 共轭梯度法簇

众所周知，大部分拟牛顿法可以用统一的表达式表示，并可统一进行研究。较大的拟牛顿法有Huang 簇和Wu 簇。根据拟牛顿法的簇类而联想到，共轭梯度法是否

存在簇类，由此可以统一对其研究？

戴彧虹和袁亚湘研究了单参数共轭梯度法簇，FR 方法和DY 方法关于参数k β的计算公式其分子和分母的下标只相差1，于是它们可以形式地表为：

1k k k φβφ-=。由此取2FR k k g φ=，

DY T k k k g d φ=-。 引入参数λ，令(1)F R D Y k k k φλφλφ=+-，由此定义了一簇共轭梯度法，它可看作FR

方法和DY 方法的某种线性组合。由此导出的k β满足

2

2111

(1)k

k T k k k g g d y βλλ---=+-

在推广的Wolfe 线搜索下，戴彧虹和袁亚湘研究出了如下性质。

当1120,λσσλ->+≤时，每一个搜索方向k d 为下降方向且方法在下述意义下收敛：liminf 0k k g →∞=（*）

当1210,()1λσσλσ<+≥-时，方法在（*）下收敛。

由此，对任意的λ，参数满足1121()1σσσλ-≤+≤，则每一个搜索方向均为下降方向，且方法在（*）下收敛。

此外，Nazareth 视FR 方法、PRP 方法、HS 方法和DY 方法为四种主要的共轭梯度法，并提出了两个参数的共轭梯度法簇。戴彧虹基于上述四种方法以及CD 方法和LS 方法等六种形式较为简单的共轭梯度法，提出了三参数共轭梯度法簇。

3.3 最短余量法

最短余量法最早由Hestenes 在1980年提出，其中的迭代方向与上述方法不同，有如下形式：1,01k k k k k k g d d ηηη--+=<<∞+，且11d g =-。此种形式中，若线性搜索精确，不难得出：221k k k g d η-=

。

当线搜索精确且目标函数为严格凸二次函数时，上述方法定义的迭代方向k d 是其顶点分别为1g -，…k g -的（k-1）维单纯形中的最短向量。

最短余量法中的方向k d 也可写为如下形式：1{,}k k k d Nr g d -=-，其中{,}Nr a b 满足

{,}min{(1):01}Nr a b a b λλλ=+-≤≤。为了研究当目标函数为一般非线性

函数时，最短余量法对应于何种标准的共轭梯度法，并研究其他标准共轭梯度法，Pytlak 在迭代方向中引入了一个参量k ρ，即考虑：1{,}k k k k d Nr g d ρ-=-。

与之前的共轭梯度法相比，即迭代方向由k β参数产生的方法，当线搜索精确时，最短余量法中的参数k ρ满足关系：2211k

k k k g g ρβ-=，由于FR k β的选取，更进一步知：

FR k k k βρβ=。

由此得出结论：

如果FR k k ββ=，则1k ρ≡。故当线搜索精确时，原始的最短余量法对应于FR 方法。

称之为最短余量法的FR 格式或FRSR 方法。

令PRP k k ββ=，则2

1k k T k k g g y ρ-=，当线搜索精确且目标函数为二次凸函数时，这种

方法退化为线性共轭梯度法。称之为最短余量法的PRP 格式或PRPSR 方法。 此外，考虑21

k k T k k g g y ρ-=，则这种方法被称为最短余量法的PRP +格式或PRP SR

+方法。

且这些方法有统一的算法，如下： 步1：取

12{1,2,3},(0,1],[0,1),[0,1);I b b ε∈∈∈∈111,,:1,:0.n x R d g k J ∈=-== 步2

：如果

k g ε≤，停；利用某种线搜索方法求0k α>；1k k k k x x d α+=+。 步3：测试111T k k k k g d b g d --<，若不成立，:0;J =

若2,3I =，测试212T k k k g y b g ->，若不成立，:1;J =

若:1;J =令11k k d g ++=-，置:0,J =转步2。

步4：若1I =，11k ρ+≡；若2I =，21

11k k T

k k g g y ρ+++=；若3I =，2

111k k T k k g g y ρ+++=。

步5：计算211112

11T k k k k k k k k g g d g d ρλρ+++++++=+；11111(1)k k k k k k d g d λλρ+++++=--+；k ：=k+1， 转步2。

对于非精确线搜索的情况，戴彧虹和袁亚湘分析了三种线搜索下最短余量法的收

敛性。三种线搜索为强Wolfe 线搜索（1），步长因子有界的Wolfe 线搜索（2）以

及Armijo 线搜索（3），即给定参数(0,1),(0,1)λδ∈∈，取m k αλ=，其中m 为使得

()m m T k k k k k f x d f d g λδλ+-≤成立的最小负整数。

当目标函数下方有界，导数满足Lipschitz 连续时。算法满足11,1,0I b ε===时，三种线搜索下有liminf 0k k g →∞=成立。

当目标函数下方有界，导数满足Lipschitz 连续时。算法满足122,1,0,0

I b b ε====

时，在（2）和（3）的搜索下有lim 0k k g →∞=成立。

当目标函数二次连续可微，水平集

1{:()()}n x R f x f x =∈≤ 有界，并且存在常数120μμ<≤，使得22

212(),,T n y y f x y y x y R μμ≤?≤?∈∈ ，其中I 为1或2，121,0,0.b b ε===如果线搜索为Wolfe 线搜索或（3）的搜索，则有lim 0k k g →∞=成

立。

当目标函数的水平集

1{:()()}n x R f x f x =∈≤ 有界，导数Lipschitz 连续，算法满足123,1,0,0.I b b ε====对（1）的线搜索，liminf 0k k g →∞=成立。

由此分析得，采取精确线搜索的PRPSR 算法对一般非凸函数不一定收敛，但采取

（2）或（3）的线搜索的PRPSR 算法对一般非凸函数全局强收敛。采取强Wolfe

线搜索的PRPSR 算法不一定收敛，但PRP SR +算法全局收敛。

3.4 Beale-Powell 重新开始方法

如果共轭梯度算法在每n 步沿负梯度方向作一重新开始，进一步，如果线搜索精确或渐进精确，则重新开始的共轭梯度算法的收敛速度可从原来的线性提高到n 步超线性收敛。可知重新开始的共轭梯度算法无论是在全局收敛性还是在收敛速度方面，都比原来的共轭梯度算法具有更好的性质。但这种重新开始策略具有一些缺点，一是它舍去了算法沿前一次搜索方向搜索得到的二阶导数信息，二是重新开始的频率一般与目标函数的性质有关，而不是简单地取目标函数的维数。故如何设计一种更有效的重新开始方法，引起了不少人的兴趣。

Beale 给出了一个方法，其中迭代方向1k k k k k t d g d d βγ-=-++，其中t 为小于k 的一个整数。但McGuire 和Wolfe 就Beale 的三项方法作了数值试验，数值结果非常令人失望。之后Powell 通过引入一个新的重新开始准则，即如果

2

1((0,1))T k k k g g c g c -≤∈，不成立，也使方法重新开始，克服了McGuire 和Wolfe

的困难，且获得了令人满意的数值结果。

共轭梯度法还有一些相关方法，如平行切线法、TTR方法以及无记忆拟牛顿法，这些为共轭梯度法的几个变种。还有预条件共轭梯度法，这与拟牛顿法有一个内在联系。这些方法显示了共轭梯度法与其他一些方法的关联度，以及共轭梯度法的一些良好性质。

4.共个梯度法与其他算法的比较

在所有需要计算导数的的优化方法中，最速下降法是最简单的，但它速度太慢。拟牛顿法收敛速度很快，被广泛认为是非线性规划中最有效的方法，但它需要存储矩阵以及通过求解线性方程组来计算搜索方向，这对于求解一些大规模问题几乎是不太可能办到的。共轭梯度法在算法的简便性、所需存储量等方面均与最速下降法差别不大，易于编程，而收敛速度比最速下降法要快，往往在求解中，远小于n步时即终止算法。正因为这些原因，许多实际部门的工程师十分喜欢用共轭梯度法。因此在石油勘探、大气模拟、航天航空等领域出现的特大规模的优化问题，常常利用共轭梯度法求解。

[参考文献]

[1]：Hestenes M R, Stiefel E L. Methods of conjugate gradients for solving linear systems, J Res Nat Bur Standards Sect. 1952, 5(49): 409~436

[2]：Fletcher R, Reeves C. Function minimization by conjugate gradients, Comput J, 1964,7:149~154

[3]：戴彧虹，袁亚湘，非线性共轭梯度法。上海科学技术出版社，1994

[4]：Dai Y H, Yuan Y. Convergence properties of the Fletcher-Reeves method, IMAJ. Numer. Anal. 1996, 16(2): 155~164

[5]：戚厚铎，韩继业，刘光辉，修正Hestenes-Stiefel共轭梯度算法。数学年刊，1996,17A（3）：177~284

[6]：Dai Y H, Yuan Y. Convergence properties of the conjugate descent method, Advances in Mathematics, 1996, 26(6): 552~562