经典算法——动态规划教程

动态规划是对最优化问题的一种新的算法设计方法。由于各种问题的性质不同，确定最优解的条件也互不相同，因而动态规划的没计法对不同的问题，有各具特色的表示方式。不存在一种万能的动态规划算法。但是可以通过对若干有代表性的问题的动态规划算法进行讨论，学会这一设计方法。

多阶段决策过程最优化问题

——动态规划的基本模型

在现实生活中，有一类活动的过程，由于它的特殊性，可将过程分成若干个互相联系的阶段，在它的每一阶段都需要作出决策，从而使整个过程达到最好的活动效果。因此各个阶段决策的选取不能任意确定，它依赖于当前面临的状态，又影响以后的发展。当各个阶段决策确定后，就组成一个决策序列，因而也就确定了整个过程的一条活动路线。这种把一个问题看做是一个前后关联具有链状结构的多阶段过程就称为多阶段决策过程，这种问题称为多阶段决策最优化问题。

【例题1】最短路径问题。图中给出了一个地图，地图中每个顶点代表一个城市，两个城市间的连线代表道路，连线上的数值代表道路的长度。现在，想从城市A到达城市E，怎样走路程最短，最短路程的长度是多少?

【分析】把从A到E的全过程分成四个阶段，用k表示阶段变量，第1阶段有一个初始状态A，两条可供选择的支路ABl、AB2；第2阶段有两个初始状态B1、 B2，B1有三条可供选择的支路，B2有两条可供选择的支路……。用dk(x k，x k+1)表示在第k阶段由初始状态x k到下阶段的初始状态x k+1的路径距离，Fk(x k)表示从第k阶段的x k到终点E的最短距离，利用倒推方法求解A到E的最短距离。具体计算过程如下：

S1：K=4，有：F4(D1)=3，F4(D2)=4，F4(D3)=3

S2: K=3，有：

F3(C1)=min{d3(C1,D1)+F4(D1),d3(C1,D2)+F4(d2)}=min{8,10}=8

F3(C2)=d3(C2,D1)+f4(D1)=5+3=8

F3(C3)=d3(C3,D3)+f4(D3)=8+3=11

F3(C4)=d3(C4,D3)+f4(D3)=3+3=6

S2: K=2，有：

F2(B1)=min{d2(B1,C1)+F3(C1),d2(B1,C2)+f3(C2),d2(B1,C3)+F3(C3)}=min {9,12,14}=9

F2(m)=min{d2(B2,c2)+f3(C2),d2(B2,C4)+F3(C4)}=min{16,10}=10

S4：k=1，有：

F1(A)=min{d1(A,B1)+F2(B1),d1(A,B2)+F2(B2)}=min{13,13}=13

因此由A点到E点的全过程的最短路径为A—>B2一>C4—>D3—>E。最短路程长度为13。

从以上过程可以看出，每个阶段中，都求出本阶段的各个初始状态到过程终点E的最短路径和最短距离，当逆序倒推到过程起点A时，便得到了全过程的最短路径及最短距离，同时附带得到了一组最优结果(即各阶段的各状态到终点E的最优结果)。

在上例的多阶段决策问题中，各个阶段采取的决策，一般来说是与时间有关的，决策依赖于当前状态，又随即引起状态的转移，一个决策序列就是在变化的状态中产生出来的，故有“动态”的含义，称这种解决多阶段决策最优化问题的方法为动态规划方法。

根据上例分析和动态规划的基本概念，可以得到动态规划的基本模型如下：

(1)确定问题的决策对象。

(2)对决策过程划分阶段。

(3)对各阶段确定状态变量。

(4)根据状态变量确定费用函数和目标函数。

(5)建立各阶段状态变量的转移过程，确定状态转移方程。

动态规划的基本知识

动态规划是研究一类最优化问题的方法，在经济、工程技术、企业管理、工农业生产及军事等领域中都有广泛的应用。近年来，在ACM/ICPC中，使用动态规划(或部分应用动态规划思维)求解的题不仅常见，而且形式也多种多样。而在与此相近的各类信息学竞赛中，应用动态规划解题已经成为一种趋势，这和动态规划的优势不无关系。

1、动态规划的常用名词

在学习动态规划之前，先得对下面的名词有所了解。本书将标准名词作了一些简化，便于大家更好的理解。

(1)状态(smte)

对于一个问题，所有可能到达的情况(包括初始情况和目标情况)都称为这个问题的一个状态。

(2)状态变量(s k)

对每个状态k关联一个状态变量s k，它的值表示状态k所对应的问题的当前解值。

(3)决策(decision)

决策是一种选择，对于每一个状态而言，你都可以选择某一种路线或方法，从而到达下一个状态。

(4)决策变量(d k)

在状态k下的决策变量d k的值表示对状态k当前所做出的决策。

(5)策略

策略是一个决策的集合，在我们解决问题的时候，我们将一系列决策记录下来，就是一个策略，其中满足某些最优条件的策略称之为最优策略。

(6)状态转移函数(t)

从一个状态到另一个状态，可以依据一定的规则来前进。我们用一个函数t来描述这样的规则，它将状态i和决策变量d i映射到另一个状态j，记为t(i，d i)=j

(7)状态转移方程(f)

状态转移方程f描述了状态变量之间的数学关系。一般来说，与最优化问题相应，状态转移方程表示s i的值最优化的条件，或者说是状态i所对应问题的最优解值的计算公式，用代数式表示就是：

s i=f({(s j,d j)|i=t(j,d j)，对决策变量d j所有可行的取值})

2、最优化原理

1951年美国数学家R．Bellman等人，根据一类多阶段问题的特点，把多阶段决策问题变换为一系列互相联系的单阶段问题，然后逐个加以解决。一些静态模型，只要人为地引进“时间”因素，分成时段，就可以转化成多阶段的动态模型，用动态规划方法去处理。与此同时，他提出了解决这类问题的“最优化原理”(Principle of optimality)：

“一个过程的最优决策具有这样的性质：即无论其初始状态和初始决策如何，其今后诸策略对以第一个决策所形成的状态作为初始状态的过程而言，必须构成最优策略”。简言之，一个最优策略的子策略，对于它的初态和终态而言也必是最优的。

这个“最优化原理”如果用数学化一点的语言来描述的话，就是：假设为了解决某一优化问题，需要依次作出n个决策D1，D2，…，D n，如若这个决策序列是最优的，对于任何一个整数k，1 < k < n，不论前面k个决策是怎样的，以后的最优决策只取决于由前面决策所确定的当前状态，即以后的决策D k+1，D k+2，…，D n也是最优的。

最优化原理是动态规划的基础。任何一个问题，如果失去了这个最优化原理的支持，就不可能用动态规划方法计算。

3、什么是动态规划

动态规划是运筹学的一个分支。与其说动态规划是一种算法，不如说是一种思维方法来得更贴切。因为动态规划没有固定的框架，即便是应用到同一道题上，也可以建立多种形式的求解算法。许多隐式图上的算法，例如求单源最短路径的Dijkstra算法、广度优先搜索算法，都渗透着动态规划的思想。还有许多数学问题，表面上看起来与动态规划风马牛不相及，但是其求解思想与动态规划是完全一致的。

因此，动态规划不像深度或广度优先那样可以提供一套模式，需要的时候，取来就可以使用；它必须对具体问题进行具体分析处理，需要丰富的想象力去建立模型，需要创造性的思想去求解。

4、动态规划适于解决什么样的问题

准确地说，动态规划不是万能的，它只适于解决一定条件的最优策略问题。

或许，大家听到这个结论会很失望：其实，这个结论并没有削减动态规划的光辉，因为属于上面范围内的问题极多，还有许多看似不是这个范围中的问题都可以转化成这类问题。

上面所说的“满足一定条件”主要指下面两点：

(1)状态必须满足最优化原理；

(2)状态必须满足无后效性。

所谓的无后效性是指：“过去的决策只能通过当前状态影响未来的发展，当前的状态是对以往决策的总结”。

这条特征说明什么呢?它说明动态规划适于解决当前决策和过去状态无关的问题。状态，出现在策略的任何一个位置，它的地位都是相同的，都可以实施同样的决策。这就是无后效性的内涵。

5、用动态规划解题的好处

说了这么多的动态规划，它到底给我们解题能带来什么好处呢?

其实动态规划的最大优势在于它具有极高的效率，而且动态规划还有其他的优势，例如：动态规划可以得出一系列解，算法清晰简便，程序易编、易调，等等。

最优化原理与无后效性

上面已经介绍了动态规划模型的基本组成，现在需要解决的问题是：什么样的“多阶段决策问题”才可以采用动态规划的方法求解?

一般来说，能够采用动态规划方法求解的问题必须满足.最优化原理和.无后效性原则。

(1)动态规划的最优化原理。作为整个过程的最优策略具有如下性质：无论过去的状态和决策如何，对前面的决策所形成的当前状态而言，余下的诸决策必须构成最优策略。

可以通俗地理解为子问题的局部最优将导致整个问题的全局最优，即问题具有最优子结构的性质，也就是说一个问题的最优解只取决于其子问题的最优解，非最优解对问题的求解没有影响。在例题1最短路径问题中，A到E的最优路径上的任一点到终点E的路径也必然是该点到终点E的一条最优路径，满足最优化原理。下面来讨论另外一个问题。

【例题2】余数最少的路径。

如图所示，有4个点，分别是A、B、C、D，

相邻两点用两条连线C2k，C2k-1(1≤k≤3)表示两

条通行的道路。连线上的数字表示道路的长

度。定义从A到D的所有路径中，长度除以

4所得余数最小的路径为最优路径。

求一条最优路径。

【分析】在这个问题中，如果还按照例题1中的方法去求解就会发生错误。按照例题1的思想，A的最优取值可以由B的最优取值来确定，而B的最优取值为(1+3) mod 4 = 0，所以A的最优值应为2，而实际上，路径C1－C3－C5可得最优值为(2+1+1) mod 4 = 0，所以，B的最优路径并不是A的最优路径的子路径，也就是说，A的最优取值不是由B的最优取值决定的，即其不满足最优化原理，问题不具有最优子结构的性质。

由此可见，并不是所有的“决策问题”都可以用“动态规划”来解决，运用“动态规划”来处理问题必须满足最优化原理。

(2)动态规划的无后效性原则。所谓无后效性原则，指的是这样一种性质：某阶段的状态一旦确定，则此后过程的演变不再受此前各状态及决策的影响。也就是说，“未来与过去无关”，当前的状态是此前历史的一个完整总结，此前的历史只能通过当前的状态去影响过程未来的演变。具体地说，如果一个问题被划分各个阶段之后，阶段I 中的状态只能由阶段I+1 中的状态通过状态转移方程得来，与其他状态没有关系，特别是与未发生的状态没有关系，这就是无后效性。从图论的角度去考虑，如果把这个问题中的状态定义成图中的顶点，两个状态之间的转移定义为边，转移过程中的权值增量定义为边的权值，则构成一个有

向无环加权图，因此，这个图可以进行“拓扑排序”，至少可以按他们拓扑排序的顺序去划分阶段。

看一看下面的两个具体例子。

【例题3】货郎担问题。对于平面给定的n个点，编程确定一条连结各点的、闭合的游历路线问题。图中给出了7个点的情况问题的解。

【例题4】旅行路线问题。在货郎担问题的基础上，若规定这种游历路线先从最左边开始，严格地由左至右到最右边的点，然后再严格地由右至左到出发点，求整个路程最短的路径长度。图中给出了7个点问题的解。

例3图货郎担问题

例4图旅行路线图

【分析】这两个问题看起来很非常相似，但本质上是完全不同的。为了方便讨论，可以将每个顶点标记号码。由于必然经过最右边的顶点7，所以一条路(P1－P2)可以看做两条路(P1－7)与(P2－7)的结合。因此，这个题目的状态可以用两条道路结合的形式表示。可以把这些状态中，两条路中起始顶点相同的状态归于一个阶段，设为阶段[P1，P2]。

那么，对于旅行路线问题来说，阶段[P1，P2]如果可以由阶段[Q1，Q2]推出，则必须满足的条件就是：Pl < Q1或P2 < Q2。例如，阶段[3，4]中的道路可以由阶段[3，5]中的道路加一条边4—5得出，而阶段[3，5]的状态却无法由阶段[3，4]中的状态得出，因为在旅行路线问题的要求中必须严格地由左到右来旅行。所以如果已经知道了阶段[3，4]中的状态，则阶段[3，5]中的状态必然已知，因此，问题满足无后效性原则，可以考虑用动态规划方法求解。

而对于货郎担问题，阶段与阶段之间没有什么必然的“顺序”。如

道路{3—2—5—7，4—6—7}属于阶段[3，4]，可由属于阶段[2，4]的道路{2—5—7，4—6—7}推出；而道路{2—3—6—7，4—5—7}属于阶段[2，4]，可由属于阶段[3，4]的道路{3—6—7，4—5—7}推出。如果以顶点表示阶段，推出关系表示边，那么，阶段[3，4]与阶段[2，4]对应的关系就如图右所示。可以很清晰地看出，这两个阶段的关系是“有后效性”的。因为这个图中存在“环路”。对于这个问题是不能像上一个问题那样来解决的。

阶段关系图

动态规划的逆向思维法

动态规划是一种思维方法，没有统一的、具体的模式。动态规划可以从多方面去考察，不同的方面对动态规划有不同的表述。我们不打算强加一种统一的表述，而是从多个角度对动态规划的思维方法进行讨论，希望大家在思维具体问题时，也能够从多个角度展开，这样收获会更大。

逆向思维法是指从问题目标状态出发倒推回初始状态或边界状态的思维方法。如果原问题可以分解成几个本质相同、规模较小的问题，很自然就会联想到从逆向思维的角度寻求问题的解决。

你也许会想，这种将大问题分解成小问题的思维不就是分治法吗?动态规划是不是分而治之呢?其实，虽然我们在运用动态规划的逆向思维法和分治法分析问题时，都使用了这种将问题实例归纳为更小的、相似的子问题，并通过求解子问题产生一个全局最优值的思路，但动态规划不是分治法：关键在于分解出来的各个子问题的性质不同。

分治法要求各个子问题是独立的(即不包含公共的子问题)，因此一旦递归地求出各个子问题的解后，便可自下而上地将子问题的解合并成原问题的解。如果各子问题是不独立的，那么分治法就要做许多不必要的工作，重复地解公共的子问题。

动态规划与分治法的不同之处在于动态规划允许这些子问题不独立(即各子问题可包含公共的子问题)，它对每个子问题只解一次，并将结果保存起来，避免每次碰到时都要重复计算。这就是动态规划高效的一个原因。

动态规划的逆向思维法的要点可归纳为以下三个步骤：

(1)分析最优值的结构，刻画其结构特征；

(2)递归地定义最优值；

(3)按自底向上或自顶向下记忆化的方式计算最优值。

【例题5】背包问题描述：

有一个负重能力为m的背包和n种物品，第i种物品的价值为v[i]，重量为w[i]。在不超过背包负重能力的前提下选择若干个物品装入背包，使这些的物品的价值之和最大。每种物品可以不选，也可以选择多个。假设每种物品都有足够的数量。

分析：

从算法的角度看，解决背包问题一种最简单的方法是枚举所有可能的物品的组合方案并计算这个组合方案的价值之和，从中找出价值之和最大的方案。显然，这种靠穷举所有可能方案的方法不是一种有效的算法。

但是这个问题可以使用动态规划加以解决。下面我们用动态规划的逆向思维法来分析这个问题。

(1)背包问题最优值的结构

动态规划的逆向思维法的第一步是刻画一个最优值的结构，如果我们能分析出一个问题的最优值包含其子问题的最优值，问题的这种性质称为最优子结构。一个问题的最优子结构性质是该问题可以使用动态规划的显著特征。

对一个负重能力为m的背包，如果我们选择装入一个第i 种物品，那么原背包问题就转化为负重能力为m-w[i] 的子背包问题。原背包问题的最优值包含这个子背包问题的最优值。若我们用背包的负重能力来划分状态，令状态变量s[k]表示负重能力为k的背包，那么s[m]的值只取决于s[k](k≤m)的值。因此背包问题具有最优子结构。

(2)递归地定义最优值

动态规划的逆向思维法的第二步是根据各个子问题的最优值来递归地定义原问题的最优

值。对背包问题而言，有状态转移方程：

／max{s[k-w[i]]+v[i]}(其中1≤i≤n，且k-w[i]≥0)

s[k]= 若k>0且存在1≤i≤n使k-w[i]≥0，

＼ 0 否则。

有了计算各个子问题的最优值的递归式，我们就可以直接编写对应的程序。下述的函数knapsack是输入背包的负重能力k，返回对应的子背包问题的最优值s[k]：

function knapsack(k:integer):integer；

begin

knapsack:=0；

for i:=1 to n do

if k-w[i]>=0 then

begin

t:=knapsack(k-w[i])+v[i]；

if knapsack < t then knapsack:=t；

end;

end；

上述递归算法在求解过程中反复出现了一个子问题，且对每次重复出现的子问题都要重新解一次，这需要多花费不少时间。下面先考虑一个具体的背包问题。例如，当

m=3，n=2，v[1]=1，w[1]=1，v[2]=2，w[2]=2，

图1示出了由调用knapsack(3)所产生的递归树，每一个结点上标有参数k的值，请注意某些数出现了多次。

3

／＼

2 1

／＼＼

1 0 0

／

图1

例如，knapsack(1)被引用了两次：在计算knapsack(3)和knapsack(2)中分别被引用；而knapsack(0)更是被引用了三次。如果knapsack(1)和knapsack(0)每次都要被重新计算，则增加的运行时间相当可观。

下面，我们来看看动态规划是如何解决这个问题的。

(3)按自顶向下记忆化或自底向上的方式求最优解

一般地，如果一个解最优化问题的递归算法经常反复地解重复的子问题，而不是总在产生新的子问题时，我们说该最优化问题包含重迭子问题。这类问题不宜用分治法求解，因为分治法递归的每一步要求产生相异的子问题。在这种情况下，采用动态规划是很合适的，因为该方法对每一个子问题只解一次，然后把解存放在一个表中，以便在解同样的子问题时查阅，充分利用了重迭子问题。一般来说，解决重迭子问题的方式有两种。

①自顶向下的记忆化方式

该方式的程序流程基本按照原问题的递归定义，不同的是，它专门设置了一张表，以记忆在求解过程中得出的所有子问题的解。一个记忆的递归算法为每个子问题的解在表中记录一个表项。初始时每个表项都包含一个特殊值，以示该表项的解有待填入。例如背包问题中：

s[i]=-1；(0≤i≤m)

当在递归算法的执行中第一次遇到一个子问题时(即s[i]=-1)，计算其解并填入表中，以后每遇到该子问题，只要查看表中先前填入的值即可。

下面，我们按照自上而下的记忆化方式，写出求背包问题的递归算法。

函数memorized_knapsack输入背包的负重能力k，返回背包问题的解s[k]。s表应设为全局变量，使得函数执行后，传出所有子问题的解s[i](0≤i≤m)。

function memorized_knapsack(k:integer):integer；

begin

if s[k]=-1 then

begin

s[k]:=0；

for i:=1 to n do

if k-w[i]>=0 then

begin

t:=memorized_knapsack(k-W[i])+V[i]；

if s[k] < t then s[k]:=t；

end；

end；

memorized_knapsack:=s[k]；

end；

我们在主程序通过调用memorized_knapsack(m)即可获得背包问题的解。

显然这种自顶向下记忆化的算法效率比重复解重迭子问题的knapsack算法要强一些。此外，在程序中加入判别哪些子问题需要求解的语句，只解那些肯定要解的子问题，从而节省了时间。

②自底向上的方式

假设我们要解决在分析函数knapsack当中提出的那个具体的背包问题。观察一下在调用memorized_knapsack(4)的过程中，s[k]被计算出来的顺序。我们发现，首先是s[0]被计算出来，然后是s[1]，s[2]，最后s[3]被计算出来，这与调用的次序正好相反。

动态规划的执行方式是自底向上，所有的子问题计算一次，充分利用重迭子问题。因此，我们很自然就想到与这种自底向上的执行方式相应的采用自底向上的方式递推所有子问题的最优值。

我们知道，计算负重能力为k的背包问题的解仅依赖于计算负重能力小于k的背包问题的解，因此填s表的方式与解决负重能力递增的背包问题相对应：

最初设定负重能力为0的背包问题的解s[0]=0。然后依次考虑负重能力为1，2，…，m

的背包问题的解。每填入一个s[k](0≤k≤m)时，充分利用所有重迭子问题的解：s[k-w[i]](0≤i≤n，k-w[i]≥0)

下面是按照自底向上方式计算背包问题的算法流程。过程knapsack_order输入背包的负重能力k，s表设为全局变量。过程执行后所有子问题的解通过s表传给主程序。

procedure knapsack_order(k:integer);

begin

for i:=1 to k do s[i]:=0;

for j:=1 to k do

for i:=1 to n do

if j-w[i]>=0 then

begin

t:=s[j-w[i]]+v[i];

if s[j] < t then s[j]:=t;

end;

end;

我们在主程序调用knapsack_order(m)，过程执行后s[m]即为背包问题的解。

最后，我们分析一下背包问题的动态规划解法的复杂度。所需的存储开销主要在s表上，其空间复杂度是O(m)。而整个s表用两重循环求出，循环内语句的执行只需常数时间，因此，时间复杂度是O(m,n)。

自顶向下的记忆化是动态规划的一种变形。动态规划的执行方式是自底向上，因此自底向上的计算方式是与动态规划的执行方式相一致的。它无需递归代价，且维护记忆表的开销也要小些，因此其效率通常好于自顶向下的记忆法。

但是，在动态规划的执行过程中，并不是所有的子问题都要用到它。对某个具体问题而言，可能有大部分子问题的最优值是不必计算的。自底向上的计算方式无法判断那些子问题是需要求解的，所以它将一视同仁地处理所有的子问题，这就可能会把大量的时间都花在计算不必解决的子问题上；而自顶向下的记忆法可以判断那些子问题是需要求解的，只解那些肯定要解的子问题，在这个意义上，自顶向下的算法效率又好于自底向上。所以到底那种方式效率更高，我们要具体问题具体分析。

最后，给出求解背包问题的程序如下：

{//背包问题程序}

program knapsack;

const

maxn=100;

maxm=1000;

var

m,n:integer;

S:array[0..maxm] of integer;

v,w:array[1..maxn] of integer;

{//输入数据}

procedure read_data;

var i:integer;

begin

read(m,n);

for i:=1 to n do read(v[i],w[i]); end;

{//采用自底向上的方式求解背包问题} procedure knapsack_order;

var i,j,t:integer;

begin

for i:=1 to m do s[i]:=0;

for j:=1 to m do

for i:=1 to n do

if j-w[i]>=0 then

begin

t:=s[j-w[i]]+v[i];

if s[j] < t then s[j]:=t;

end;

end;

{//主程序}

begin

read_data;

knapsack_order;

writeln(s[m]);

end.

如果想知道选择了哪些物品，那么应将程序作些改动，具体就是对选中的物品做一标记。见参考程序，其中的数据输入采用文件输入，输入文件为bbinput.txt（第1行为背包负重能力和物品种数，第2行为每种物品的价值，第三行为每种物品的重量）。

动态规划的正向思维法

正向思维法是指从初始状态或边界状态出发，利用某种规则不断到达新的状态，直到问题目标状态的方法。动态规划的正向思维法，正是从已知最优值的初始状态或边界状态开始，按照一定的次序遍历整个状态空间，递推出每个状态所对应问题的最优值。

提出动态规划的正向思维法的根本原因，是为了摆脱逆向思维法当中那种将大问题转化为子问题的思维框框，提供一种新的思维方式。在正向思维法中，我们不再区分原问题和子问题，将动态规划的过程看成是从状态到状态的转移。我们将所有的状态构造出一个状态空间，并在状态空间中设想一个状态网络，若对两个状态i,j，存在决策变量di使t(i，di)=j，则向状态网络添加有向边。给定己知最优值的初始状态或边界状态，我们可以沿着有向边推广到未知最优值的新状态，利用状态转移方程得到新状态的状态变量的最优值。我们可以用这种方式遍历整个状态空间，得到每个状态的状态变量的最优值。

因为正向思维法中不再区分原问题、子问题、子子问题，所以我们不再按照问题被递归调用求解的相反次序的方法确定状态最优值的计算次序。从上面我们知道可以按照状态的拓扑序列来计算每个状态的最优值，于是我们用一个新的名词“阶段”来描述在状态空间遍历的过程中，各个状态最优值的计算次序。我们将每个状态和一个阶段挂钩，前一个阶段的状态先计算，后一个阶段的状态后计算。有的时候我们甚至将一组状态和一个阶段挂钩，前一个阶段的那组状态先计算，后一个阶段的那组状态后计算，而在同一个阶段内，那些状态的计算次序可以是任意的。

动态规划的正向思维法的要点可归纳为以下三个步骤：

(1)构造状态网络；

(2)根据状态转移关系和状态转移方程建立最优值的递推计算式：

(3)按阶段的先后次序计算每个状态的最优值。

在下一节“最短路问题”当中，我们将结合最短路问题来示范动态规划的正向思维法。

动态规划的正向思维法带给我们什么启示呢?动态规划需要按阶段遍历整个状态空间，因此动态规划的效率取决于状态空间的大小和计算每个状态最优值的开销：如果状态空间的大小是多项式的，那么应用动态规划的算法就是多项式时间的；如果状态空间的大小是指数的，那么应用动态规划的算法也是指数时间的。因此，找一个好的状态划分对动态规划的效率是至关重要的。

将这个结论应用到逆向思维上，我们得出如下结果：一个问题的最优子结构常常暗示了动态规划的状态空间。典型的情况是，某一个特定问题可有几类“自然”的子问题，不同的子问题往往意味着不同的最优子结构，从而我们得到不同的状态划分方案。但是由这些不同的状态得到的算法的效率可能差异极大。例如，某个问题的输入是一个有序序列，有两类“自然”的子问题，一类子问题的输入是原问题输入序列的所有子序列，另一类子问题的输入是原问题输入序列的任意元素构成的新序列。显然若我们采用后者的最优子结构来建立状态，

它的状态空间必然远远大于基于前者的状态空间。那末基于后者的状态空间的动态规划则要解许多不必要的问题，使得算法的效率骤然下降。

从动态规划的正向思维法的分析可以看出，我们从已知最优值的初始状态和边界状态出发，利用最优化原理，一步一步向未知的目标状态推进，直到目标状态的最优值解决。这种“从己知推广到未知”的思维，正是动态规划正向思维法的精髓。大家在运用动态规划的正向思维法时如果能掌握这一点，那么就能达到应用自如的境界。

在应用动态规划求解的问题的过程中，希望读者能够注意从题目的分析中领会：应用动态规划解题是富于技巧和创造性的，没有固定的模式可套；题目出现的形式多种多样，而且大部分表面上与动态规划看不出直接的联系。只有在充分把握其思想精髓的前提下大胆联想，才能达到得心应手，灵活运用的境界。

动态规划设计方法的一般模式

动态规划所处理的问题是一个多阶段决策问题，一般由初始状态开始，通过对中间阶段决策的选择，达到结束状态。这些决策形成了一个决策序列，同时确定了完成整个过程的一条活动路线(通常是求最优的活动路线)。如图所示。动态规划的设计都有着一定的模式，一般要经历以下几个步骤。

┌───┐ ┌───┐ ┌───┐

初始状态→│决策１│→│决策２│→…→│决策ｎ│→结束状态

└───┘ └───┘ └───┘

图1 动态规划决策过程示意图

(1)划分阶段：，按照问题的时间或空间特征，把问题分为若干个阶段。在划分阶段时，注意划分后的阶段一定要是有序的或者是可排序的，否则问题就无法求解。

(2)确定状态和状态变量：将问题发展到各个阶段时所处于的各种客观情况用不同的状态表示出来。当然，状态的选择要满足无后效性。

(3)确定决策并写出状态转移方程：因为决策和状态转移有着天然的联系，状态转移就是根据上一阶段的状态和决策来导出本阶段的状态。所以如果确定了决策，状态转移方程也就可写出。但事实上常常是反过来做，根据相邻两段各状态之间的关系来确定决策。

(4)寻找边界条件：给出的状态转移方程是一个递推式，需要一个递推的终止条件或边界条件。

(5)程序设计实现：动态规划的主要难点在于理论上的设计，一旦设计完成，实现部分就会非常简单。

根据上述动态规划设计的步骤，可得到大体解题框架如图2所示。

图2 动态规划设计的一般模式

上述提供了动态规划方法的一般模式，对于简单的动态规划问题，可以按部就班地进行动态规划的设计。

下面，给出一个利用动态规划方法求解的典型例子。

【例题6】数字三角形问题。图3示出了一个数字三角形宝塔。数字三角形中的数字为不超过100的整数。现规定从最顶层走到最底层，每一步可沿左斜线向下或右斜线向下走。任务一：假设三角形行数≤10，键盘输入一个确定的整数值M，编程确定是否存在一条路径，使得沿着该路径所经过的数字的总和恰为M，若存在则给出所有路径，若不存在，则输出“NO Answer!”字样。

任务二：假设三角形行数≤100，编程求解从最顶层走到最底层的一条路径，使得沿着该路径所经过的数字的总和最大，输出最大值。

输人数据：由文件输入数据，任务一中文件第一行是三角形的行数N和整数值 M。以后的N行分别是从最顶层到最底层的每一层中的数字。任务二中文件数据格式同任务一，只是第一行中没有整数值M。在例子中任务二的文件数据表示如下：

输入：5

7 输出：

3 8 7 输出路径和最大值

8 1 0 3 8 或“No Answer!”字样。

2 7 7 4 8 1 0

4 5 2 6 5 2 7 4 4

图3 数字三角形 4 5 2 6 5

【分析】对于这一问题，很容易想到用枚举的方法去解决，即列举出所有路径并记录每一条路径所经过的数字总和。然后判断数字总和是否等于给定的整数值M或寻找出最大的数字总和，这一想法很直观，而且对于任务一，由于数字三角形的行数不大(<＝10)，因此其枚举量不是很大，应该能够实现。但对于任务二，如果用枚举的方法，当三角形的行数等

于100时，其枚举量之大是可想而知的，显然，枚举法对于任务二的求解并不适用。其实，只要对对任务二稍加分析，就可以得出一个结论：

如果得到一条由顶至底的某处的一条最佳路径，那么对于该路径上的每一个中间点来说，由顶至该中间点的路径所经过的数字和也为最大。因此该问题是一个典型的多阶段决策最优化的问题。算法设计与分析如下：

对于任务一，合理地确认枚举的方法，可以优化问题的解法。由于从塔顶到底层每次都只有两种走法，即左或右。设“0”表示左，“1”表示右，对于层数为N的数字塔，从顶到底的一种走法可用一个N-1位的二进制数表示。如例中二进制数字串1011，其对应的路径应该是：8—1—4—6。这样就可以用一个N—l位的二进制数来模拟走法和确定解的范围。穷举出从0到2n-1个十进制数所对应的N-1位二进制串对应的路径中的数字总和，判定其是否等于M而求得问题的解。

对于任务二，采用动态规划中的顺推解法。按三角形的行划分阶段，若行数为 n，则可把问题看做一个n-1个阶段的决策问题。从始点出发，依顺向求出第一阶段、第二阶段……第n—1阶段中各决策点至始点的最佳路径，最终求出始点到终点的最佳路径。

设：f k(U k)为从第k阶段中的点Uk至三角形顶点有一条最佳路径，该路径所经过的数字的总和最大，f k(U k)表示为这个数字和；

由于每一次决策有两个选择，或沿左斜线向下，或沿右斜线向下，因此设：

U k1为k-1阶段中某点U k沿左斜线向下的点；

U k2为k-1阶段中某点U k沿右斜线向下的点；

d k(U k1)为k阶段中U k1的数字；d k(U k2)为k阶段中U k2的数字。

因而可写出顺推关系式(状态转移方程)为：

f k(U k)=max{f k-1(U k)+d k(U k1)，f k-1(U k)+d k(U k2)}(k=1，2，3，…，n)

f0(U0)＝0

经过一次顺推，便可分别求出由顶至底N个数的N条路径，在这N条路径所经过的N个数字和中，最大值即为正确答案。

动态规划方法实现的灵活性与技巧性

上述例子给出了一般情况下的动态规划思维过程。一些较为简单的问题可以“按部就班”来操作，但大多数的“动态规划”问题，特别是作为信息学竞赛中的“动态规划”问题，考察的知识是多方面的，应用的技巧是灵活多变的。下面给出上述例5变形的例子。

【例题7】花店橱窗布置问题(…99IOI试题)。假设以最美观的方式布置花店的橱窗，有F 束花，每束花的品种都不一样，同时，至少有同样数量的花瓶，被按顺序摆成一行，花瓶的位置是固定的，并从左到右，从1到V顺序编号，V是花瓶的数目，编号为1的花瓶在最左边，编号为V的花瓶在最右边，花束可以移动，并且每束花用1到F的整数惟一标识，标识花束的整数决定了花束在花瓶中列的顺序即如果I < J，则花束I必须放在花束J左边的花瓶中。例如，假设杜鹃花的标识数为1，秋海棠的标识数为2，康乃馨的标识数为3，所有的花束在放人花瓶时必须保持其标识数的顺序，即：杜鹃花必须放在秋海棠左边的花瓶中，秋海棠必须放在康乃馨左边的花瓶中。如果花瓶的数目大于花束的数目，则多余的花瓶必须空，即每个花瓶中只能放一束花。

每一个花瓶的形状和颜色也不相同，因此，当各个花瓶中放人不同的花束时会产生不同的美学效果，并以美学值(一个整数)来表示，空置花瓶的美学值为0。在上述例子中，花瓶与花束的不同搭配所具有的美学值，可以用如下表格表示：

┌───┬───┬───┬───┬───┬───┐

││花瓶1 │花瓶2 │花瓶3 │花瓶4 │花瓶5 │

├───┼───┼───┼───┼───┼───┤

│杜鹃花│ 7 │ 23 │ -5 │ -24 │ 16 │

├───┼───┼───┼───┼───┼───┤

│秋海棠│ 5 │ 21 │ -4 │ 10 │ 23 │

├───┼───┼───┼───┼───┼───┤

│康乃馨│ -21 │ 5 │ -4 │ -20 │ 20 │

└───┴───┴───┴───┴───┴───┘

根据表格，杜鹃花放在花瓶2中，会显得非常好看，但若放在花瓶4中则显得很难看。为取得最佳美学效果，必须在保持花束顺序的前提下，使花的摆放取得最大的美学值，如果具有最大美学值的摆放方式不止一种，则输出任何一种方案即可。题中数据满足下面条件：1≤F≤100，F≤V≤100，－50≤A IJ≤50，其中AII是花束I摆放在花瓶J中的美学值。输入整数F，V和矩阵(A IJ)，输出最大美学值和每束花摆放在各个花瓶中的花瓶编号。

[分析]问题实际就是给定F束花和V个花瓶，以及各束花放到不同花瓶中的美学值，要求你找出一种摆放的方案，使得在满足编号小的花放进编号小的花瓶中的条件下，美学值达到最大。

(1)将问题进行转化，找出问题的原型。首先，看一下上述题目的样例数据表格。

将摆放方案的要求用表格表现出来，则摆放方案需要满足：每行选且只选一个数(花瓶)；摆放方案的相邻两行中，下面一行的花瓶编号要大于上面一行的花瓶编号两个条件。这时可将问题转化为：给定一个数字表格，要求编程计算从顶行至底行的一条路径，使得这条路径所经过的数字总和最大(要求每行选且仅选一个数字)。同时，路径中相邻两行的数字，必须保证下一行数字的列数大于上一行数字的列数。

看到经过转化后的问题，发现问题与例题6的数学三角形问题十分相似，数字三角形问题的题意是：

给定一个数字三角形，要求编程计算从顶至底的一条路径，使得路径所经过的数字总和最大(要求每行选且仅选一个数字)。同时，路径中相邻两行的数字，必须保证下一行数字的列数与上一行数字的列数相等或者等于上一行数字的列数加1。

上例中已经知道：数字三角形中的经过数字之和最大的最佳路径，路径的每个中间点到最底层的路径必然也是最优的，可以用动态规划方法求解，对于“花店橱窗布置”问题经过转化后，也可采取同样的方法得出本题同样符合最优性原理。因此，可以对此题采用动态规划的方法。

(2)对问题原型动态规划方法的修改。“数字三角形”问题的动态规划方法为：已知它是用行数来划分阶段。假设用a[i，j]表示三角形第i行的第j个数字，用p [i，j]表示从最底层到a[i,j]这个数字的最佳路径(路径经过的数字总和最大)的数字和，易得问题的动态转移方程为：

p[n+1,j]=0 (1≤i≤n+1)

p[i,j]=max{p[i+1,j],p[i+1,j+1]}+a[i,j]

(1≤i≤i≤n，其中n为总行数)

分析两题的不同之处，就在于对路径的要求上。如果用path[i]表示路径中第 i行的数字编号，那么两题对路径的要求就是：“数字三角形”要求path[i]≤path[i+1]≤path[i]+1，而本题则要求path[i+1)>path[i]。

在明确两题的不同之后，就可以对动态规划方程进行修改了。假设用b[i，j]表示美学值表

格中第i行的第j个数字，用q[i，j]表示从表格最底层到b[i，j]这个数字的最佳路径(路径经过的数字总和最大)的数字和，修改后的动态规划转移方程为：

q[i,V+1]=-∞(1≤i≤F+1)

q[F，j]=b[F，j](1≤j≤V)

q[i，j]=max{q[i+1，k](j

这样，得出的max{q[1，k]} (1≤j≤V)就是最大的美学值，算法的时间复杂度为O(FV2)。

(3)对算法时间效率的改进。先来看一下这样两个状态的求解方法：

q[i,j]=max{q[i+1，k] (j < k≤V+1)}+b[i，j] (1≤i≤F，1≤j≤V)

q[i,j+1)=max{q[i+1，k] (j+1 < k≤V+1)}+a[i，j+1) (1≤i≤F，1≤j+1≤V)

上面两个状态中求max{q[i+1，k]}的过程进行了大量重复的比较。此时对状态的表示稍作修改，用数组t[i，j]=max{q[i,k](j≤k≤V+1)}(1≤i≤F，1≤j≤V)表示新的状态。经过修改后，因为q[i，j]=t[i+1，j+1]+a[i，j]，而t[i，j]=max{t[i，j+1]，q[i,j}(1≤i≤F，1≤j≤V)，所以得出新的状态转移方程：

t[i,V+1]=-∞(1≤i≤F十1)

t[F，j]=max{t[F，j+1]，b[F，j]} (1≤j≤V)

t[i,j]=max{t[i，j+1]，t[i+1，j+1]+a[i，j]} (1≤i≤F，1≤j≤V)

这样，得出的最大美学值为t[1,1]，新算法的时间复杂度为O(F*V)，而空间复杂度也为O(F*V)，完全可以满足1≤F≤V≤100的要求。下面给出这一问题的源程序。

{$A+，B-，D+，E+，F-，G-，I+，L+，N-，O-，P-，Q-，R-，S+，T-，V+，X+}

{$M16384，0，655360}

program ex；{花店橱窗布置问题}

const st1='flower.inp'; {输入文件名}

st2='flower.out'; {输出文件名}

var f，v：integer； {f为花束的数量；v为花瓶的数量}

b：array[1．．100，1．．100] of shortint；

{b[i,j]为第i束花放进第j个花瓶的美学值}

t：array[1．．101，1．．101] of integer；

{t[i，¨为将第i到第f束花放进第j到第v个花瓶所可能得到的最大美学值}

procedure readp； {从文件中读入不同花束对应不同花瓶的美学值}

var f1：text；

i，j：integer；

begin

assign(f1,st1)；reset(f1)；

readln (f1, f, v);

for i:=1 to f do

for j:=1 to v do

read (f1, b [i, j]);

close (f1); end;

procedure main; {用动态规划对问题求解}

var i, j: integer; begin

for i:=1 to f+1 do t[i, v+1]:=-9999;

for j:=v downto 1 do

if t[f, j+l] > b[f, j]

then t[f,j]:=t[f, j+1]

else t[f,j]:=b[f,j];

{设定动态规划的初始条件，其中-9999表示负无穷}

for i:=f-1 downto 1 do

for j:= v downto 1 do begin

t[i, j]:=t[i, j+1];

if t[i+1, j+1] + b[i, j] > t[i, j] then

t[i, j]:=t[i+1, j+1] +b[i, j];

end; end;

procedure print;

{将最佳美学效果和对应方案输出到文件}

var f1: text;

i,j,p: integer;

{为当前需确定位置的花束编号，p为第i束花应插入的花瓶编号的最小值} begin

assign (f1, st2); rewrite (f1);

writeln (f1, t [1, 1]);

p:=1;

for i:=1 to f do begin {用循环依次确定各束花应插入的花瓶}

j:=p;

while t[i, j] =t[i, p] do inc (j);

write (f1, j-1,' '); p:=j;

end;

writeln (f1);

close (f1);

end;

begin

readp;

main;

print;

end.

由此可看出，对于看似复杂的问题，通过转化就可变成简单的经典的动态规划问题。在问题原型的基础上，通过分析新问题与原问题的不同之处，修改状态转移方程，改变问题状态的描述和表示方式，就会降低问题规划和实现的难度，提高算法的效率。由此可见，动态规划问题中具体的规划方法将直接决定解决问题的难易程度和算法的时间与空间效率，而注意在具体的规划过程中的灵活性和技巧性将是动态规划方法提出的更高要求。

动态规划的深入思考——时间效率

动态规划是一种重要的程序设计思想，具有广泛的应用价值。使用动态规划思想来设计算法，对于不少问题的解决往往具有高时效，从理论上讲，对于规模为N的问题，搜索算法的时间复杂度为O(N!)，“动态规划”算法的时间复杂度是O (N2)。这两个时间根本就不是一个数量级的，因而，对于能够使用动态规划思想来解决的问题，使用动态规划是比较明智的选择。

动态规划之所以具有高时效，是因为它在将问题规模不断减小的同时，有效地把解记录下来，从而避免了反复解同一个子问题的现象，因而只要运用得当，较之搜索而言，效率就会有很大的提高。

现在，回头看看例题2的求解最短路径问题的解法，这个问题当然可以用搜索方法来做，程序也很容易编写出来，这里，先给出搜索方法解决这一问题的算法如下：设：dis[X]为城市X到E的最短路线的长度；(X表示任意一个城市)

map[I，J]表示I，J两个城市间的距离，若map[I，J]=0，则两个城市不连通。

Var

se：未访问的城市集合；

Function distance(who：当前访问城市)：integer；求当前访问城市与城市E的最短距离。 begin

lf who=E then search:=0

Else begin

min:=maxint；

For I 取遍所有城市 do

lf (map[who，I]>0) and (i in se) then

begin

se:=se[i]；j:=map[who，I]+Long(I)；se:=se+[I]；

IF J < Min then min:=J；

end；

distance:=min；

end；

end；

begin

se:=除A外所有城市的集合；

dis[A]:=distance(A)；

end．

从上述算法中可以看到，每次除了已经访问过的城市外，其他城市都要访问。例如，在求从B1到E的最短路径的时候，先求出从C2到E的最短路径；而在求从 B2到E的最短路径的时候，又求了一遍从C2到E的最短路径。也就是说，从C2到 E的最短路径求了两遍。同样可以发现，在求从C1、C2到E的最短路径的过程中，从D1到E的最短路径也被求了两遍。而在整个程序中，从D1到E的最短路径被求了四遍，整个过程中做了大量的重复工作。因此，整个算法的时间复杂度为O (N!)，显然是一个“指数级”的算法。

通过前面的学习，已知最短路问题是一个满足最优话化原理和无后效性的问题，因此，可以用动态规划方法求解，以下是动态规划方法的算法描述：

(有关变量定义同搜索算法)

dis[E]=0{初始化}

For X=阶段3的每个城市downto阶段0的每个城市 Do

begin

dis[X]:=maxint；

For Y=阶段X的下一个阶段中的每个城市 do

If dis[Y]+map[X，Y] < dis[X] Then

dis[X]:=dis[Y]+map[X，Y]；

end；

从上述算法中可以看出，在求解的过程中，同时将求得的最短路径的距离存储下来，随时调用，同时，算法只需要一个双重循环就可以完成，因此算法的时间复杂为O(N2)，比搜索算法的时间复杂度要小得多。

正是因为动态规划方法在时间效率上的优势，在竞赛中，经常出现用动态规划求解的问题。近年来，动态规划问题的隐蔽性越来越大，所以在思考问题的解决办法时，如果问题对于算法的时间要求较高时，就必须要考虑清楚，切不可凭第一感觉便下手，而要多进行分析，找出最佳的方法，这时动态规划方法不失为一种较好的选择。

动态规划与其他算法的比较

动态规划与其说是一种算法，不如说是一种算法设计的策略，他的基本思想体现于许多其它算法之中。下面我们通过比较动态规划和其他的一些算法之间的相互联系，来深入理解动态规划的基本思想。

动态规划与静态规划的关系

动态规划与静态规划(线性和非线性规划等)研究的对象本质上都是在若干约束条件下的函数极值问题。两种规划在很多情况下原则上可以相互转换。

动态规划可以看作求决策u1,u2,...,u n，使指标函数V1n(x l,u1,u2,...,u n)达到最优(最大或最小)的极值问题，状态转移方程、端点条件以及允许状态集、允许决策集等是约束条件，原则上可以用非线性规划方法求解。

一些静态规划只要适当引入阶段变量、状态、决策等就可以用动态规划方法求解。下面用例子说明：

[例8]用动态规划解下列非线性规划:

其中g k(u k)为任意的已知函数。

解：按变量u k的序号k划分阶段，看作n段决策过程；设状态为x1,x2,..x n，取问题中的变量u1,u2,..,u n为决策；状态转移方程为：

取g k(u k)为阶段指标，最优值函数的基本方程为(注意到x n+1=0)：

解此动态规划即可得到原静态规划的解。