随机过程第5章

第五章 离散参数Markov 链

5.1 Markov 链的基本概念 1．Markov 链和转移概率矩阵 定义5-1

考虑只取有限个或可数个值的随机过程

{},0,1,2,n

X n = ．

把过程所取可能值的全体称为它的状态空间，记之为E ，通常假{}0,1,2,E = ．

若n X i =就说“过程在时刻n 处于状态i ”．

若对任意状态011,,,(,n 0)n i i i i j -≥ 及任意的有

11111001(|,,,,)(|)

n n n n n n n P X j X i X i X i X i P X j X i +--+======== 这样的随机过程称为Markov 链．

假设每当过程处于状态i ，则在下一个时刻将处于状态j 的概率是固定的ij

p ，即对任意时刻n ，有1

(|)n n

ij

P X j X i p +===，称过程具有齐次性．

称矩阵

0001

0201011121012j j i i i ij p p p p p p p p P p p p p ??

??????=????????

是一步转移概率矩阵，简称为转移矩阵． 由ij

p 的定义可知，这是一种带有平稳转移概

率的Markov 链，也称作时间齐次Markov 链或简称时齐次Markov 链．我们研究的均为齐次马氏链．

2．例题

例5-1（直线上的随机游动）

考虑在直线上整数点上运动的粒子，当它处于位置j 时，向右转移到j+1的概率为p ，而向左移动到j-1的概率为q=p-1，又设时刻0时粒子处在原点，即00X =．于是粒子在时刻n 所处的位置{}n X 就是一个Markov 链，且具有转移概率

,1,10,jk p k j p q k j =+??

==-???

其他

当12

p q ==时，称为简单对称随机游动．

例5-6（排队模型）

考虑顾客到服务台排队等候服务，在每个服务周期中只要服务台前有顾客在等待，就要对排队在队前的一位顾客提供服务，若服务台前无顾客时就不实施服务．设在第n 个服务周期中到达的顾客数为一随机变量n Y ，且序列{}n

Y 是独立同分布随机序列，即

(),0,1,2,,n k P Y k p k === 且0

1k k p ∞

==∑

设n X 为服务周期n 开始时服务台前顾客数，则有

1

1,1,

0n n n n n n X Y X X Y X +-+≥?=?=?若若

此时{},1n

X

n ≥为一Markov 链，其转移概率矩

阵为

01

2340123401230120

00p p p p p p p p p p P p p p p p p p ????????=????????

例5-8（生灭链）

观察某种生物群体，以n X 表示在时刻n

群体的数目，设为i 个数量单位，如在时刻n+1增生到i+1个数量单位的概率为i b ，减灭到i-1个数量单位的概率为i a ，保持不变的概率为1()i i i r a b =-+，则{},0n

X n ≥为齐次马尔可夫链，{}0,1,2,E = ，其转移概率为

,1,,1i ij i i

b j i p r i j

a j i =+??

==??=-? 0(0)a =,称此马尔可夫链为生灭链．

3．定理5-1

设随机过程{}n

X 满足：

（1）1(,)(1),n n n X f X n ξ-=≥其中:f E E E ?→，且n ξ取

值在E 上； （2）{},1n

n ξ

≥为独立同分布随机变量，且0X 与

{},1n n ξ≥也相互独立，则{}n X 是Markov 链，

而且其一步转移概率为，对于任意,i j E ∈，

1((,))ij p P f i j ξ==

证明：

设1n ≥，由上面(1)、(2)可知，1n ξ+与12,,,n

X X X 互相独立，所以有

1110011100111001(|,,,)((,)|,,,)((,)|,,,)((,))

n n n n n n n n n n n n n n P X j X i X i X i P f X j X i X i X i P f i j X i X i X i P f i j ξξξ+--+--+--+================

同理

111001(|,,,)(|)n n n n n n P X j X i X i X i P X j X i +--+=======

即{}n

X 是Markov 链，由时间齐次性，其一步转移概率为

1((,))ij p P f i j ξ==

于是定理5-1得证．

4．定理5-2

时齐次Markov 链{}n

X 完全由其初始状态的概率分布0(),1,2,i p P X i i ===

和其转移概率矩阵()ij

P p =所确定．

证明：

对于任意12,,,n i i i E ∈ ，计算有限维联合分布，由概率的乘法公式及马氏性可知

1001121001100111100111100111111001111(,,,)

(,,,)(|,,,)(,,,)(|)(,,,)n n n n

n n n n n n n n n n n n n n n n i i i i i i i i i P X i X i X i P X i X i X i P X i X i X i X i P X i X i X i P X i X i P X i X i X i p p p p p ------------======================

定理5-2得证． 5．例题 例5-9

（1）（二项过程的概念）设在每次试验中，事件A 发生的概率为(01)p p <<，独立地重复进行这项试验，以n Y 表示到第n 次为止事件A 发生的次数，则{},1,2,n

Y n = 是一个二项过程．

说明：令n X 表示第n 次试验中事件A 发生的次数，则n X ~(0)1,(1),1,2,n n P X p P X p n ==-=== 且独立．（易知{},1n

X n ≥为马氏过程）

而1,1,2,n n Y X X n =++= 服从二项分布(,)B n p ，故称此{},1n

Y n ≥为二项过程．

（2）二项过程具有独立平稳增量性． 证明：易知增量1n l n n n l Y Y X X +++-=++ ，

1121n l k n l n l n l k Y Y X X ++++++++++-=++ ，等等相互独立；

且~(,),1,2,n m n Y Y B m p n +-= ，即具有平稳性． 即{},1n

Y n ≥为一个独立平稳增量过程．

（3）独立平稳增量过程为马氏过程．

5.2 C-K 方程

1．定理5-3 Chapman-Kolmogorov 方程 对任何整数,0m n ≥， 有()()()

m n m n ij

ik kj k E

p

p p +∈=∑或()()()m n m n P P P +=?

证明：这里只需要证明()

(1)

n n P PP -=成立，再依次递推即可证明本定理．（？）

因为

()0100100101010(1)

(|)

(,|)

(|)(|,)

(|)(|)(n ij n n k n k n k n ik kj k P P X j X i P X j X k X i P X k X i P X j X i X k P X k X i P X j X k p p ∞

=∞=∞

=∞

-====================∑∑∑∑由马氏性）

根据矩阵的乘法规则，知()

(1)n n P PP -=．

定理得证．

注：定义m 步转移概率()(|)

m ij

n m n p

P X j X i +===，

()m ij

p 表示给定时刻n 时，过程处于状态i ，间隔m 步之后过程在时刻n+m 转移到了状态j 的条件概率．还约定(0)1ii

p =，(0)0ij

p =，i j ≠

以()n ij

p 表示第i 行、第j 列的元素矩阵()

n P =(()n ij

p ),称为Markov 链的n 步转移概率矩阵．

2．例题（两状态Markov 链） 例5-10

在重复独立贝努里（Bernoulli ）试验中，每次试验有两种状态{}0,1E =，设{}n

X 表示第n 次试验中出现的结果，且有

(1),(0)1,1,2,n n P X p P X q p n =====-=

其中01p <<，则{},1n

X n ≥显然是独立同分布随机序列，从而它是Markov 链．于是经过计算有

00100111,p p q p p p ====

所以，一步转移概率矩阵为

q p P q

p ??=?

???

而且有

()

n q

p P

P q p ??

==????

5.3 Markov 链的状态分类 1．互通 定义5-2

称自状态i 可达状态j ，并记i j →，如果存

在0n >，使()

0n ij

p >，称状态i 与j 互通（相同，互达），并记为i j ?，如i j →且j i →

2．定理5-4

可达关系与互通关系都具有传递性，即如果i j →且j k →，则i k → 证：

因为有i j →，j k →，所以存在1,1l m ≥≥，使

()()

0,0l m ij jk p p >>

由C-K 方程

()()()()()0l m l m l m ik is sk ij jk s

p p p p p +=≥>∑

这里1l m +≥，所以i k →成立．

若将可达关系得证明正向进行，再反向进

行，就可得出互通关系的传递性，证毕． 3．定义5-3 设{},1n

X

n ≥为齐次Markov 链，其状态空间为

E 。对于任意i E ∈，如果集合{}():,1n ii

n p n ≥非空，

则称该集合的最大公约数()d d i =为状态i 的

周期，若1d >就称状态i 为有周期的，且周期为d ；若1d =就称状态i 为非周期的． 4．定理5-5

如果Markov 链状态i 的周期为d ，则存在正整数M ，对一切n M ≥，有()0nd ii

p >

证：设{}{}()12:,1,,n ii

n p n n n ≥= ，令

{}12,,,k k d n n n = 集合的最大公约数

则

121d d d ≥≥≥≥

故存在正整数N ，使得1N N d d d -=== ，因此

,i j E ∈{}12,,,N d n n n = 集合的最大公约数

故存在正整数M ，对一切n M ≥，由初等数论有 1

(N

k k

k k nd n αα==∑为正整数）

由于()0(1,,)k n ii

p k N >= ，因而当n M ≥时

1

1122(

)

()()()()()

1

()0N

k k k N N k k

N

n n n n n nd ii

ii ii

ii

ii

ii k p

p p

p

p

p ααααα==∑=≥≥>∏

定理5-5得证． 5．首达概率

设状态,i j E ∈，首达概率定义为

()00(|)

(,,11|)

n ij ij n k f P T n X i P X j X j k n X i =====≠≤≤-=

而且令

(0)0,ij f i j =≠

()n ij f 表示过程从状态i 出发经n 步首次到达状

态j 的概率，称为首达概率．再令

()1n ij ij n f f ∞

==∑

它表示过程从状态i 出发经有限步到达状态j 的概率，即从状态i 出发经有限步终于到达状态j 的概率．

()01

1

({,1,,1,})n ij ij k n n n f f P X j k n X j X i ∞

∞

====≠=-==∑ ()1P ≤Ω=

6．常返 定义5-6

称状态i 为常返的，如果1ii f =；称状态i 为

非常返的（或称为瞬时的），如果1ii f < 定义5-7

设状态i 为常返状态（即1ii f =），如果i μ<∞，则称常返态i 为正常返的；如果i μ=∞，则称常返态i 为零常返的．非周期的正常返态称为遍历状态．

注：对于常返态i ，由定义知()1

1n ii

ii n f

f ∞

===∑，即

(){,1}n ii f n ≥构成一概率分布，此分布的数学期望

为()

1

n i

ii

n nf μ∞

==∑，表示由i 出发再返回到i 的平

均返回时间． 7．定理5-6

对任意状态,i j E ∈及1n ≤<∞，有 ()()()()()

1

n

n

n k n k n k k ij

ij

jj

ij jj k k p

f

p

f p --====∑∑

证：由转移概率的定义得

()00101

0()()

1(|)

(,11,,|)

(|,,11,)(,11,|)n ij n n

v k n k n

n v k k v k n

n k k jj ij k p P X j X i P X j v k X j X j X i P X j X i X j v k X j P X j v k X j X i p f ==-=====≠≤≤-======≠≤≤-=?≠≤≤-===∑∑∑

注：定理5-6讨论了首达概率()n ij

f 与转移概率()n ij

p 之间的关系．C-K 方程及上式是马氏链的关键性公式，它们可以把()n ij

p 分解成较低步转移概率之和的形式．

8．定理5-7 对任意状态,,0ij

i j E f

∈>的充分必要条件是i j →

证：（1）充分性．

如果i j →，则存在1n ≥，使得()0n ij

p >，由定理

5-6有 ()()()1

0n

n k n k ij

ij jj k p

f p -==>∑

从而(1)(2)(),,,n ij

ij ij f f f 中至少有一个为正，所以

()1

0n ij ij n f f ∞

==>∑

（2）必要性． 如果0ij

f >，由()1

n ij ij n f f ∞

==∑，至少有一个1n ≥，使

得()0n ij

f >．由定理5-6有

()()()()(0)()

1

0n

n k n k n n ij

ij jj ij jj ij

k p

f p f p f -==≥=>∑ 即表明i j →成立，证毕．

9．定理5-8

状态i 常返的充分条件为

()

0n ii n p ∞

==∞∑ 如果状态i 为非常返，当且仅当

()

01

1n ii n ii

p f ∞

==<∞-∑

推论5-1

若状态j 为非常返的，则对于任意i E ∈，有 ()1n ij n p ∞

=<∞∑

()lim 0n ij n p →∞

=

推论5-2

若状态j 为常返态，则 （1）当i j →，有()1n ij

n p

∞

==∞∑

（2）当i 不可达j 时，有()1

0n ij

n p

∞

==∑

10．定理5-11

设i 常返且有周期d ，则

()

lim nd ii n i

d

p μ→∞

=

其中i μ为i 的平均返回时间．当i μ=∞时，0i

d

μ=

推论5-3

设i 是常返状态，则 i 是零常返状态()

lim 0n ii

n p

→∞

?= i 是遍历状态()1

lim 0n ii

n i

p

μ→∞

?=

>

11．定理5-12

如果i j ?（即互通），则

i 与j 同为常返或非常返，如果为常返，则它们同为正常返或零常返； i 与j 有同样的周期．

5.4 闭集与状态空间的分解 1．闭集 定义5-8

状态空间E 的子集C 称为（随机）闭集，如果对任意i C ∈及j C ?都有0ij

p =．若C 的状态是互通的，闭集C 称为不可约的．马氏链{}n

X 称为不可约的，如果其状态空间不可约．

2．相关引理 引理5-1

C 是闭集的充要条件是对任意的i C ∈，j C ?，都有()0,1n ij

p n =≥

引理5-2

设马氏链{}n

X 的状态空间为E ，已知状态i 常返，若i j →，则状态必常返，且1,ji

f i j =?

引理5-3

Markov 链具有如下性质：

（1） Markov 链所有常返态构成一闭集； （2） 不可约Markov 链或者全是常返态，

或者全是非常返态． 3．定理5-13（分解定理）

任一马氏链的状态空间E ，可唯一的分解成有限个或可列个互不相交的子集12,,,D C C 之和，使得

（1） 每一n C 是常返态组成的不可约闭集； （2） n C 中的状态同类，或全是正常返，或

全是零常返，它们有相同的周期且1,,jk

n

f j k C =∈；

（3） D 由全体非常返状态组成，自n C 中的

状态不能到达D 中的状态． 称n C 为基本常返闭集．

注：分解定理中的集D 不一定是闭集，但如果E 为有限集，D 一定是非闭集．因此，如果最初质点是自某一非常返状态出发，则它可能就一直在D 中运动，也可能在某一时刻离开D 转移到某一常返闭集n C 中．一旦质点进入n C 后，它将永远在此n C 中运动． 4．例题

例5-13（直线上的随机游动）考虑直线整数点 上运动的粒子，当它处于位置j 时，向右移动到1j +的概率为p ，而向左移动到1j -的概率为1q p =-，又设时刻0时粒子处于原点．李子在n 时刻所处的位置{}n X 为一个马氏链．证明其为不可约的，周期为2且是常返的． 证明：对于任意的n ，(21)00

0n p

+=

(2)(2)!

002!!

n n n n n n n n

n n p C p q p q ?==

根据Stirling

公式1

2

!n n n

e +-≈

2(2)00

n n

n

n p

≈

=

（1）p q ≠时，()00

1

n n p

∞

=<∞∑，因此0是非常返态；

（2）p q =时，()

00

1

n n p

∞

==∞∑，因此0是常返态，且

由于()00

lim 0n n p

→∞

=，0是零常返态．

例题5-15（见课本）

5.5 转移概率的极限状态与平稳分布 1．定理5-15

若j 为非常返状态或零常返状态，则对任意i E ∈，有

()

lim 0n ij n p →∞

= 证明：

当j 为常返状态时，由推论5-1有

()

lim 0n ij n p →∞

=且()1

n ij

n p ∞

=<∞∑ 当j 为零常返状态时，取m n <，有

()

()()()()()1

1

1

n

m

n

n l n l l n l l ij

ij

jj

ij

jj

ij l l l m p

f

p

f

p

f --===+=≤+

∑∑∑

固定m ，令n →∞，由推论5-3的结论知()0n l jj

p -→，故上式右方第一项趋于0；再令m →∞，第二项因为收敛()1

1n

l ij l m f =+<∑而趋于

0，于是有

()

lim 0n ij n p →∞

= 即证明了定理5-15成立．