随机过程及其应用-清华大学

4.1(等待时间的和)设诚恳按照参数λ的Poisson 过程来到公交站，公交车于时刻t 发出，那么在],0[t 时间段内到达的乘客等待时间总和的期望应该如何计算那？

对于某一个乘客而言，假设其到达时间为k t ，那么他等待时间就是

k t t -所以乘客总的等待时间为∑=-=)

(0)()(t N k k t t t S

使用条件期望来处理平均等待))(|)(())((n t N t E E t S E ==

对于某已成了而言，其到达时刻k t 随机],0[t 内均匀分布的随机变量。但在车站上，乘客是先后到达次序排队，所以在n t N =)(的条件下，

n t t t ,...,,21形成了独立均匀分布的顺序统计量。不过就他们的和n

t t ++...1而言，可以那他们看着顺序统计量，也可以把他们看着不排顺序的n 各独立的],0[t 内均匀分布的随机变量，所以

2))((2)2)(())((2

2)())(|)((2

0t t N E t t t N E t E E nt nt nt t E nt n t N t E E n

k k λ=

===-

=-==∑=从而有

4.2(数值记录)设},{N n X n ∈是一独立同分布的非负期望随机变量序列。定义风险率)(t λ如下)

(1)

()(t F t f t -=

λ 这里)()(t F t f 和分别是k X 的概率密度分布和分布函数。定义随机过程

)(t N 如下}),,..,max(:{#)(01t X X X X n t N n n n ≤>=-

这里A #表示集合A 中的元素个数。如果把)(t N 中的时间t 看做时间，那么)(t N 是一个非齐次Poisson 过程。事实上，由于k X 彼此独立，所以)(t N 具有独立增量性。很明显0)0(=N ，于是只需要检查一个时间微元内)(t N 的状态。

假定t ?充分小，在0,...,X X n 中只有n X 在],(t t t ?+上，因此

1

11-11-11111))

())(()((),...,(]),((),...,],,(()),...,max(],,(())

,...,max(],,(()1)()((--∞

=-?+?=≤≤?+∈=≤≤?+∈=>?+∈>?+∈==-?+∑n n n n n n n n n n n n t F t o t t f t X t X P t t X P t X t X t t X P X X X t t X P X X X t t X P t N t t N P

所以

)()()(1)()())(())()(()1)()((21

t o t t t F t o t t f x F t o t t f t N t t N P n n ?+?=-?+?=

?+?==-?+∑∞

=-λ

另一方面，可以证明)()2)()((t o t N t t N P ?=≥-?+ 所以)(t N 是非齐次的Poisson 过程，强度)(t λ。

这里所提到的风险率在可靠性研究中有着重要作用。假定某种起见的寿命为随机变量，其概率分布和密度分布为)()(t f t F 和，那么风险率微元)()(t o t t ?+?λ表示该器件在]1,0[时间段内为失效的条件下，将会在

],[t t t ?+内失效的概率。由此可以说明“风险”一次的含义。从而可

知，与指数相应的风险率是常数，而且在所有非负连续随机变量的分布函数中，唯有指数分布相应的风险率为常数。事实上，由

)

exp(1)(0

)0()),(1()(t t F F t F t F dt

d

λλ--==-=直接解得上式正好指数分布的分布函数。 4.3(Poisson 过程的和与差)两个独立的Poisson 过程的和仍然是Poisson 过程，事实上，设是两个和)()(21t N t N 独立的Poisson 过程，参数分别是21λλ和。则)()(21t N t N +的母函数为

))

1()exp((),(),()

)(()(),(21)()()()()()(21212121-+====++z t t z G t z G z z E z E t z G N N t N t N t N t N t N t N λλ所以)()(21t N t N +是参数2

1λλ+的Poisson 过程。类似的结论可以拓广到n 个独立的Poisson 过程的和：

如果个是，

n t N t N n )(...,)(1独立的Poisson 过程，参数分别为n λλ...,1，，那么)(...)(1t N t N n ++仍然是Poisson 过程，参数n λλ++...1。

考虑两个独立Poisson 过程差21)(N N t X -=。可以肯定，)(t X 不是Poisson 过程，因为0)0)((>

)

1)(()exp())1)(exp()1)(exp(exp()

()()))((exp()))(((exp())))

()(((exp()(2121)()(2121112

1

-+=--+-=-=-=-=-ωλλωλωλωφωφωωωωφj P t j t j t j j t N j E t N j E t N t N j E j t N t N N N

这里)exp()exp()(2

122

11ωλλλωλλλωj j j P -++

+=

所有)(t X 是Poisson 过程，其中Poisson 过程参数n λλ+1，随机变量k Y 服从两点分布：2

122

11)1(,)1(λλλλλλ+=

=+=

=k k Y P Y P

4.4(事件分类)[0,t]内进入商店的顾客服从Poisson 过程，顾客有男有女之分。如果每次进入商店的顾客中，男顾客出现的概率为p ，女顾客出现的概率为q ，1=+q p 那么每次进入想点的男顾客人数)(t N m 有

∑==)

(0)(t N k k

m Y t N 其中，k Y 为取值0,1独立同分布的随机变量，不妨设男顾

客出现时k Y 取1，

k Y

0 1 k Y P

q p

根据式))1)((exp())(()()()()()(1

-==ωφλωφωφt Y t Y t N t Y t j G j

)

1)(exp (exp()1)(exp (exp()

1))(exp ((exp()),exp(()(-=-+=-=ωλωλωφλωφj pt q j p t j t t j Y t N m 得到可以看到，进入商店的男顾客

人数)(t N m 服从参数为p λ的Poisson 过程。同理女顾客人数服从参数为

q λ的Poisson 过程。

4.6(散弹噪声分析)电真空以及半导体中的噪声有很大一部分来源于“散弹效应”。单个电子在器件内渡越是会引起微小的窄脉冲电流，设该波形为)(t i 。而阴极发射的电子数目服从Poisson 分布，大量电子的运动在电路中的总电流强度可以用过滤Poisson 过程进行近似。

?????∈=-=∑=其他

其中,0]

,0[,2)()

()(2)

(0a a

t N k k t t q

t i t i t Y τττq 为电子所携带电荷量，a τ为电子在器件内的渡越时间。由式a t

Y t d t h t Y E t m τττλ>==?设,),())(()(0得

a t

Y s t q d i i t m τλττλ>=-=?,,)()(0如果设由式?

=),min(0

),(),(),(s t Y d t s h t h s t C 可知ττλ

)(t Y 的协方差函数为?

--=)

,min(0

)()(),(s t Y d s i t i s t C τττλ整理后得到

a a a a a a Y s t s t s t s t q s t C ττττττλ≤-??

???>-?

?? ??-----=||,||,0))((61))((214),(3242所以散弹效应所

引起的噪声电流是宽平稳的随机过程。

4.7(发射强度很大时的Gauss 近似)过滤Poisson 过程的性质不仅仅受到滤波器冲击响应h 的影响，和标准Poisson 过程)(t N 的强度λ也有

很大关系。现需要研究当∞→λ时，过滤Poisson 过程)(t Y 的渐进形态，为此首先把)(t Y 归一化。设令,))(()()),(()(t Y Var t t Y E t m Y Y ==σ

)

()

()()(t t m t Y t Y Y ση-=

则)(1))((,0))((t t Var t E ηηη。==的特征函数满足

???

?

?????? ?

?

-=)()()(exp )()()(t t m t j

Y t Y Y Y t σωφσω

ωφη取对数以后得到 )

2

exp()(2

))(lg(12),()(2),()()()()1),()

((exp()()())(lg()()())(lg(2

)(2

)(20

222

00

)()(ωωφωωφλλωτ

τλσωττλσω

σω

τ

τσωλσωσωφσω

ωφηηη-

→-

→∞→??

? ??+-=-+-=-+-=???

?

??+-=???t t t Y t

Y Y Y t

Y Y Y Y t Y Y Y t o d t h t d t h t j t m t j d t h t j

t m t j

t t m t j

也就是说时有

所以当

所以当单位时间内出现的脉冲个数趋于无穷大时，归一化的过滤Poisson 过程的极限分布为Gauss 分布。

4.8(特烈：Poisson 过程)如果某个更新过程的更新强度为

??

?<≥=0

,00

,)(t t N λλ可以利用更新方程式来计算时间间隔的概率分布，由式τττλλd f t t t f T t

N N T )()()()(0

?--=得))(1()()(t F t F dt

d

t f T T -==

λ立刻得 )exp(1)(t t F λ--=恰好说明分布函数就是指数分布。

4.

7.6(周期性)状态i 的周期i d 是集合的最大公约数，即}0:{)(>=n ii i P n T

}0:gcd{)(>=n ii

i P n d 如果,11=d 就状态i 非周期的。如果1>i d ，则称状态i

为周期态。

7.10(两个状态的Markov 链)设离散时间Markov 链的样本空间只有两个状态，这种连接在现实生活中十分常见。比如天气预报问题，吧晴天和阴天作为(0,1)两种样本状态，可以通过构造Markov 链来研究天气在两种状态之间的统计规律。两个状态Markov 链的一步转移概率

为2*2的随机矩阵，为)11(

β

β

α

α

--=P 其中。

，]1,0[∈βα要得到n 步转移概率，需要计算。n P 可以利用特征分解吧矩阵对角化一简化矩阵乘幂的计算。以上矩阵为列，设其两个特征值不同，则可以找到2*2的矩阵Q ，使得11

)0

(

-=Q Q P λλ其中10λλ，非标是矩阵P 的两个特征值，

矩阵Q 的列分别是对应于10λλ，的特征向量。从而有1

1

)0

(

-=Q Q P n

n n

λλ只需要具体求出P 的特征向量就可以完成n P 的计算。P 的特征值是下

列特征方程的解0)(d e t =-I P

λ其中I 是单位矩阵。于是0)1)(1(=-----αβλβλα得到的两个解是---==βαλλ1110，因

，进而得到所以10,0,0λλβα≠>>)11(βα

=Q 且有 )1

1

(11-+=

-α

β

βαQ 所以 )

()1()(1)11)()1(001

)(11(1β

βα

αβ

αβααβαββααββαβαβα--+--++=---+=

n

n n P

如果

时，有那么当∞→<--n 1,|1|βα趋于无穷大时，

即当时间n )(1α

βα

ββα+→

n P

N 步咋混一概率存在极限，即

β

αβ+=

=∞

→∞

→)(10n )(00n lim lim

n n P P 和

β

αα+=

=∞

→∞

→)

(01n )(11n lim lim

n n P P 抓你概率极限与初始状态无关，如果

，，即，必然有121|1|===+=--βαβαβα此

时转移概率为

性，

，过程具有很强的周期一个状态，随机性消失链从一个状态转移到另)0

110(=P 正是这种周期导致你步转移概率在∞→n 时不存在极限。 7.11设有三个状态{0,1，2}的Markov 链，一步转移矩阵为

)32310

4

1

412

102

1

21(有于2102104110,0211201→→→>=→>=，导致，故。而所以P P

相通，是不可约的，所以该链所以状态都得到和01202

103110

21→→>=>=P P 。 状态图

7.12设有四个状态{0，1，2，3}的Markov 链，一步转移概率为

)1

21212121002121002121(状态如下所示，状态3是吸收态。状态0，1相互可达，

但是两者都无法到达状态2。所以该链有两个闭集{3}和{0,1}。状态

2可以到达其他状态，而无法从其他状态到达状态

2.

不可约链的一步转移矩阵具有明显的特征，即不可能通过初等行列置换得到如下形式：

）（

C

B

D 0其中C 是方阵。如果链还可约的，那么一定可以同初等行列吧一步转移矩阵变换为式）

（C

B

D 0的形式，子 阵C 本身就是随机矩阵。 进一步证明，任何一个Markov 链的转移概率矩阵通过适当行列置换

可以化为如下的一般形式：)0000

00

000(21

21Q

R R R P P P P m

m

=其中m 1.....,P P ，分别是不可约的闭子集的转移矩阵，且相应于Q 的状态不存在不可约的闭子集。

7.14(两个状态的周期性)最简单也是基本的两个状态周期链{0,1}具有如下形式的一步转移矩阵：)0

11

0(=P 其状态转移图如下所示，该链周期2。

如果周期i 具有周期i d ，并不是说对于任何的

正整数k ，都有。0)(>i

kd ii P 当k 充分大后，这一论断成立。

可以证明，相同的状态具有相同的周期性，即周期性的类性质。设

j i j i 和,?的周期分别为i d 和j d ，则

使得,,,k n m ?n kd m d P P P P i i n ji kd jj

m ij n kd m ii

j j ++?>>++|0)

()

()()

(

n d k m d P P P P i i n ji d k jj

m ij n d k m ii i i +++?>>++++)1(|0)

())1(()())1(( 所以。

，因此同理可证明j i i j i j d d d d d d =|,| 利用周期性，可以对Markov 链中的状态从周期的角度进行分类。为方便起见，只讨论不可约链的情况，，此时各个状态周期d 都相同。状态空间为E ，整条链呈现出从一组状态向另一组状态转移的循环往复的特征。选状态0i ，引入如下子类。

)}

(mod 1,0,{)}

(mod 1,0,{)}(mod 0,0,{)(1)(1)(0000d d n P E j C d n P E j C d n P E j C n j i d n j i n j i -≡>∈=≡>∈=≡>∈=-

很明显110...-???=d C C C E

上面给出的子类的表示方法说明了链的转移很规律，当时，10-≤≤d k 从子类。回到，然后从子类转移到01-d 1C C C C k k +为说明上述分析的正确性，只需验证如果

，进而有所以

。由于，则，1p kd 1a ,kd a ,0j 0)

(1p ij p 0++=++=>∈>∈+p P C P C i a i i 而

结论是自然的，如下图

,0001>≥≥+ii a

i i a i i P P P

7.14（不可约周期性链的转移矩阵）上面的结果如果从转移矩阵的角度出发可以看得更清楚。通过适当的行列置换，周期为d 且不可约的Markov 链的一步转移概率矩阵可以写成如下形式

)0

0000

00000(1

,12312

d d

d A A A A P -=自行计算体会其变化规律。，,....,32P P

7.15(一维无限制随机游动)研究一维无限制随机游动中个状态的性质。链中质点向右和向左的概率分别为p p -1和。该状态所以状态都相通，故各个状态具有相同的性质。因而只需要讨论0状态。经你步从0转移的概率为

1

2,02,)1()2({)

(00

-==-=k n k

n p p k k

P k k n 由∑∞=∞=1n )(n ii P 可知，0状态十分具有常返性决

定于下列级数是否收敛，即∑∑∞=∞

=-=-1k 1k ))1(!

!)!2(()1()2(k k k

k p p k k k p p k k 为分析

该级数的收敛性，引入Stirling 公式∞→n e

n n n n ,)(2!π 则有：

k p p p p e

k k e k k p p k

k k k k k k

k k πππ)]2(4[)1()(2)

2(

22)1()2(22-=

--

（其中 是?）

如果p=1/2，级数∑

∑∞

=∞

=-1

1k 1

)]1(4[k k k k p p ππ 发散，吃屎0状态是 常返状态。如果2/1≠p ,1)1(4<=-=a p p ,级数

状态是滑过态。收敛，此时0)]1(4[11k ∑∑∞

=∞

=-k k

k k a k p p ππ 7.16(二维随机无限制“平衡”时的随机游动)现在讨论二维平面上随机游动的各状态性质，质点的位置是平面上坐标为整数点，每个一点代表一个状态，每一个状态有上下左右四个相邻状态，质点的每一次转移都以一定的概率转移到四个相邻状态之一。故平面上的随机游动也是不可约的。根据一维随机游动的结论，只讨论“平衡”的情况，此时向上下左右运动的概率完全相同，均为1/4。由于链不可约，所以仍然只研究(0,0)状态，入下图所示。主要到奇数步不可能返回，所以只考虑偶数步从（0,0）转移到(0,0)的概率。

∑∑=∞

=-=--=n k n k n n

k n n

k n n n k n k n k k n P

1

212200

,00))((2)41()41()!()!(!!)!2(）（ 根据有关组合的恒等式∑==-n

k n n

k

n n

k n 0

)2(

))(

(得到22)

2(0000)2()2

1(n n P n n =， 使用Stirling 公式

位发散级数。，ππ

n n P

n n n 1

)4()41(22)

2(00

00= ∑∑

∞

=∞

=1

1)

2(00

,001k k n n P

π

。”是随机游动是常返的得到二维无限制“平衡

7.17设有四个状态{0，1，2，3}的Markov 链，其一步转移矩阵为

)0

01

0001000012

12100(

有图知，该链所以状态图都

相通，是不可约链，所以状态都是常返的。

7.18设有5个状态{0,1,2,3,4}的Markov 链，其一步转移矩阵为

)2

10

4

14

10212100021210000021210002121(

由图知{0,1}和{2,3}是两个闭

真子集，子集内状态彼此相通，所以状态{0,1,2,3}均常返。而状态4位非常返。

7.19(一维无限制随机游动)已经知道当2

1

=p 时，一维无限制随机游动是常返的，现在进一步研究其是否为正常返。由于链中有无穷多个相通状态，所以尽管链是不可约的，也无法对它是否正常返值直接做判

断。因此所限计算以)

(00n P 为系数的幂级数（列7.15）。利用负二项式定

理，有。

2

1

20202)2(00

)1()2(!!)!2()(-∞

=∞

=-===∑∑z z k k k z

P

z P k k k k k 利用式)()1(lim 1lim 110n z A z a n z n k k -=-→-=∞→∑ 得到∑-=-→→∞→=--=-=--10

21

21

1)

2(000)1)(1(lim )()1(lim 1lim n k z z k n z z z P z P n 所以∞=0μ，从而可知0状态是零常返的，进而得到一维无限制随机游动的所有状态为零常返。

7.20(正常返，但转移概率无极限)这个列子在讨论周期性时提过。这链有两个状态{0,1}，一步转移矩阵为)0

110(

=P 容易看出

?

??-====12,02,1)(11

)(00

k n k n P

P

n n 所以有21

1lim 10)(11=∑-=∞→n k n n P n 很明显该链为正常返，且平均返回时间为2,。可是另一方面，)

(11)(00lim lim n n n n P P ∞

→∞→和都不存在极限。这说明几遍是正常返的链，其n 步转移概率的极限仍然可能不存在。 7.21(无穷多个平稳分布)设Markov 链有四个状态{1,2,3,4}，其一步转

移概率矩阵为)0

10010000

0010

010(

则有两个不可约正常返的闭真子集，{1,2}

和{3,4}。该链的平稳分布为1,0,),2

,2,2,2(=+≥βαβαβ

βαα所以平稳分布

有无穷多个。

7.22(双随机转移矩阵)1=i π

7.23(Ehrenfest 模型)Ehrenfest 买模型的状态空间},...,2,1,0{M 是有限集

合，其一步转移矩阵为????????

??????

?

?

?--01

1012030210110M M

M M M

M

M M M

很明星该模型是不可约的，且状态有限，所以所有状态都正常返。状态转移如图所示

现求它的平稳分布。

1

11101

1,..,2,1,1

)11(1-+-=-=++--==

M M i i i M

M i M i M i M

πππππππ

可以求得0ππ???? ??=i M i 所以∑∑===?=???

? ??=M

i M M

M i i i M 00000212ππππ 平稳分布为M I i M M i ,...2,1,21

=???? ??=π 零状态的平均返回时间0μ，有平稳分布得到M

M 211210

000==?==

πμμπ 7.24(带有一个反射壁的一维随机游动)设带一个反射壁的随机游动状

态空间为,...}2,1,0{，0为反射壁，其一步转移矩阵为????

??

? ?

?=

p q p q

p q P 00

0000 很明显该链是不可约的，状态转移如图所示，现求其平衡方程式P ππ=

的解,...},{10πππ=1,11100≥+=+=+-j q p q j j j ππππππ由此得到0ππj

j q p ???

?

??= 所以，要让π成为分布，必须满足1000=???

? ??=∑∑∞

=∞

=j

j j j q p ππ话句话说，需要 ∞

? ??∑∞

=0j j

q p 如果q p <，则上式成立，此时该链正常返，平稳分布为

1,1,10≥???

?

?????? ??-=-=j q p q p q p j

j ππ

7.25定理(带一个反射壁的一维随机游动)正如在7.24中所提到过得，利用平稳方程无法判断该链的正常性。所以利用定理7.9(常返性判据

Ⅱ)，有21py y =，,.....3,2,11=+=-+k qy py y k k k 解得120)1)(1(y p

q p p y n k k

n ∑-=+-=可见该方程具有非零有界解得充分必要条件是p

q p q

p

q k

k

=1)(0因此当q

12

1,2

1

>=

7.26(一维无限制的随机游动)本列采用定理7.9研究7.15中给定的随机游动，列7.15中给出的方法涉及诸如String 公式等复杂的分析工

具。现在用定理7.9重新分析该问题。划去0状态所有对应的行和列，有,...3,2,,1121=+==-+k py py y py y k k k ，

,....3,2,,1121--===-+--k qy py y qy y k k k y 得到,....3,2,)1)((120=+=∑-=n y p q q p y n k k

n

,....3,2,)1)((120=+=--=-∑n y q

p q p y n k k

n 不难看出，

是上述方程没有非零有界解得充分不要条件是∑∑∞

=∞

=∞=∞=00)(,)(k k k k q

p

p q 且所以只有当时q p =，否则一定

常返。

7.27(首次返回时间)Markov 链中最典型也是最重要的停时时首次返回时间，也就是从状态i 出发首次返回i 的时间，即}|:inf{0i X i X n T n i ===如果。

那么}{,,∞=?≠i n T n i X 7.28(首次击中时间)另外一个重要停时是Markov 链首次到达状态空间返回时间的某个子集A 的时间A T ,称为首次击中时间

}:inf{A X n T n A ∈=很明显

A})(X A,)(X A,...,)(X :{n})(T {n 1-n 0A ∈∈∈==ωωωωωω：

7.29(停时的延迟)如果τ是停时，0n 是确定整数，那么τ+0n 也是停时，因为事件m}n {0=+τ等价于事件}{0n m -=τ，而根据停时定义，事件

}{0n m -=τ仅依赖于},...,,{010n m X X X -，因此是停时。也就是说，停时确

定性延迟还是停时。

7.30(停时反列Ⅰ)设}{n X 为Markov 链，i 为该链的一个状态，对随机时间τ做如下定义：

}:0inf{1i X n n =≥=-τ则τ不是停时，因为事件1n X n}{+=和τ有关，不是有

决定。

},....,{10n X X X

7.30(停时反列Ⅱ)设}{n X 为Markov 链，i 为该链的一个状态，对随机时间τ做如下定义：

}:0sup{i X n n =≥=τ则τ不是停时，因为事件∞+==1n k k }{X n}{和τ有关，不仅仅有∞==0k k }{X n}{和τ所决定。

7.32(赌徒输光问题)两个赌徒甲、乙入赌场进行一些赌博。令A 为甲的原始读本，每次读本输赢的概率相同，赌注为1.假设甲手中的赌术到达B 时，即认为自己到达了赚钱的目的，会离开赌场，那么在他达到赚钱目的之前，有多大的肯会把手中的赌本全部输光？该问题称为赌徒输光问题。

设0X 是甲在起始时刻的赌本，每次下注的结果为k X ，第n 时刻甲手中的赌本为}{n S ，高过程具有两个吸收壁(0和B)的唯一对称随机游动，即∑=+=n

k k n X X S 00这里,...2,1,2

1

)1()1(==-===i X P X P i i 于是赌徒输光问题

就变成了过程}{S n 在到达B 之前到达0的概率有多大。这个问题可以使用Wald 等式解决。

设}:inf{B S S n T n n ==或很显然T 是过程}{X k 的停时。由Wald 等式，得到

0)()()()()()0()(11====-+=-∑=X E T E X E B S P A B S P A T

k k T T

且有1)()0(==+=B S P S P T T ，所以有B

A

B S P B A

B S P T T -=

===)0(,)(。 7.33(首达时间的计算)考虑一维无限制随机游动，向右和向左的概率分别为p 和p q -=1，设10=X ,现在通过母函数来计算从1出发到达0所用时间的概率分布。令}1|0:inf{00===X X n T n 则0T 分布的母函数为

)

10|()1,2|()1|()(01010000==+=====X X z qE X X z pE X z E z G T T T ，=

)1,2|()1,2|(01010==+==X X z qE X X z pzE T 这里0T 是首次到达2之后，继

续转移并首次到达0所用的时间。由于首次到达2的时间是停时，有强

Markov

性得到

)

2|()1,2|(10100====X z E X X z E T T 所以

qz X z pzE z G T +==)2|()(10由于010~

T T T +=，其中1T 是达到2后，继续转移

并首次到达1的时间：0~

T 是到达1后，继续转移并首次到达0所需的时间。再次使用强Markov 性，有

)()1|()2|(2~110

1

z G X z E X z E T T T ===因此qz

z pzG z G +=)()(2进而有

pz

pqz z G 2411)(2

--=

其中，0)(T z G 为的母函数。通过Taylor 展开可以得到0T 的分布，同时

还可以得到0T 的均值，即?????<-≥∞===→q p p

q q

p z G dz

d X T E z ,1,)(lim )1|(100 7.34(更新时刻)考虑Markov 链∞=0}{n n X ，设0T 0=，且i X =0，令

,....2,1},:inf{1==>=-k i X T n T n k k k T 代表是从状态i 出发后，第k 次到达状

态i 的时间。鱼鱼}{m T k =仅决定于∞=0}{n n X ，所以k T 是停时。设

1--=k k k T T τ，则得到随机序列,...},{21ττ，且有

),|0,,(),...,|(111111B i X s m i X i X P s s s P k k k T k m T T k k k k =<<≠=====--+--τττ这里随机

},...,{1111s s B k k ===--ττ是1-k T 前所发生的事件。

根据Markov 性，在i X k T =-1的条件下，B 和1-k T 后发生的事件k k s =τ相互独立，所以

)|0,,(),...,|(111111i X s m i X i X s s s P k k k T k m T T k k k k =<<≠=====--+--τττ再根据

Markov 性，得到)|0,,(11i X s m i X i X P k k k

T k m

T

T =<<≠=--+

)

()|()|0,,()|0,,(0001111k k k k T k m T k m T T s P i X s P i X s m i X i X P i X s m i X i X P k k k k k k ======<<≠===<<≠==----++++ττττ

所以∞=1}{k k τ是独立同分布的随机序列，满足)

()(s ii k f s P ==τ。

习惯上称时刻}{k T 为相应状态i 的更新时刻。

7.35设Markov 链的状态空间为{1,2,3,4,5,6},其一步转移概率矩阵为

??????

??

??????

? ??04

14

10

4

14

1210210003131031000021021031003103121000210很明显，该链是不可约且非周期的，其平稳分布π为

??

? ??=41811638116381，，，，，π可以直接验证E j i P P ji j ij i ∈?=,,ππ成立。所以该为可逆Markov 链。

并不是所有在平稳分布的Markov 链都是可逆的。如状态空间(1,2,3)

的Markov 链，具有如下转移矩阵?

???

???? ??2102

1212

10

0212

1

很明显，该链是不可约且状态有限，是正常返且存在平稳分布)31,31,31(=π但是0

6

1

212121≠=-P P ππ所以该链是不可逆的。

7.36利用细致平衡方程求解7.35，得到

3

2

2

1

ππ= 2

3

3

2

ππ= 2

3

3

4

ππ= 3

2

4

5

ππ= 4

2

6

1

ππ=

4

3

6

2

ππ=

4

3

6

4

ππ=

4

2

6

5

ππ=

立刻得到分布π为??

?

??=41811638116381，，，，，π所以链是可逆的，且平稳分布

为π。

7.37(Ehrenfest 模型)该模型的一步转移矩阵如式

??????

???

??????

?

? ??--0110

110302

10110M M M M

M

M M M M M

所示，可以得到如下关系 i i M i i M i M i M M πππ1)1()1(11-+-=+---即M i M

i M i M i i ≤≤=---0,)1(1ππ

所以该模型是可逆。因此求解细致平衡方程

M i i M M M i M M M i i M M i i ≤≤???

?

??=?----==--==

-1,1

2)...1())1()...(1(...)1(1

00101ππππππ

得到M 21

0=

π M i i M M i ≤≤???? ??=1,2

1π 7.38(整数值生灭过程)设Markov 链的状态空间为整数集Z ，一步转移高了为