随机过程知识点

第一章：预备知识

§1.1 概率空间

随机试验，样本空间记为Ω。

定义1.1 设Ω是一个集合，F 是Ω的某些子集组成的集合族。如果 （1）∈ΩF ；

（2）∈A 若F ，∈Ω=A A \则F ；

（3）若∈n A F ， ，，21

=n ，则 ∞

=∈1

n n A F ；

则称F 为-σ代数(Borel 域)。(Ω,F )称为可测空间，F 中的元素称为事件。

由定义易知： .

216\,,)5)4(1

1

1

F A A A i F A F B A F B A F i i n i i n i i i ∈=∈∈∈∈?∞

=== ，，则，，，）若（；

则若（；

定义1.2 设(Ω,F )是可测空间，P(·)是定义在F 上的实值函数。如果

()()()()∑∞=∞==???? ???=?≠=Ω≤≤∈1

121,,,31210,)1(i i i i j i A P A P A A j i A A P A P F A 有

时，当）对两两互不相容事件（；）（；

任意

则称P 是()F ,Ω上的概率，（P F ，，Ω）称为概率空间，P(A)为事件A 的概率。

定义1.3 设（P F ，，Ω）是概率空间，F G ?，如果对任意G A A A n ∈,,,21 ，

,2,1=n 有： (),1

1

∏===???

? ??n

i i n i i A P A P

则称G 为独立事件族。

§1.2 随机变量及其分布

随机变量X ，分布函数)(x F ，n 维随机变量或n 维随机向量，联合分布函数，

{}T t X t ∈,是独立的。

§1.3随机变量的数字特征

定义1.7 设随机变量X 的分布函数为)(x F ，若

?

∞

∞

-∞<)(||x dF x ，则称

)(X E ＝?∞

∞

-)(x xdF

为X 的数学期望或均值。上式右边的积分称为Lebesgue-Stieltjes 积分。 方差，()()[]EY Y EX X E B XY --=为X 、Y 的协方差，而 DY

DX B XY

XY =ρ

为X 、Y 的相关系数。若,0=XY

ρ则称X 、Y 不相关。

（Schwarz 不等式）若,,2

2

∞<∞

().222

EY EX EXY ≤

§ 1.4 特征函数、母函数和拉氏变换

定义1. 10 设随机变量的分布函数为F （x ），称 ()()(),

jtX

jtx g t E e

e dF x t ∞

-∞

=-∞<<∞?

为X 的特征函数

随机变量的特征函数具有下列性质： (1)(0)1,()1,()()g g t g t g t =≤-= 1

( 2 ) g (t )在()∞∞-, 上一致连续。（3）()(0)()k k k g i E X =

(4)若12,,,n X X X 是相互独立的随机变量，则12n X X X X =+++ 的特征函数

12()()()()n g t g t g t g t = ，其中()i g t 是随机变量X i 的特征函数，1,2,,i n = .

定义1 . 11 设 12(,,,)n X X X X = 是n 维随机变量，t = (12,,,n t t t ) ,R ∈ 则称

121

()(,,,)()[exp()]n

itX n k k k g t g t t t E e

E i t X '

====∑ ,

为X 的特征函数。

定义1.12 设X 是非负整数值随机变量，分布列 () ,2,1,===k x X P p k k

则称

)()(X

def

s E s P =＝k k k s P ∑∞

=0

为X 的母函数。

§ 1.5 n 维正态分布

定义1.13 若n 维随机变量),,,(21n X X X X =的联合概率密度为

})()(21exp{)2(1

),,,()(12/2

/21T

n n n a x B a x B

x x x f x f ---=

=-π 式中，),,,(21n a a a a =是常向量，n n ij b B ?=)(是正定矩阵，则称X 为n 维正态随机变量或服从n 维正态分布，记作),(~B a N X 。

可以证明，若),(~B a N X ，则X 的特征函数为

}2

1

exp{),,,()(21t iB t ia t t t g t g n '-'==

为了应用的方便，下面，我们不加证明地给出常用的几个结论。

性质1 若),(~B a N X 则n l b B a X E kl X X k k l k ,,2,1,,)( ===。

性质2 设),(~B a N X ，XA Y =，若BA A '正定，则),(~BA A aA N Y '。即正态随机变量的线性变换仍为正态随机变量。

性质3 设),,,(4321X X X X X =是四维正态随机变量，4,3,2,1,0)(==k X E k ，则

)()()()()()()(3241423143214321X X E X X E X X E X X E X X E X X E X X X X E ++=

§ 1.6 条件期望

给定Y=y 时，X 的条件期望定义为

??===dx y x xf y x xdF y Y X E )|()|()|(

由此可见除了概率是关于事件｛Y=y ｝的条件概率以外，现在的定义与无条件的情况完全一

样。

E(X|Y=y)是y 的函数，y 是Y 的一个可能值。若在已知Y 的条件下，全面地考虑X 的均值，需要以Y 代替y ，E(X|Y)是随机变量Y 的函数，也是随机变量，称为 X 在 Y 下的条件期望。

条件期望在概率论、数理统计和随机过程中是一个十分重要的概念，下面我们介绍一个极其有用的性质。

性质 若随机变量X 与Y 的期望存在，则

?===)()|()]|([)(y dF y Y X E Y X E E X E Y --------(1)

如果Y 是离散型随机变量，则上式为

∑===y

y Y P y Y X E X E }{)|()(

如果Y 是连续型，具有概率密度f(x)，则（1）式为

?+∞

∞

-==dy y f y Y X E X E )()|()(

第二章 随机过程的概念与基本类型

§2.1 随机过程的基本概念

定义2.1 设（P F ，，Ω）是概率空间,T 是给定的参数集,若对每个t ∈T ，有一个随机变量X (t ,e )与之对应，则称随机变量族}),,({T t e t X ∈是（P F ，，Ω）的随机过程,简记为随机过程}),({T t t X ∈。T 称为参数集，通常表示时间。

通常将随机过程}),,({T t e t X ∈解释为一个物理系统。X(t)表示在时刻t 所处的状态。X(t)的所有可能状态所构成的集合称为状态空间或相空间，记为I 。

从数学的观点来说，随机过程}),,({T t e t X ∈是定义在T ×Ω上的二元函数。对固定的t ，X (t ,e )是定义在T 上的普通函数，称为随机过程}),,({T t e t X ∈的一个样本函数或轨道，样本函数的全体称为样本函数的空间。

§ 2.2 随机过程的函数特征

t X ={X (t ),t ∈T }的有限维分布函数族。

有限维特征函数族：

}1,,,,:),,,({2121,,1≥∈=Φn T t t t g n n t t n θθθ

其中：

)})((exp{),,,(1

21,,1k n

k k n t t t x i E g n ∑==θθθθ

定义2.3 设t X ={X (t ),t ∈T }的均值函数def t m X )()]([t X E ，T t ∈。

二阶矩过程，协方差函数：T ,)]()([),()(2

∈-=t t m t X E def t t B t D X X X

相关函数： =),(t s R X )]()([t X s X E

定义2.4 设{X (t ),t ∈T }，{Y (t ),t ∈T }是两个二阶矩过程，

互协方差函数，互相关函数。

§ 2.3 复随机过程

定义 2.5 设},{T t X t ∈，},{T t Y t ∈是取实数值的两个随机过程，若对任意T t ∈ t t t iY X Z +=，

其中 1-=i ，则称},{T t Z t ∈为复随机过程．

定理 2.2 复随机过程},{T t X t ∈的协方差函数 ),(t s B 具有性质 （1）对称性：),(t s B =；

（2）非负定性

§2.4 几种重要的随机过程

一、正交增量过程

定义2.6 设(){}T ∈X t t ,是零均值的二阶矩过程，若对任意的,4321T ∈<≤

式

()()[]()()[]03412=X -X X -X E t t t t ，

则称()t X 正交增量过程。

()()()()t s t s R t s ,min ,,2

X X X ==B σ

二、独立增量过程

定义2.7 设(){}T ∈X t t ,是随机过程，若对任意的正整数n 和,21T ∈<<

变量()()()()()()12312,,,-X -X X -X X -X n n t t t t t t 是互相独立的，则称(){}T ∈X t t ,是独立增量过程，又称可加过程。

定义 2.8 设(){}T ∈X t t ,是平稳独立增量过程，若对任意,t s <随机变量()()s t X -X 的分布仅依赖于s t -，则称(){}T ∈X t t ,是平稳独立增量过程。

三、马尔可夫过程

定义 2.9设(){}T t t X ∈,为随机过程，若对任意正整数n 及n t t t << ,21,()()0,,)(1111>==--n n x t X x t X P ，且其条件分布

()(){}1111,,|)(--===n n n n x t X x t X x t X P =(){}11|)(--==n n n n x t X x t X P ，

(2.6) 则称(){}T t t X ∈,为马尔可夫过程。

四、正态过程和维纳过程

定义 2.10 设(){}T t t X ∈,是随机过程，若对任意正整数n 和T t t t ∈∈ ,,21,(()() ,,21t X t X ,()n t X )是n 维正态随机变量，则称(){}T t t X ∈,是正态

过程或高斯过程。

定义 2.11 设{

}∞<<-∞t t W ),(为随机过程，如果 （1）0)0(=W ；

（2）它是独立、平稳增量过程；

（3）对t s ,?，增量()

0,||,0~)()(22>--σσs t N s W t W ，则称{

}∞<<-∞t t W ),(为维纳过程，也称布朗运动过程。

定理 2.3 设{

}∞<<-∞t t W ),(是参数为2σ的维纳过程，则 （1） 任意t ),(∞-∞∈,()

||,0~)(2t N t W σ；

（2） 对任意∞<<<∞-t s a ,,

[]),min())()())(()((2a t a s a W t W a W s W E --=--σ,

特别： ()()t s t s Rw ,min ,2

σ=。

五、平稳过程

定义 2.12 设(){}T t t X ∈,是随机过程，如果对任意常数τ和正整数,n 当T ∈++T ∈ττn n t t t t ,,,,,11 时，()()()()n t t t X X X ,,21

与()()()()τττ+X +X +X n t t t ,,,21 有相同的联合分布，则称(){}T t t X ∈,为严平稳过

程，也称狭义平稳过程。

定义 2.13 设(){}T t t X ∈,是随机过程，如果

（1）(){}T t t X ∈,是二阶矩过程；

（2）对于任意()()[]=X E =T ∈X t t m t ,常数；

（3）对任意的()()s t R t s R t s -=T ∈X X ,,,，则称(){}T t t X ∈,为广义平稳过程，简称为平稳过程。

若T 为离散集，则称平稳过程(){}T t t X ∈,为平稳序列。

第三章 泊松过程

§３.1 泊松过程的定义和例子

定义3.1 计数过程

定义3.2 称计数过程}0),({≥t t X 为具有参数λ＞0的泊松过程，若它满足下列条件 (1) X(0)= 0；

(2) X(t)是独立增量过程；

(3) 在任一长度为t 的区间中，事件A 发生的次数服从参数λt ＞0的泊松分布，即对任意s,t ＞0，有

)1.3(),2,1,0(,!

)(})()({ ===-+-n n t e

n s X t s X P n

t

λλ

注意，从条件(3)知泊松过程是平稳增量过程且t t X E λ=)]([。由于，t

t X E )]

([=

λ表示单位时间内事件A 发生的平均个数，故称λ为此过程的速率或强度。 定义3.3 称计数过程}0),({≥t t X 为具有参数λ＞0的泊松过程，若它满足下列条件 (1) X(0)= 0；

(2) X(t)是独立、平稳增量过程；

(3) X(t) 满足下列两式：

)

(}2)()({),

(}1)()({h o t X h t X P h o h t X h t X P =≥-++==-+λ (3.2)

定理3.1 定义3.2与定义3.3是等价的。

3.2 泊松过程的基本性质

一、数字特征

设}0),({≥t t X 是泊松过程，

s

t m s m t s R t s B t s t X s X E t s R t

t X D t t

t X E t m X x X X X X X λλλλσλ=-=+======)()(),(),()1())()((),())(()())(()(2

一般泊松过程的有),min(),(t s t s B X λ=。

有特征函数定义，可得泊松过程的特征函数为

)}1(exp{][)()(-==iu t iuX X e t e E u g λ

二、时间间隔与等待时间的分布

n W 为第n 次事件A 出现的时刻或第n 次事件A 的等待时间，n T 是第n 个时间间隔，

它们都是随机变量。

定理3.2 设}0),({≥t t X 是具有参数λ的泊松分布，)1(≥n T n 是对应的时间间隔序列，则随机变量),2,1( =n T n 是独立同分布的均值为λ/1的指数分布。

定理3.3 设}1,{≥n W n 是与泊松过程}0),({≥t t X 对应的一个等待时间序列，则n W 服从参数为n 与λ的Γ分布，其概率密度为

??

???<≥-=--0,00

,)!1()()(1

t t n t e t f n t W n λλλ

三、到达时间的条件分布

定理3.4 设}0),({≥t t X 是泊松过程，已知在[0,t]内事件A 发生n 次，则这n 次到达时间n W W W <<< 21与相应于n 个[0,t]上均匀分布的独立随机变量的顺序统计量有相同

的分布。

§3.3 非齐次泊松过程

定义3.4 称计数过程{(),0}X t t ≥为具有跳跃强度函数()t λ的非齐次泊松过程，若它满足下列条件：

(1) (0)0X =；(2) ()X t 是独立增量过程；

(3)

{()()1}()()

{()()2}()

P X t h X t t h o h P X t h X t o h λ+-==++-≥=

非齐次泊松过程的均值函数为：

()()t

X m t s ds λ=?

定理 3.5 设{(),0}X t t ≥是具有均值函数0

()()t

X m t s ds λ=?的非齐次泊松过程，则

有

()()]

[exp{[]},(0)!

{()()}()()X X n

t s t X X m m n n P X t s X t n m t s m t +--≥+-==

+-

或

()]

[exp{()}!

{()}X n

t X m t n P X t n m =

-=

上式表明{()()}P X t s X t n +-=不仅是t 的函数，也是s 的函数。

3.4 复合泊松过程

定义 3.5 设}0),({≥t t N 是强度为λ的泊松过程，,...}2,1{,=k Y k 是一列独立同分布随机变量，且与}0),({≥t t N 独立，令

,0)()

(1

≥∑==t k

t x Y t N k

则称}0),({≥t t X 为复合泊松过程。

定理3.6 设,0)()

(1

≥∑

==t k t x Y t N k 是复合泊松过程，则

（1）。}0),({≥t t X 是独立增量过程；

（2）X(t)的特征函数]}1)([exp{)()(-=u g t u g Y t X λ，

其中)(u g Y 是随机变量1Y 的特征函数；λ是事件的到达率。

（3）若,)(21∞

第4章 马尔可夫链

§4.1 马尔可夫链的概念及转移概率

一、马尔可夫键的定义

定义1 设有随机过程},{T n X n ∈，若对于任意的整数T n ∈和任意的I i i i n ∈+110,,, ，条件概率满足

}

{},,,{11110011n n n n n n n n i X i X P i X i X i X i X P =======++++

则称},{T n X n ∈为马尔可夫链，简称马氏链。

二、转移概率

定义2 称条件概率

1(){|}ij n n p n P X j X i +===

为马尔可夫链},{T n X n ∈在时刻n 的一步转移概率，其中I j i ∈,，简称为转移概率。 定义 3 若对任意的I j i ∈,，马尔可夫链},{T n X n ∈的转移概率)(n p ij 与n 无关，则称马尔可夫链是齐次的，并记)(n p ij 为ij p 。

定义4 称条件概率

)1,0,,}(|{)(≥≥∈===+n m I j i i X j X P p m n m n ij

为马尔可夫链},{T n X n ∈的n 步转移概率，

定理 1 设},{T n X n ∈为马尔可夫链，则对任意整数n l n <≤≥0,0和I j i ∈,，n 步

转移概率)

(n ij p 具有下列性质：

.

)4(;)3(;

)2(;

)1()()1()()()

()()(121111

n n n n j k k k I

k I

k ik n ij I

k l n kj l ik n ij P P PP P p p p

p p p p n n ====-∈∈∈---∑∑∑

定义5 设},{T n X n ∈为马尔可夫链，称

)(},{)(}{0I j j X P n P j X P p n j j ∈====和

为},{T n X n ∈的初始概率和绝对概率，并分别称},{I j p j ∈和}),({I j n p j ∈为},{T n X n ∈的初始分布和绝对分布，简记为}{j p 和)}({n p j 。

定理2 设},{T n X n ∈为马尔可夫链，则对任意I j ∈和1≥n ，绝对概率)(n p j 具有下列性质：

P

n P n P P P n P p n p n p p p n p T T n T T I

i ij

i j I

i n ij

i j )1()()4()0()()3()1()()2()()1()()

(-==-==∑∑∈∈

定理3 设},{T n X n ∈为马尔可夫链，则对任意I i i i n ∈,,,21 和1≥n ，有

n n i i i i ii I

i i n n p p p p i X i X i X P 1211},,,{2211-∑∈====

§4.2 马尔可夫链的状态分类

一、状态分类

假设{,0}n X n ≥是齐次马尔可夫链，其状态空间{0,1,2,}I = ，

转移概率是,,ij p i j I ∈, 初始分布为{,,}j p i j I ∈ 。

定义 4.6 如集合()

{:1,0}n ii n n p ≥>非空，则称该集合的最大公约数()()..{:0}n ii d d i G C D n p ==>为状态i 的周期。如1>d 就称i 为周期的，如1=d 就称i 为非周期的。（若对每一个不可被d 整除的n ，有()n ii p =0，且d 是具有此性质的最大正整数，

则称d 为状态i 的周期。）

引理4.1 如i 的周期为d ，则存在正整数M ，对一切M n ≥，有()

0nd ii p >。

定义 对,,S j i ∈记 (0)

(1)

100,{|}ij

ij f f P X j X i ====

()0{,,1,2,,1|},2n ij n k f P X j X j k n X i n ==≠=-=≥ （4.15） ()n ij ij n T

f f ∈=∑

称()n ij f 是系统在0时从i 出发经过n 步转移后首次到达状态j 的概率，而()

ij f ∞则是在0时从i 出发，系统在有限步转移内不可能到达状态j 的概率。我们将()n ij f 和ij f 统称为首达概率（又

称首中概率）。

引理

（1） ()0n ij ij f f ≤≤ n j i ,,? （2） 首达概率可以用一步转移概率来表示： 1121121()

n n n ij

ii i i i j i j i j

i j

f p p p --≠≠≠=∑∑∑

定义4.7 若ii f =1，则称状态i 为常返的；若ii f <1，则称状态i 为非常返的。 定义4.8 如

∞

非周期的正常返态称为遍历状态。

从状态是否常返，如常返的话是否正常返，如正常返的话是否非周期等三层次上将状态区分为以下的类型：

1)11ii ii ii ii f f d μμ?

??∞?

?

?=???>?∞???

?????

非常返态(零常返态(=)状态常返态()有周期()

正常返态(<)非周期(d=1)----遍历态 )(n ij f 与)

(n ij

p 有如下关系： 定理4.4 对任意状态,i j ，及∞<≤n 1，有

()()()()()1

.n

n

n k n k n k k ij

ij

jj

ij jj k k p

f

p

f p --====∑∑ （4.16）

引理4.2 }.0,1:{..}0,1:{..)()

(>≥=>≥n ii n ii f n n D C G p n n D C G

二、常返态的性质及其性质

定理4.5 状态i 常返的充要条件为

∞=∑∞

=0

n ii

p

（4.18）

如i 非常返，则

.11

ii

n ii f p -=

∑∞

= 定理4.7 设i 常返且有周期d ，则

i

nd ii n d

p μ=∞

→)

(lim .

（4.26）

其中i μ为i 的平均返回时间。当∞=i μ时，0=i

d

μ.

推论 设i 常返，则

(1) i 零常返0lim )

(=?∞→n ii n p ；（2）i 遍历()

1

lim 0n ii n i

p μ←∞

?=

>。

定理4.8 可达关系与互通关系都具有传递性，即

如果j i →，k j →，则k i →； 如果i k ?，k j ?，则k i ?。 定理4.9 如i j ?,则

（1） i 与j 同为常返或非常返，若为常返，则它们同为正常返或零常返； （2） i 与j 有相同的周期。

§4.3 状态空间的分解

定义4.9 状态空间I 的子集C 称为（随机）闭集，如对任意i C ∈及k C ?都有0ik p =。闭集C 称为不可约的，如C 的状态互通。马氏链{}n X 称为不可约的，如其状态空间不可约。

引理4.4 C 是闭集的充要条件为对任意i C ∈及k ?C 都有()

n ik p =0，n ≥1。 称状态i 为吸收的，如ii p =1。显然状态i 吸收等价于单点集{}i 为闭集。 定理4.10 任一马氏链的状态空间I ，可唯一地分解成有限个或可列个互不相交的子集12,,,D C C 之和，使得

① 每一n C 是常返态组成的不可约闭集。

② n C 中的状态同类，或全是正常返，或全是零常返。它们有相同的周期且

1jk f =, ,n i k C ∈。

③ D 由全体非常返状态组成。自n C 中的状态不能到达D 中的状态。

定义4.10 称矩阵（ij a ）为随机矩阵，如其元素非负且每i 有∑j

ij a ＝1。

显然k 步转移矩阵)(k P ＝（)

(k ij p ）为随机矩阵。

引理4.5 设C 为闭集，又G ＝（)(k ij p ）, i ,j ∈C,是C 上所得的（即与C 相

应的）k 步转移子矩阵，则G 仍是随机矩阵。

定理4.11 周期为d 的不可约马氏链，其状态空间C 可唯一地分解为d 个互不相交地子集之和，即

1

0,,,d r r S r C G G G r

s φ-===≠ （4.31） 且使得自r G 中任一状态出发，经一步转移必进入1+r G 中（其中0G G d =）。 定理4.12 设{,0}n X n ≥是周期为d 的不可约马氏链，则在定理4.11的结论下有

(1)如只在时刻0,,2,d d 上考虑{}n X ，即得一新马氏链，其转移阵

()()

()d d ij P p =，对此新链，每一r G 是不可约闭集，且r G 中的状态是非周期的。

(2)如原马氏链 {}n X 常返，{}nd X 也常返。

§4.4 )

(n ij p 的渐近性质与平稳分布

一、)

(n ij p 的渐近性质

定理4.13 如j 非常返或零常返，则)(lim n ij n p ∞

→＝0，I i ∈? （4.33）

推论1 有限状态的马氏链，不可能全是非常返状态，也不可能含有零常返状态，从而不可约的有限马氏链必为正常返的。

推论2 如马氏链有一个零常返状态，则必有无限多个零常返状态。 定理4.14 如j 正常返，周期为d ，则对任意i 及10-≤≤d r 有

()

lim ()nd r ij ij n j

d p f r μ+→∞

= （4.37）

推论 设不可约、正常返、周期d 的马氏链，其状态空间为C ，则对一切C j i ∈,,有

,()

,lim 0,s nd j ij

n d

i j G p μ→∞??=???

如与同属于子集否则， （4.38） 其中s d s G C 1

－==U 为定理4.11中所给出。

特别，如d=1，则对一切,i j 有.1

lim )

(j

n ij

n p μ=→∞

(4.39)

定理 4.15 对任意状态,,j i 有

()

10,1lim ,k ij

ij n k j

j f p j n μ

→∞=??=???∑若是非常返或零常返

若是正常返 推论 如{}n X 不可约，常返，则对任意,i j ,有

()1

11

lim n k ij n k j p n μ→∞==

∑ j μ＝∞时，理解

j

1

μ＝0 定义4.11 称概率分布{,}j j I π∈为马尔可夫链的平稳分布，若它满足

????

???≥==∑∑∈∈.

0,1,j I

j i ij I i i j p ππππ （4.41）

值得注意的是，对平稳分布{,}j j I π∈，有

()

n j i ij

i I

p ππ∈=∑ (4.42) 定理 4.16 不可约非周期马尔可夫链是正常返的充要条件是存在平稳分布，且此平稳分布就是极限分布1

{,}j j I u ∈。

推论1 有限状态的不可约非周期马尔可夫链必存在平稳分布。

推论 2 若不可约马尔可夫链的所有状态是非常返或零常返的，则不存在平稳分布.

推论3 若{,}j j I π∈是马尔可夫链的平稳分布，则

1

()j j j

p n u π=

= 第五章 连续时间的马尔可夫链

§5.1连续时间的马尔可夫链

定义 5.1 设随机过程{X (t),t ≥0},状态空间{,0}

n I i n =≥,若对于任意1210n t t t +≤<<< 及121,,,n i i i I +∈ 有

111122{()|(),(),,()}n n n n P X t i X t i X t i X t i ++====

= 11{()|()}n n n n P X t i X t i ++== (5.1)

则称{X (t),t ≥0}为连续时间的马尔可夫链。

记(5.1)式条件概率的一般形式为

(,){()|()}ij p s t P X s t j X s i =+== (5.2)

定义 5.2 若(5.2)式的转移概率与s 无关，则称连续时间马尔可夫链具有平稳的或齐次的转移概率，此时转移概率简记为

(,)()ij ij p s t p t = (5.3) 其转移概率矩阵简记为()(()),(,,0)ij P t p t i j I t =∈≥。

以下的讨论均假定我们所考虑的连续时间马尔柯夫链都具有齐次转移概率。为方便起见，简称为齐次马尔可夫过程。

定理5.1.1 齐次马尔可夫过程的转移概率具有以下性质：

(1)()0;(2)()1;

(3)()()()

ij ij j I

ij ik kj k I

p t p t p t s p t p s ∈∈≥=+=∑∑

其中（3）式为马尔可夫过程的Chapman-Kolmogorov （简称C-K ）方程。（1），（2）

由概率定义及()ij p t 的定义易知，下面只证明（3）。 定义5.1.3对于任一t ≥0,记

(){()},(0){(0)},j j j p t P X t j p p P X j j I =====∈

分别称{(),}j p t j I ∈和{,}j p j I ∈为齐次马尔可夫过程的绝对概率分布和初始概率分布。

性质5.1.1 齐次马尔可夫过程的绝对概率及有限维概率分布具有以下性质：

112111221211(1)()0;(2)()1;

(3)()();(4)()()();

(5){(),(),,()}()()()

n n j j j I

j i ij j i ij i I

i I

n n i ii i i i i n n i I

p t p t p t p p t p t p t p P X t i X t i X t i p p t p t t p t t ττ-∈∈∈-∈≥==+=====--∑∑∑∑

§5.2 柯尔莫哥洛夫微分方程

引理 5.2.1 设齐次马尔可夫过程满足正则性条件，则对于任意固定的

)(,,t p I j i ij ∈是t 的一致连续函数。

定理5.3 设)(t p ij 是齐次马尔可夫过程的转移概率，则下列极限存在

001()

(1) lim

()

(2) lim ,ii i ii t ij ij t p t v q t

p t q i j

t

?→?→-?==≤∞

??=≤∞≠?

我们称ij q 为齐次马尔可夫过程从状态i 到状态j 的转移速率或跳跃强度。 推论 对有限齐次马尔可夫过程，有

ii ij j i

q q ≠=<∞∑ （5.2.1）

定理5.4 (柯尔莫哥洛夫向后方程)假设ik ii k i

q q ≠=∑，则对一切,i j 及t ≥0，有

()()()ij

ik kj ii ij k i

p t q p t q p t ≠'=-∑ （5.2.4） 定理5.2.3 （柯尔莫哥洛夫向前方程）在适当的正则条件下 ()()()ij

ik kj ij jj k j

p t p t q p t q ≠'=-∑ (5.2.6) 定理5.2.4 齐次马尔可夫链过程在t 时刻处于状态j ∈I 的绝对概率()j p t 满足

如下方程：

()()()j

j

jj

k

kj

k j

t t t p p q p q

≠=-+'∑

定理5.2.5 设马尔可夫过程是不可约的，则有下列性质：

(1)若它是正常返的，则极限lim ()ij t p t →∞

存在且等于0,j j I π>∈,这里j π是方程

组

?????==∑∑∈≠I

j j j k kj

k jj j q

q 1πππ

的唯一非负解，此时称{,j j I π∈}是该过程的平稳分布，并且有

lim

()j

j

t t p π

→∞

=

(2)若它是零常返的或非常返的，则

lim

()lim ()0,,t t t t i j I ij j p p →∞

→∞

==∈

§5.3 生灭过程

定义 设齐次马尔可夫过程{(),0}X t t ≥的状态空间为{0,1,2,}I = ，转移概率为

()ij p t ，如果

,1,10

()()(0)()0()(0,0)()1()()()()(||2)i i i i i i i i ii i i ij p h h o h p h h h p h h o h p h o h i j λλμμμλμ+-=+>?

?=+>=??

=-++??=-≥?

则称{(),0}X t t ≥为生灭过程。其中，i λ称为出生率，i μ称为死亡率。

(1)若,i i i i λλμμ== (λ,μ为正常数)，则称{(),0}X t t ≥为线性生灭过程； (2)若0i μ≡，则称{(),0}X t t ≥为纯生过程； (3)若0i λ≡，则称{(),0}X t t ≥为纯灭过程。

第六章 平稳随机过程

§6.1 平稳过程的概念与例子

一、平稳过程的定义

1.平稳过程

定义

§6.2 联合平稳过程及相关函数的性质

一、联合平稳过程

定义 设{(),}X t t T ∈和{(),}Y t t T ∈是两个平稳过程，若它们的互相关函数

[()()]E X t Y t τ-及[()()]E Y t X t τ-仅与τ有关，而与t 无关，则称()X t 和()Y t 是联合平

稳随机过程。

定理6.1 设{(),}X t t T ∈为平稳过程，则其相关函数具下列性质:

(1) ;0)0(≥X R (2) );()(ττ-=X X R R (3) );0()(X X R R ≤τ (4) )(τX R 是非负定的，即对任意实数12,,,n t t t 及复数12,,,n a a a ，有

0),(1

,≥∑=j i n

j i j i X

a a t t R

(5) 若()X t 是周期为T 的周期函数，即()()X t X t T =+，则)()(t R R X X +=ττ； (6) 若()X t 是不含周期分量的非周期过程，当∞→τ时，()X t 与()X t τ+相互独立，则

X X X m m R =∞

→)(lim ττ

(1) );0()0()(),0()0()

(2

2

Y X XY Y X XY R R R R R R ≤≤ττ

(2) ()()XY YX R R ττ-=

§ 6.3 随机分析

一、收敛性概念

1、处处收敛

对于概率空间(,,)P Ω?上的随机序列{}n X ，每个试验结果e 都对应一序列。

12(),(),,(),n X e X e X e （6.2）

故随机序列{}n X 实际上代表一族(6.2)式的序列，故不能用普通极限形式来定义随机序列的收敛性。若(6.2)式对每个e 都收敛，则称随机序列{}n X 处处收敛，即满足

X X n n

=∞→l i m

其中X 为随机变量。 2、以概率1收敛

若使随机序列{()}n X e 满足

)

()(lim e X e X n n =∞

→

的e 的集合的概率为1，即

{:lim ()()}1n n P e X e X e →∞

==

我们称二阶矩随机序列{()}n X e 以概率1收敛于二阶矩随机变量X(e)，或称{()}n X e 几乎处处收敛于X(e)，记作

X

X e

a n ?→?.。

3、依概率收敛

若对于任给的ε>0， 若有

0}|)()({|lim =≥-∞

→εe X e X P n n ，

则称二阶矩随机序列{()}n X e 依概率收敛于二阶矩随机变量X(e)，记作X X P

n ?→?。 4、均方收敛

设有二阶矩随机序列{}n X 和二阶矩随机变量X ，若有

0]|[|lim 2=-∞

→X X E n n (6.3)

成立，则称{}n X 均方收敛，记作X X s

m n ??→?.。

注：(6.3)式一般记为l.i.m n x X X →∞

=或..n l i mX X =。

5、依分布收敛

设有二阶矩随机序列{}n X 和二阶矩随机变量X ，若{}n X 相应的分布函数列{()}n F x ，在X 的分布函数F(x)的每一个连续点处，有

)()(lim x F x F n n =∞

→

则称二阶矩随机序列{}n X 依分布收敛于二阶矩随机变量X ，记作X X d

n ?→?

对于以上四种收敛定义进行比较，有下列关系：

(1) 若X X s

m n ??→?.，则X X P

n ?→? (2) 若

X

X e

a n ?→?.，则X X P

n ?→?

(3) 若X X P n ?→?，则X X d

n ?→?

定理2 二阶矩随机序列{}n X 收敛于二阶矩随机变量X 的充要条件为

0]|[|lim 2=-∞

→m n n X X E

定理3 设{},{},{}n n n X Y Z 都是二阶矩随机序列，U 为二阶矩随机变量，{n c }为常数序列，a ，b ，c 为常数。令X mX i l n =..，Y mY i l n =..，Z mZ i l n =..，c mc i l n =..。则

（1） c c mc i l n n n ==∞

→lim ..；

（2） U mU i l =..；

（3） cU U c m i l n =)(..；

（4） bY aX bY aX m i l n n +=+)(..； （5） ]..[][][lim n n n mX i l E X E X E ==∞

→；

（6） )]..)(..[(][][lim ,m n m n m n Y m i l mX i l E Y X E Y X E ==∞

→；

特别有

]|..[|]|[|]|[|lim 222n n n mX i l E X E X E ==∞

→。

定理4 设{}n X 为二阶矩随机序列，则{}n X 均方收敛的充要条件为下列极限存在

][lim ,m n m n X X E ∞

→。

二、均方连续

定义 设有二阶矩过程}),({T t t X ∈，若对0t T ∈，有

2000

lim [|()()|]0h E X t h X t →+-=，

则称()X t 在0t 点均方连续，记作000

..

()()h l i m X t h X t →+=。若对T 中一切点都均方连续，则称()X t 在T 上均方连续。

定理（均方连续准则）二阶矩过程}),({T t t X ∈在t 点均方连续的充要条件为相关函数

处连续在点),(),(21t t t t R X 。

推论 若相关函数),(21t t R X 在}),,{(T t t t ∈上连续，则它在T ×T 上连续 三、均方导数

定义7 设}),({T t t X ∈是二阶矩过程，若存在一个随机过程)(t X '，满足

20

()()

lim |

()|0h X t h X t E X t h

→+-'-=

()X t t 则称在点均方可微，记作

0()()()

()..h dX t X t h X t X t l i m dt h

→+-'=＝

()()X t X t t '并称为在点的均方导数。

类似的有2

2)(dt

X

d t X 或

'' 称

12112211212212012120(,)(,)(,)(,)lim X X X X h h R t h t h R t h t R t t h R t t h h h h →→??++-++--???

? 为),(21t t R X 在12(,)t t 的广义二阶导数，记为

2

1212)

,(t t t t R X ???

定理6 均方可微准则 二阶矩过程}),({T t t X ∈在t 点均方可微的充要条件为相关函数),(),(21t t t t R X 在点的广义二阶导数存在。

推论1 二阶矩过程}),({T t t X ∈在T 上均方可微的充要条件为相关函数),(21t t R X 在}),,{(T t t t ∈上每一点广义二阶可微。

推论2 若),(21t t R X 在}),,{(T t t t ∈上每一点广义二阶可微，则()

X dm t dt

在T 上以及

1212121212

(,),(,),(,)X X X R t t R t t R t t t t t t ??????? 在T T ?上存在，且有

12121211

12121222221212121221

()[()]

(1)[()];

(,)(2)[()()][()()];

(,)(3)[()()][()()];(,)(,)

(4)

[()()]

X X X X X dm t dE X t E X t dt dt R t t E X t X t E X t X t t t R t t E X t X t E X t X t t t R t t R t t E X t X t t t t t '==??

'==????

'==????''==????

四、均方积分

定义8 如果0n ?→时，n S 均方收敛于S ，即2

lim ||0n n E S S ?→-=，则称()()

f t X t 在[,]a b 上均方可积，并记为

10

1

()()..()()()n n

b

i i i i a

i S f t X t dt l i m f t X t t t -?→=''==-∑?

()()[,]f t X t a b 称此为在区间上的均方积分。

定理7 （均方可积准则）()()f t X t 在区间[,]a b 上均方可积的充要条件为

121212()()(,)b b

X a

a

f t f t R t t dt dt ??

存在。特别的，二阶矩过程()X t 在[,]a b 上均方可积的充要条件为12(,)X R t t 在[,][,]a b a b ?上可积。

定理8 设()()f t X t 在区间[,]a b 上均方可积，则有 (1) [

()()]()[()]b

b

a

a

E f t X t dt f t E X t dt =?

?

特别有 [

()][()]b

b

a

a

E X t dt E X t dt =?

?

(2) 111222121212[

()()()()]()()(,)X a

a

a

a

E f t X t dt f t X t dt f t f t R t t dt dt =?

??

?

特别的有 2

1212|

()|(,)b

b

b

X a

a

a

E X t dt R t t dt dt =?

?

?

。

定理9 设二阶矩过程}),({T t t X ∈在[,]a b 上均方连续，则

()(),

()t

a

Y t X d a t b ττ=≤≤?

在均方意义下存在，且随机过程}),({T t t X ∈在[,]a b 上均方可微，且有()()Y t X t '=。 推论 设()X t 均方可微，且()X t '均方连续，则

()()()t

a X t X a X t dt '-=?

特别有

()()()t

a

X t X a X t dt '-=?

§4 平稳过程的各态历经性

定义9 设{(),}X t t -∞<<∞为均方连续的平稳过程，则分别称

11()l.i.m

(),()()l.i.m

()()22T

T

T

T

T T X t X t dt X t X t X t X t dt T

T

ττ--→∞

→∞

<>=<->=-?

?

为该过程的时间均值和时间相关函数。

定义10 设{(),}X t t -∞<<∞是均方连续的平稳过程，若()Pr.1(())X t E X t <>，即

1

l.i.m

()2T

X T

T X t dt m T

-→∞

=?

以概率1成立，则称该平稳过程的均值具有各态历经性。

若()()Pr.1(()())X t X t E X t X t ττ<->-，即

1l.i.m ()()()2T

X T

T X t X t dt R T

ττ-→∞-=?

以概率1成立，则称该平稳过程的相关函数具有各态历经性。

定义11 如果均方连续的平稳过程{(),}X t t T ∈的均值和相关函数都具有各态历经性，则称该平稳过程为具有各态历经性或遍历性。

定理 10 设{(),}X t t -∞<<∞是均方连续的平稳过程，则它的均值具有各态历经性的充要条件为

22

21lim 1[()]022T X X T

T R m d T T τττ-→∞??--= ???

? (6.9) 定理 6.11 设{(),}X t t -∞<<∞为均方连续的平稳过程，则其相关函数具有各态历经

性的充要条件为

22

11121lim 1()()022T

X T T B R d T

T ττττ-→∞????--= ???

??

? (6.15) 其中

111()()()()()B E X t X t X t X t τττττ??=----????

(6.16) 定理6.12 对于均方连续平稳过程{(),0}X t t ≤<∞，等式

1l.i.m ()T

X T X d m T ττ→∞=?

以概率1成立的充要条件为

1lim

1()02T X T T B d T T

τττ-→∞??

-= ???

? 若()X t 为实平稳过程，则上式变为

1lim

1()0T X T B d T T τττ→∞??

-= ???

? 定理 6.13 对于均方连续平稳过程{(),0}X t t ≤<∞，等式

1l.i.m ()()()T

X T X t X t dt R T ττ→∞-=? 以概率1成立的充要条件为

2

1111lim 1()()0T X T T B R d T T ττττ-→∞????--= ????

?

? 其中1()B τ与（6.16）式相同。

若()X t 为实平稳过程，则上式变为

2

11101lim

1()()0T X T B R d T T ττττ→∞????--= ?????? 第七章 平稳过程的谱分析

§7.1 平稳过程的谱密度

设)(t X 是均方连续随机过程，作截尾随机过程

()??

?>≤=T

t T

t t X t X T ||,0||),(

因为()t X T 均方可积，故存在傅式变换

(,)()()i t i t x T T T

F T X t e dt X t e dt T

ωωω--∞==-∞-?

?…………..(7.4) 利用帕塞伐公式及傅式反变换，可得

()2221()(),2T X T X t dt x t dt F T d T ωωπ∞∞==-∞--∞

??? 定义7.1 设 {}∞<<-∞t t X ),( 为均方连续随机过程，称

2

21()2lim T T E X t dt T T ψ→∞??=??-??

?

为 )(t X 的平均功率，称

()21(),2lim X x T s E F T T

ωω→∞?

?=??

为 )(t X 的功率谱密度，简称谱密度。

当 )(t X 是平稳均方连续函数时，由于[

]

)(2

t X E 是与t 无关的常数，利用均方积分的性质可以将（7.5）式简化得

221()2lim T T E X t dt T T ψ→∞??

=?

?-??

? ()22

1()()02lim x T T E X t dt E X t R T T

→∞????===????-? ……….. (7.8) 由（7.8）式和（7.5）式看出，平稳过程的平均功率等于该过程的均方值，或等于它的谱密

度在频域上的积分，即

()212X S d ψωωπ∞

=

-∞

? ………………. (7.9) 定义7.2 设{,0,1,2,}n X n =±± 是平稳随机序列，若相关函数满足()X n R n ∞

=-∞

<∞

∑

则称

()(),()in X X

n s R

n e ωωπωπ∞

-=-∞

=

-≤≤∑

为{,0,1,2,}n X n =±± 的谱密度。

§7.2谱密度的分析

设 {}∞<<-∞t t X ),( 为均方连续平稳过程，)(τX R 为它的相关函数，()ωX S 为它的

频率谱密度，()ωX S 具有下列性质： （1） 若

()∞<∞-∞

?ττd R X ，则()ωX S 是)(τX R 的傅式变换，即

()()i t X X S R e d ωωττ-∞

=-∞

? ………. (7.12)

(2) ()ωX S 是ω的实的,非负的偶函数。

(3) 当 ()ωX S 是ω有理函数时，其形式必为

2222220

222220

.....()......n n n n x n m m a a a s b b ωωωωω----+++=+++

其中

22,(0,2,,2;2,4,,2)n i m j a b i n j m --== 为常数，且20n a >，

m n >，分母无实根。

§7.3 窄带过程及白噪声过程的功率谱密度

定义 1 设 (){},X t t -∞<<∞为实值平稳过程，若它的均值为零，且谱密度在所有频率范围内为非零的常数，即()()0X s N ωω=-∞<<∞则称()X t 为白噪声过程。

具有下列性质的函数称为δ函数：

(){()0,0,,0;(1) (2) 1x x x x dx δδ≠∞

∞=-∞==?

δ函数有一个非常重要的运算性质，即抽样性质。对任何连续函数()f x ，有

()()()0,f x x dx f δ∞

-∞

=?

(7.15)

或

()()().f

x x

T d x f T δ∞

-∞

-=?

§7.4 联合平稳过程的互谱密度

定义7.4 设()X t 和()Y t 是两个平稳过程，且它们是联合平稳的(平稳相关的)，若它们的互相关函数()XY R τ满足()XY R d ττ∞-∞<∞?,则称()XY R τ的傅氏变

换

()()i XY XY s R e

d ωτ

ωττ∞--∞=? ………………….(7.21)

是()X t 与()Y t 的互功率谱密度，简称互谱密度。

因此互谱密度()YX s ω与互相关函数()YX R τ的关系如下： ()()i YX YX s R e d ωτωττ∞--∞

=

?

,

()()12i YX YX

R s

e d ωτπ

τωω∞

-∞=

?

互谱密度具有下列性质：

⑴ ()()XY YX s s ωω=，即()XY s ω与()YX s ω互为共轭；

⑵ ()Re XY s ω????和()Re YX s ω????是ω的偶函数，而()Im XY s ω????和()Im YX s ω????是ω的奇函数；

⑶ ()XY s ω与()X s ω和()Y s ω满足下列关系式： ()()()2

X Y X Y s s s ωωω≤ ⑷若()X t 和()Y t 相互正交，则()()0XY YX s s ωω==