随机过程第一章 预备知识及补充

第一章 预备知识

随机过程通常被视为概率论的动态部分。在概率论中研究的随机现象，都是在概率空间(,,)F P Ω上的一个或有限多个随机变量的规律性。涉及中心极限定理时也不过是随机变量序列的讨论。在实际问题中，我们还需要研究一些随机现象的发展和变化过程，即随时间不断变化的随机变量，而且，所涉及的随机变量通常是无限多个（甚至有时与时间一样多，因而是不可数的）。

1.1 概率空间

概率论的一个基本概念是随机试验：其结果在事先不能确定的试验。随机试验具有三个特征：

（1）可以在相同的条件下重复进行；

（2）每次试验的结果不止一个，但预先知道试验的所有可能的结果； （3）每次试验前不能确定哪个结果会出现。

随机试验的所有可能结果组成的集合称为该试验的样本空间，记为Ω。Ω中的元素ω称为样本点或基本事件，Ω的子集A 称为事件。样本空间Ω称为必然事件，空集?称为不可能事件。

定义1.1：设Ω是一个样本空间，F 是Ω某些子集组成的集合族，如果满足： （1）F Ω∈；

（2）若A F ∈，则\c

A A F =Ω∈； （3）若n A F ∈，1,2,n = ，则

1

n n A F ∞

=∈ 。

则称F 为σ-代数。(,)F Ω称为可测空间，F 中的元素称为事件。

如果F 为σ-代数，则： （1）F ?∈；。 （2）若n A F ∈，1,2,n = ，则

1

n n A F ∞

=∈ 。

定义 1.2：设Ω= 。由所有半无限区间(,)x -∞生成的σ-代数（即包含集族

{}(,),x x -∞∈ 的最小σ-代数）称为 上的波莱尔（Borel ）σ-代数，记为()B ，其中

的元素称为波莱尔集合。类似地可定义n

上的波莱尔σ-代数()n

B 。

定义1.3：假设对样本空间Ω的每一个事件A 定义了一个数()P A ，且满足以下三条公

理：

（1）非负性：0()1P A ≤≤；

（2）规范性：()1P Ω=，()0P ?=；

（3）可列可加性：对任意的两两互不相容事件12,,A A ，即,i j A A i j =?≠ ，有

1

1

()()i i i i P A P A ∞

∞

===∑

则称P 是(,)F Ω上的概率，(,,)F P Ω称为概率空间，()P A 称为事件A 的概率。

由公理（1）（2）（3）及定义可知概率具有如下几点性质：

（1）若,A B F ∈，则()()()()P A B P A P B P A B =+- （加法公式）； （2）若,A B F ∈，且A B ?，则()()P A P B ≤（单调性）； （3）若,A B F ∈，则()()()P B A P B P AB -=-；

当A B ?，则()()()P B A P B P A -=-（减法公式；差事件：B 发生而A 不发生）； （4）若,1n A F n ∈≥，则1

1

(

)()n

n

n n P A P A ≥≥≤∑ （Boole's inequality ，布尔不等式：

假定一些事件组成了一个可数的集合，那么这集合中的至少一个事件发生的概率不大于每个事件发生的概率的和。）；

当,1,2,n A n = 两两互不相容时，则1

1

(

)()n

n

n n P A P A ≥≥=∑ ；

概率函数P 的一个重要性质是连续性，为了更精确地阐明这一性质，需要引进极限事件的概念。定义如下：

若1,1n n A A n +?≥，称事件序列{},1n A n ≥为递增的； 当1,1n n A A n +?≥，则事件序列{},1n A n ≥为递减的。

如果{},1n A n ≥是一递增的事件序列，那么我们定义一个新的事件，记为lim n n A →∞

：

1

lim n i n i A A ∞

→∞

== ；

如果{},1n A n ≥是一递减的事件序列，那么我们定义一个新的事件，记为lim n n A →∞

：

1

lim n i n i A A ∞

→∞

== 。

现在，我们开始讨论以下几个命题：

命题1.1：如果{},1n A n ≥是递增或递减的事件序列，则

lim ()(lim )n n n n P A p A →∞

→∞

=

证明：

首先假设{},1n A n ≥是递增的事件序列，并定义事件,1n C n ≥为

11

1

11(),1

n c c

n n i n n i C A C A A A A n --====>

即n C 由包含在n A 中但不在任何前面的()i A i n <中的元素组成。容易验证n C 是互不相容事件（请验证），满足

1

1

1

1

,,1n n

i

i

i

i

i i i i C A C A n ∞∞======?≥

则

1

1

1

1

1

1

()()()lim ()lim ()lim ()lim ()

n n

n i i i i i i n n n n n i i i i i i P A P C P C P C P C P A P A ∞∞∞→∞

→∞

→∞

→∞

============∑∑ 这证明了{},1n A n ≥是递增的事件序列时的结论。

如果{},1n A n ≥是递减的事件序列时，则{}

,1n c

A n ≥是递增的事件序列，因此

1

()(lim )i n c c n i P A p A ∞

→∞

==

但因

1

1()i

c

c i i i A

A ∞

∞

=== ，则

1

1

1()1(lim )()(lim )i c

n i n n n i i P A p A P A p A ∞

∞

→∞

→∞

==-=-?=

{},1n A n ≥是递减的事件序列时的结论得证。

定义 1.4：设,1n A F n ∈≥，所有属于无限多个集合n A 的ω的集合称为事件序列

{},1n A n ≥的上极限，记为limsup

n n A →∞

。可以证明 1limsup n n n k n k

A A ∞∞

→∞

===

可记为{},..n A i o 。

事件序列{},1n A n ≥的下极限定义为

{}00liminf :,,n n n A n n n A ωω→∞

=∈Ω??>∈

可以证明

1liminf n n n k n k

A A ∞∞

→∞

===

命题1.2（波莱尔－坎泰利（Borel-Cantelli ）第一引理）：设{},1n A n ≥为一事件序列，

且limsup n A A =。若

()n

n

P A <∞∑，则

{},..()0n P A i o P A ==

命题1.3（波莱尔－坎泰利（Borel-Cantelli ）第二引理）：如果{},1n A n ≥为独立的事件

序列，使得

1

()n

n P A ∞

==∞∑，则

{},..1n P A i o =

第一引理证明：

根据定义1.4对事件序列{},1n A n ≥上极限的定义可知，因为样本点ω在无穷多个事件

,1n A n ≥发生，则在,1n n k

A k ∞=?≥ 也同样发生，从而在1n k n k

A ∞∞

== 亦发生；另一方面，如果

样本点ω在

1n

k n k

A

∞∞

== ，则对于1k ?≥，ω在

n

n k

A

∞

= 发生，从而对于1k ?≥至少有一个n k ≥，

即n k ?≥，使得ω在n A 发生，因此有ω在无穷多个n A 发生。

因为,1n n k A k ∞=??

≥????

是递减的事件序列，由命题1.1可得

1()(lim )lim ()lim ()0n n n n k k k n k

k n k

n k

n k

P A P A P A P A ∞

∞

∞

∞

∞

→∞

→∞

→∞

=======≤=∑

第二引理证明：

1()(lim )lim ()lim[1()]c n n n n k k k k n k

n k

n k

n k

P A P A P A P A ∞

∞

∞

∞

∞

→∞

→∞

→∞

========- 由,1n A n ≥的独立性且

1

()n

n P A ∞

==∞∑可得

()

()()[1()]exp(())0n P A c c n

n

n n n k

n k

n k

n k

n k

P A P A P A e

P A ∞∞∞∞

∞

-=======-≤=-=∑∏∏∏

该证明过程利用了不等式1x

x e --≤。

例1.1：设12,,X X 使得2

1

(0)1(1),1n n P X P X n n ==

=-=≥。试证明 lim 1n n X →∞

=

证：

记{}0n n A X ==，因

1()n

n P A ∞

=<∞∑（为什么？）

，由波莱尔－坎泰利第一引理可知，无穷多个n X 等于0的概率为0。因此，对于充分大的n ，n X 必须等于1，从而可以概率1断定有

lim 1n n X →∞

=

例1.2：设12,,X X 独立且使得1

(0)1(1),1n n P X P X n n

==

=-=≥。试证明 n X 的极限不存在

证：

记{}0n n A X ==，因

1

()n

n P A ∞

==∞∑（为什么？）

，由波莱尔二坎泰利第一引理可知，无穷多个n X 等于0的事件发生；又因

1

()n

c

n P A ∞

==∞∑，所以也有无穷多个n

X

等于1的事件

发生。因此，以概率1断定有无穷多个n X 等于0及无穷多个n X 等于1发生，即当n →∞时，以概率1断定n X 的极限不存在。

1.2 随机变量和分布函数

定义1.5：设(,,)F P Ω是完备的概率空间，X 是定义在Ω上，

取值于实数集 的函数，如果对任意实数x ∈ ，有{}:()X x F ωω

≤∈，则称()X ω是F 上的随机变量，简称为随机变量。函数

{}():(),F x P X x x ωω=≤-∞<<∞

称为随机变量X 的分布函数。

一个随机变量X 的可能取值的集合是可数的，则该随机变量称为离散的。对于离散型随机变量有

(),1,2,()k k k k

x x

p P X x k F x p

≤====

∑

连续型随机变量X 的概率分布用概率密度()f x 描述，其分布函数

()()()()

x

F x f t dt

d f x F x dx

-∞

==?

对于随机向量12(,,,)d X X X X = ，它的d 维联合分布函数定义为

{}121122(,,,),,,1,,1d d d k F x x x P X x X x X x d x k d

=≤≤≤≥∈≤≤

联合分布函数12(,,,)d F x x x 具有如下几点特点： （1）单调递增性； （2）右连续性； （3）对1,2,,i d = 有

111,,lim (,,,,)0lim (,,,,)1

i d i d x i d x x F x x x F x x x →-∞

→∞

==

联合密度函数 边际分布

1112,,(,,)(,,,,,,,,,,,)n n n k k k k k k k F x x F x x x =∞∞∞∞∞∞

随机变量独立性

121221311(,,,)(,,)(,,,)(,,)d d x d x d x d F x x x F x x F x x x F x x -=

重要分布：

离散均匀分布、二项分布、几何分布、泊松分布、连续均匀分布、正态分布、Γ分布、指数分布、2χ分布、d 维正态分布，等等。

1.3 数字特征、矩母函数与特征函数

1.3.1 数字特征

原点矩：()k

k R

x dF x μ=?

中心矩：()()k k R

m x dF x μ=

-?

期望：{}()R

xP X x EX xf x dx μ?=?==???∑?

方差：{}2

2

2

()()()()R

x P X x Var X x f x dx μσμ?-=?==?-??∑? 协方差：cov(,)()()X Y E X EX Y EY =--

1.3.2 矩母函数和特征函数

X 的矩母函数定义为

()()()tX tx X X t E e e dF x ?==?

对()X t ?逐次求导并计算在0t =点的值得到X 的各阶矩，即

'''2()()

()()

()()

X

X

X

tX tX n n tX t E Xe t E X e t E X e ???===

计算在0t =点的值得到

(0)(),1X

n n E X n ?=≥

当矩母函数存在时，它唯一地决定分布，我们能够用矩母函数刻划随机变量的概率分布。但有时随机变量的矩母函数不一定存在时，在这种情况下，更方便的运用如下定义的特征函数：

()()()itX itx X t E e e dF x φ==?

其中，i =

特征函数()t φ的常用性质： （1）有界性：()1(0)t φφ≤= （2）共轭对称性：_

()()t t φφ-= （3）一致连续性：()()1()ihx

t h t e

dF x φφ+-≤

-?

（4）线性变换作用 （5）对概率线性运算 （6）对有限乘积运算封闭

注：分布函数由其特征函数唯一决定。

表1.1 离散型分布函数

表1.2 连续型分布函数

1.4 条件概率、条件期望和独立性

条件概率：()

()()

P AB P A B P B =

全概率公式：()()()i

i

P A P B P A B =

∑

Bayes 公式：()()

(),1,2,,()()

i i i j

j P B P A B P B A i n P B P A B ==∑

条件期望：

1()())[()](,)B

E X B xdP X x B P B xdP X x B -====??

离散型分布的条件期望（给定Y y =）：

()()x

E X Y y xP X x Y y ====∑

连续型分布的条件期望（给定Y y =）：

()()()(,)()()

Y E X Y y xdF x y xf x y dx f x y f x y f y ====

??

证明：[[]]E E X Y y EX == 以离散型分布为例

[[]][()]

()()(,)

(,)()

x

y

x

y

x

x

y

x

E E X Y y E xP X x Y y xP X x Y y P Y y xP X x Y y x P X x Y y xP X x EX

=================∑∑∑∑∑∑∑∑

类似地，容易证明连续型分布的结论。 独立性：

{}{}11

1

()(),,,,,j j k k

i i i k j j P A P A A i I F i i ===∈∈≠?∏

证明：随机变量1,,n X X 是独立的充分必要条件是它们的联合分布函数可以分解为

111(,,)()()n n X X n F x x F x F x =

1.5 收敛性

1.5.1 极限定理

（1）强大数定律

如果1,,n X X 独立同分布，且具有均值μ，则

12()lim 1n n X X X P n μ→∞+++??==????

（2）中心极限定理

如果1,,n X X 独立同分布，且具有均值μ和方差2

σ，则

2

2lim

x a n P a dx -→∞?

≤=??

?

1.5.2 收敛性

（1）依概率收敛

对于随机变量序列{},1n X n ≥，如果存在随机变量X ，使得对任意的0ε>有

{}lim 0n n P X X ε→∞

-≥=

则称随机变量序列{},1n X n ≥依概率收敛于X ，记为P

n X X →。

推广：p 阶矩收敛，lim(())0p

n n E X X →∞

-=。

（2）依分布收敛

设{}()n F x 是分布函数序列，如果存在一个单调不减函数()F x ，使在()F 的所有连续点x 上有

lim ()()n n F x F x →∞

=

则称{}()n F x 弱收敛于()F x ；设{},1n X n ≥为一随机变量序列，{}()n F x 是其对应的分布函数序列，如果{}()n F x 弱收敛于()F x ，则称{},1n X n ≥依分布收敛。

（3）依概率收敛与依分布收敛的关系

依概率收敛强于依分布收敛，即，依概率收敛?依分布收敛。

预备知识补充

（上界、下界；上确界、下确界；上极限、下极限；矩母函数、特征函数）

.. :inf ,..(..) : ( ),i o nite offen a s a e almost everywhere almost surely 无穷多次

几乎处处（几乎必然，以概率1成立）

A1 上（下）界

设A 为一个非空数集。

上界：如果存在M ∈ ，使得对任意的x A ∈，均有x M ≤，则称A 有上界，M 是A 的一个上界；

下界：如果存在m ∈ ，使得对任意的x A ∈，均有x m ≥，则称A 有上界，m 是A 的一个下界。

如果A 既有上界又有下界，则称为有界集。

例A1：(,0)-∞有上界，0为一个上界；(1,)+∞有下界，1为一个下界；(0,1)为有界

集。

注：有上（下）界的数集，其上（下）界不是唯一的。如，如果M 是A 的上界，则对任意的0ε>，M ε+亦是A 的上界；类似地，m ε-亦是A 的下界。

A2 确界定理

确界定理：如果非空数集A 有上界，则它有一个最小上界，称为A 的上确界，记为

sup A ；即若M ?∈ ，使得

（1）,x A x M ?∈≤；

（2）0,x A εε?>?∈（即x 的以ε为半径一个邻域），有x M εε>-。

则称M 为A 的上确界，记sup A M =。

如果A 有下界，则它有一个最大下界，称为A 的下确界，记为inf A ；即若m ?∈ ，使得

（1）,x A x m ?∈≥；

（2）0,x A εε?>?∈（即x 的以ε为半径一个邻域），有x m εε>+。 则称m 为A 的上确界，记sup A m =。

例A2：求集合11,2,A n n ??

==?

???

的上确界和下确界。 分析：容易看出，1是A 中的最大数。由于

1

0,1n n

>?≥，故0是A 的一个下界。我们来说明0就是A 的下确界。为此，我们只需要证明任何一个正实数均不是A 的下界即可。设ε为任意给定的一个正实数，取1[]1N ε=+，其中1

[]ε

表示不超过

1

ε

的最大整数。此时，1

1

N N

εε

>

?

<，这说明ε不是A 的下界。 总结：

如果数集A 没有上界，则记sup A =+∞；如果A 没有下界，则记inf A =-∞。 如果数集A 有最大数，则最大数就是它的上确界；如果A 有最小数，则最小数就是它的下确界。

如果A 有上确界，{}

A x x A -=-∈有下确界，则inf()sup A A -=-；如果A 有下确界，{}

A x x A -=-∈有上确界，则sup()inf A A -=-。

如果A 有上（下）界，则A 必存在唯一的上（下）确界。

A3 上极限、下极限

设{}n a 为有界数列，令

{}{}inf ,sup n n k k a a k n a a k n =≥=≥

容易验证{}n a 和{}

n a 分别是单调递增和单调递减数列，且

n n n a a a ≤≤

我们分别把数列{}n a 和{}

n a 的极限称为{}n a 的下极限和上极限，记为

lim lim ,lim lim n n n n n n n n a a a a →∞

→∞

→∞

→∞

==

例A3：计算数列(1)n n a n ??

-=???

?的上极限和下极限

解：按照下确界的定义，当n 为奇数时

1111inf ,,,12n a n n n n ??

=--=-??++??

当n 为偶数时，

1111inf ,,,121n a n n n n ??

=-=-

??+++??

即

{}11111,,,,,3355n a ??

=--

---????

从而{}n a 的下极限为0。

类似地，根据上确界的定义，当n 为奇数时

1111sup ,,,121n a n n n n ??

=--=

??+++??

当n 为偶数时，

1111

sup ,,,12n a n n n n

??=-=??++??

即

{}1111,,,,2244n

a ??

=????

从而{}n a 的上极限为0。

例A4：计算数列1[1(1)](1)n n n a n ?

?=+-+????

的上极限和下极限

注：有界数列的极限不一定存在，但有界数列必有上、下极限（意义：为研究数列的性质提供了一个新平台）。

例A5：考虑如下两个数列1,(1)1n

n n n ????

-????+????

的上（下）界、极限和上（下）极限 上（下）极限的基本性质：

（1）有界数列{}n a ，它的上（下）极限必定存在且唯一 （2）对任何的有界数列{}n a ，有lim lim n n n n a a →∞

→∞

≤

（3）有界数列{}n a 存在极限的充要条件是lim lim n n n n a a →∞

→∞

=

（4）保序性：如果存在0N ，当0n N >时有n n a b ≥，则

lim lim ,lim lim n n n n n n n n a b a b →∞

→∞

→∞

→∞

≥≥；lim()lim lim n n n n n n n a b a b →∞

→∞

→∞

+≤+

A4 矩母函数与特征函数

4.1 矩母函数和特征函数的定义

当我们运用随机变量来描述随机现象时，可以通过它的分布函数来表述它的统计规律。为了简化分析，我们也会采用随机变量的数值特征来表述分布函数的某些特征。但是，数值特征只是反映了概率分布的某些方面的特征，而且它们一般是由各阶矩决定的。随着阶数的增加，求矩时对概率密度积分的计算会更为麻烦。而且，现实中的随机现象错综复杂，往往需要用多个随机变量来表达，甚至需要用一系列的随机变量的某种形式的收敛来描述。这样就必须推测随机变量的函数的分布，去处十分复杂。因此，我们引入矩母函数（Moment-Generating Function ）和特征函数（Characteristics Function ），它们都能完全决定分布并具有良好的分析性质。

()()()tX tx X X t E e e dF x ?==?

对矩母函数逐次求导并计算在0t =点的值得到X 的各阶原点矩，这也是它被称为矩母函数的原因。

(0)(),1X

n n E X n ?=≥

矩母函数的性质：

设1(,,)n X X 是一组独立的随机变量，则

（1）如果i i Y aX b =+，则()()i i

bt

Y X t e at ??=；

（2）如果i

Y X

=∑，则()()i

Y X t t ??

=

∏；

（3）如果i

i

Y a X b =

+∑，则()()i bt Y X i t e a t ??=∏。

当矩母函数存在时，它唯一地决定分布。但矩母函数不一定存在，此时我们引入特征函数对随机变量的分布进行刻画。

()()()itX itx X t E e e dF x φ==?

其中，i =

特征函数()t φ的常用性质： （1）有界性：()1(0)t φφ≤=

（2）共轭（实数部分相同而虚数部分互为相反数的两个复数）对称性：_

()()t t φφ-= （3）一致连续性：()()1()ihx

t h t e

dF x φφ+-≤-?

（4）线性变换作用 （5）对概率线性运算 （6）对有限乘积运算封闭

注：特征函数就是iX 的矩母函数；与矩母函数不一定存在不同，特征函数总是存在。

4.2 矩母函数和特征函数的应用

矩母函数（如果存在）和特征函数可以用来求出某个随机变量的矩。