概率统计笔记

概率论与数理统计学

第一章随机事件和概率

不可能事件：一定不发生记φ

必然事件：必然出现的基本事件组成的集合记Ω

事件的运算关系

1.和（并）B

A?或A+B ……（如同数电）“+”“?”=“或”

事件A+B发生充要条件是：A与B至少有一个发生。

2.积（交）AB或B

A?……（如同数电）“?”“?”=“与”

事件AB发生的充要条件：A与B同时发生（发生如1状态，不发生如0状态）

3.差：A—B

事件A—B发生的充要条件是：A=1，B=0

4．对立（逆）：0

A，A=1

=

事件的关系Array

1．包含：事件A包含事件B记B

A?

A?的充要条件是：事件B发生一定导致A发生

B

2．包含于：若事件B

B?

A?，则称B包含于A,记为A

3. 等于：A=B

4．互斥：φ

A A与B互不相容（互斥）

=

?B

A与B互斥的充要条件，A与B不可能同时发生

概率的基本性质： （1）()0=φP

注：不可能事件的概率为0，但概率为0的事件未必是不可能

事件。

（2）AB A B A B A -==-

（3）当B A ?时，有 ()()()B P A P B A P -=- 推论1：当B A ?时，有()()B P A P ≥ 推论2: ()()()AB P A P B A P -=- 推论3：()()()()AB P A P B A P B A P -=-= （4）()()()()AB P B P A P B A P -+=+

推论1：()()()B P A P B A P +≤+ （A,B 互斥时等号成立） 推论2

()()()()()()()()ABC P AC P BC P AB P C P B P A P C B A P +---++=++

（5）()()()B P A P AB P = （A 与B 独立）注：独立≠互斥 条件概率： ()()

B P AB P B A P =

B 条件下A 的概率 注：“|”前可改变，“|”后不可改变

全概公式：设n A A A ,,,21 为正概完备事件组，则B ?，有： ()()

i n

i i A B P A P B P ∑==1

概率的计算：

（1） 乘法原理：做一件事分若干步骤，一步接一步，用乘法原理。

（2） 排列公式：①允许重复的排列：m n ②不允许重复的排列：

()()()121+---==m n n n n p A m

n m n

（3） 组合公式：()!

!!

m n m n A A C m m m

n m n

-==

注：排列与组合关系为!m C P m n m n = 抽签具有公平性

第二章 随机变量的分布与数字特征

一． 随机变量的分布

定义1：如果随机变量X 的取值为一列离散的点n x x x ,,,21 ，我们称X

为一个离散随机变量，并称

() ,2,1,===i p x X P i i 为随机变量X 的分布列。

分布列的性质：（1）;0≥i p （2）1=∑i i p 定义2：如果随机变量X 的分布函数可以写成

()()dt t f x F x

?∞-=

则称X 为一个连续型随机变量，()x f 称为X 的密度函数。

分布函数的性质：

设X 为一个随机变量，我们称()()x X P x F ≤=为随机变量X 的分布函数。 1．()x F 为x 的右连续函数。 2．()x F 为x 的不减函数。 3．()()1,0=∞+=∞-F F

4．实用性：①()()()a F b F b X a P -=≤< ②()()()--==c F c F c X P ③()()()--=≤≤a F b F b X a P ④()()()---=<≤a F b F b X a P

⑤()()()a F b F b X a P -=<<-

根据分布函数求事件的概率（对使用性的解释）： ①{}{}{}()()a F b F a X P b X P b X a P -=≤-≤=≤< ②{}()()0--==a F a F a X P

③{}{}()()()--==+≤<=≤≤a F b F a X P b X a P b X a P ④{}{}{}()()a F b F b X P b X a P b X a P -==-≤<=<<- ⑤{}{}{}a X P a X P a X P =-≤=< ⑥{}{}a X P a X P <-=≥1

密度函数的性质：（1）()0≥x f （2）()1=?+∞

∞-dx x f 概率密度的用途：①()0==c X P ②()()==≤

a 曲边梯形的面积

推论：()()()()?==≤≤=<<=<≤b

a

dt t f b X a P b X a P b X a P 曲边梯形的面积 二． 随机变量的数字特征 1． 数学期望

定义1：设随机变量的分布列为：()i i p x X P ==，如果+∞<∑i i i p x ，

那么我们称i i i p x EX ∑=为随机变量X 的数学期望。 定义2：()dx x xf EX ?+∞

∞-=，EX 反映的是X 的所有取值的平均水平。 数学期望的性质： ①()c c E =

②()2121bEX aEX bX aX E +=+

③()()()2121X E X E X X E =的充要条件是1X 与2X 不相关

推论：当1X 与2X 独立时，有()()()2121X E X E X X E =，但反之不然。

④()[]()i i

i p x g X g E ∑=（离散型）；()[]()()dx x f x g X g E i ?+∞

∞-=（连续型）

2． 方差与标准差

定义：方差：()()222EX EX EX X E DX -=-= 标准差（也称均方差）：DX X =σ

DX 或X σ，反映的是X 的所有取值与平均值的偏离程度 DX 越大，偏离程度就越大，DX 越小，偏离程度就越小。 方差与标准差的性质：

①0≥DX ,且DX=0的充要条件是()1==c X P 推论：()0=c D ②()()X D k kX D 2= ③()DX a b aX D 2=+

④若n X X X ,,,21 相互独立，那么(

)

∑∑===n

i i n

i i DX X D 11

⑤()()()()21212121212

12,cov 2DX DX DX DX X X X D X D X X D x x ρ++=++=+

推论1：()2121DX DX X X D +=+

()0,0,cov 2121==x x X X ρ，21,X X 不相关

推论2：21,X X 独立时，()2121DX DX X X D +=+，反之不然。

几种常见的分布与数字特征

正态分布的基本性质：

1．若()1,0~N X ，则()()1=-Φ+Φx x 2．若()2,~σμN X ,则()1,0~N X Y σ

μ

-=

注：当n 很大，p 很小时()np k e q

p C k k

n k k n =≈--λλλ

!

第三章 多维随机变量的分布与数字特征

一．二维随机变量的联合分布函数

定义1：设X 于Y 均为离散随机变量，取值分别为

.,,,,,,,,,2121 j i y y y x x x 那么我们称()Y X ,为二维离散随机

变量，并称

() ,2,1,,,====j i p y Y x X P ij j i 为()Y X ,的联合分布列。

定义2：设()Y X ,为二维随机变量，如果()Y X ,得联合分布函数可以

写成()()dsdt t s f y x F x

y

??∞-∞-=,,则称()Y X ,为二维连续随机变量，并称()y x f ,为()Y X ,的联合密度函数

易知：()()y x f y

x y x F ,,2=???

定义3：设()Y X ,为二维随机变量，我们称二元函数

()()R y x y Y x X P y x F ∈≤≤=,,,,为()Y X ,的联合分布函数。 联合分布函数的性质：

⑴()y x F ,为x 与y 的右连续函数。 ⑵()y x F ,为x 与y 的不减函数。

⑶()()()()1,,0,,,=+∞∞+=-∞∞-=-∞=∞-F F x F y F ⑷()()()()()()y F y Y P y F x F x X P x F Y X =≤=∞+=≤=+∞,,, 联合分布函数密度的性质： Ⅰ①0≥ij p ； ②1=∑∑i

j

ij p

Ⅱ①()0,≥y x f ； ②()1,=??∞∞-∞

∞-dxdy y x f

二． 二维随机变量边缘分布函数

㈠离散型随机变量的边缘分布： ()().1

1

,i j ij j j i i p p y Y x X P x X P ======∑∑∞

=∞

=

()()j i ij i j i j p p y Y x X P y Y P .1

1

,======∑∑∞

=∞=

㈡连续型随机变量的边缘分布密度：

()()()dy y x f x F x f X

X ?+∞

∞-='=, ()()()dx y x f y F y f Y Y ?+∞

∞

-='=, ㈢一般随机变量的边缘分布：

(){}()()+∞=+∞<≤=≤=,,x F y X x P x X P x F X (){}()()y F Y y X P y Y P y F Y ,,∞+=≤+∞<=≤= 二维随机变量的独立性：

离散的：()()() ,2,1,,,======j i y Y P x X P y Y x X P j i j i

即联合分布列等于边界分布列的乘积，则称X 与Y 相互独立 连续的：()()()R y x y f x f y x f Y X ∈?=,,,或()()()R y x y F x F y x F Y X ∈?=,,, 则称X 与Y 相互独立。 条件分布列与乘法公式：

()()j ij j j i j i p p y Y P y Y x X P y Y x X P .,=

======

()()

.

,i ij i j i i j p p x X P y Y x X P x X y Y P =

======

条件密度： ()()

y f y x f y x f Y Y X ,|=

为在给定y Y =时X 的条件密度。

()()

x f y x f x y f X X Y ,|=

为在给定x X =时Y 的条件密度。 三． 二维随机变量的数字特征：

⒈数学期望：

①()()EY EX Y X E ,,= ②()[]()ij i

j

j i p y x g Y X g E ∑∑=,,（离散型）

③()[]()()dxdy y x f y x g Y X g E ,,,??+∞∞-+∞

∞-=（连续型） ⒉方差：①()()DY DX Y X D ,,=

②()[]()[]()[]22,,,Y X Eg Y X g E Y X g D -= ⒊协方差：

定义：()()()[]EXEY EXY EY Y EX X E Y X -=--=,cov 协方差的性质：

①()()X Y Y X ,cov ,cov = ②()()Y X ab bY aX ,cov ,cov = ③()()Y X Y b X ,cov ,cov =+ ④()

()∑∑===n

i i n

i i Y X Y X 11,cov ,cov

⑤()DX X X =,cov ⑥()()()Z Y Z X Z Y X ,cov ,cov ,cov +=+

⑦()

n

X D n DX n X X i i 22,1,cov σσ=== EX X E =

⑧()()Y X DY DX Y X D ,cov 2++=+ ⑨()()Y X ab DY b DX a bY aX D ,cov 222++=+ 推论1：()()0,cov =?+=+Y X DY DX Y X D

推论2：当X 与Y 独立时，()DY DX Y X D +=+,反之不然。 相关系数： 定义：()DY

DX Y X Y X ,cov ,=

ρ

相关系数的性质：

1,≤Y X ρ

意义：Y X ,ρ反映的是X 与Y 之间线性相关的密切程度，ρ的绝对值越

大，相关的密切程度越高，反之越低。

注：当1=ρ时，称X 与Y 完全线性相关；0=ρ时，称X 与Y 不相关 重要结论：

①独立?不相关，不相关（只是没有直线关系）?/独

都没有）

②若DX 与DY 都存在，则X 与Y 不相关等价于： Ⅰ0=ρ； Ⅱ()0,cov =Y X

Ⅲ ()EXEY XY E = Ⅳ()DY b DX a bY aX D 22+=+

四． 重要的分布

㈠两个重要的分布：

① 二维均匀分布：()()D U Y X ~,

若()()??

???∈其他,0,,1

,D

y x S y x f D 则()Y X ,在D 上服从均匀分布

用于研究二维几何概型

② 二维正态分布： 定义：若

()()(

)

??

???

????????

? ??-+????

??-???? ??--???

? ??---

-=

222

22112112

2121

2

21121,~,σμσμσμρσμρ

ρ

σπσ?y y x x e

y x Y X 称()Y X ,服从参数为ρσσμμ,,,,2

22121的二维正态分布 记()()ρσσμμ;,;,~,222121N Y X

ⅰ()()2

22211,~,,~σμσμN Y N X ⅱ222211,,,σμσμ====DY EY DX EX

相互独立的X 与Y 服从二维正态分布的充要条件是X 与Y 的任意线性组合服从一维正态分布。 ㈡几种常见的函数分布： ①Y X Z +=的密度：

结论：若()()y x f Y X ,~,，则Y X Z +=的密度为 ()()()dy y y z f dx x z x f z f Z ??+∞

∞-+∞

∞--=-=,,

特例：当X 与Y 独立，且Y X Z +=时，有如下卷积公式 ()()()()()dy y z f y f dx x z f x f z f X Y Y X Z -=-=??+∞

∞-+∞

∞- ②Y

X

Z =

的密度 结论：若()()y x f Y X ,~,，则Y

X

Z =的密度为 ()()dy y xy f y z f Z ,?+∞

∞-= ③{}Y X Z ,max =的分布函数：

解：()()(){}()()z z F y Y z X P z Y X P z Z P z F Z ,,,max =≤≤=≤=≤= ④{}Y X Z ,min =的分布函数：

解：

(){}(){}{}

{}{}{}()()()

z z F z F z F z Y z X P z Y P z X P z z X P z Y X P z Z P z F Y X Z ,,Y ,min -+=≤≤-≤+≤=≤≤=≤=≤=或

第四章 大数定律与中心极限定理

一． 大数定律

㈠切比雪夫不等式：设随机变量X 的方差()X D 存在，则对0>?ε

有 (){}()

2

ε

εX D X E X P ≤

≥-

或 (){}()

2

1εεX D X E X P -≥<-

㈡大数定律

①依概率收敛：设 ,,,,21n ξξξ是随机变量序列，若0>?ε，有

{}1l i m =<-∞

→εξξn n P 则称{}n ξ依概率收敛于ξ，记

()∞→?→?n P n ,ξξ

②大数法则：设 ,,,,21n ξξξ是随机变量序列，∑==n

i i n n 1

1ξη，若存在一

个常数列 ,,,,21n a a a 对0>?ε，恒有

{}1lim =<-∞

→εηn n n a P ，则服从大数定律。

③ 伯努利大数定律：

定理：设n μ是n 次独立重复试验中事件A 发生的次数，而p 是事件A 在每次试验中发生的概率，则0>?ε，有

1lim =?

?????<-∞→εμp n P n n ，即()∞→?→?n p n P

n ,μ 注：此定理是实践中所谓“频率稳定性”的理论证明。 ④切比雪夫大数定律：设随机变量 ,,,,21n X X X 相互独立，且具有

相同的数学期望μ=i EX ，方差存在且一致有界，那么对0>?ε

有 11lim 1=???

?

??<-∑=∞→εμn i i n X n P ⑤辛钦大数定律：设随机变量 ,,,,21n X X X 相互对立同分布，且数

学期望μ=i EX 存在，那么对0>?ε有

11lim 1=???

? ??<-∑=∞→εμn i i n X n P 注：ⅰ辛钦定律不要i X 存在方差。 ⅱ伯努利大数定律是辛钦的特例。

二． 中心极限定理

⒈隶莫弗-拉普拉斯定理（二项分布以正态分布为极限分布） 设随机变量 ,,,,21n X X X 服从参数为n 和p 的二项分布，即

()() ,2,1,10,,~=<

dt e x npq np X P t

x n n 22

21lim -∞-∞

→?=??

????????≤-π 说明：当n 很大时，有()2

2

221σμσ

π--

-≈k k n k k n e

q p C

（其中，npq np ==σμ,）

⒉列维-林德伯格中心极限定理（独立同分布中心极限定理） 设随机变量 ,,,,21n X X X 相互独立，服从同一分布且具有数学期望和方差：()() ,2,1,,2===k X D X E k k σμ则对于任意实数x 有

dt e x n n X P x t n k k n ?∑∞--=∞

→=???

?

???

???????≤-21221lim πσμ 说明：当n 很大时，σ

μ

n n X

n

k k

∑=-1

近似地服从正态分布()1,0N

即∑=n

k k X 1

近似的服从正态分布()2,σμn N

第五章 数理统计的基本概念

一． 常用统计量有：

① 样本均值：∑==n

i i X n X 1

1

② 样本方差：()

2

1

2

11∑=--=n i i X X n S , 22σ=ES

③ 样本矩：K 阶原点矩：∑=n i k

i X n 1

1

K 阶中心矩：()

k

n

i i X X n ∑=-1

1

二． 数理统计中常见的几种分布： ⒈2χ分布

Ⅰ 定义：设 ,,,,21n X X X 相互独立且均为()1,0N ，那么我们称 222212n X X X +++= χ服从自由度为n 的2χ分布，记为()n 2χⅡ2χ分布的可加性：设()()m Y n X 22~,~χχ，且X 与Y 相互独立，那么

()m n Y X ++2~χ

Ⅲ ()()n n D n n E 2,22==χχ ()121

22-=??

?

??-n S n D σ

()1~1222--n S n χσ

⒉t-分布

定义：设()()n Y N X 2~,1,0~χ，且X 与Y 相互独立，那么称n

Y X t =

服从自由度为n 的t-分布，记为()n t 。 t 分布的密度函数为偶函数，且当∞→n 时，()()1,0N n t → ⒊F-分布

① 定义：设()()m Y n X 22~,~χχ，且X 与Y 相互独立，那么我们称 m

Y n

X F =

服从自由度为n,m 的F 分布，记为()m n F , ②若()()n m m n F F ,F ~F

1,,~则 ② 若()()n F t n t t ,1~,~2则

注：()21n X X ++ 当一个自由度来看 三． 正态总体的六大抽样分布：

单总体：

设总体()n X X X N X ,,,,,~212 σμ为总体X 的样本，则 ⒈()1,0~N n

X σ

μ

-

⒉()1~1

222

--n S n χσ

⒊

()1~--n t n

S

X μ

且X 与2S 相互独立。 双总体

设总体()211,~σμN X ,总体()2

22,~σμN Y ，且X 与Y 相互独立，n

X X X ,,,21 为总体X 的样本，m Y Y Y ,,,21 为总体Y 的样本，则 ⒋

()

()1,0~22

2

1

21N m

n Y X σ

σ

μμ+---

⒌()1,1~21

2

2

2221--m n F S S σσ ⒍若2221σσ=，则

()()2~1121-++---m n t m

n S Y X ωμμ

其中()()[]

22212112

1

S m S n m n S -+--+=ω

四． 点估计与无偏性： ⒈矩估计

设总体()θ,~x f X ，其中θ为未知参数。n X X X ,,,21 为X 的样本。令

X EX =从中解出参数θ，则θ的解就是θ的矩估计

⒉极大似然估计

似然函数：设总体X 为一个随机变量，密度为()θ,x f ，其中θ为未

知参数。n X X X ,,,21 为X 的样本，那么参数θ的似然函

数为 ()()∏==n

i i x f L

1,θθ

如果总体X 为一个离散随机变量，比如()p m B X ,~，那么参数p 的似然函数为

()()

i

i i

x m n

i x x m p p C p L -=-=∏11

如果总体X 为一个随机变量，比如()2,~σμN X ,那么参

数2,σμ的似然函数为

(

)()2

2

21

2

21,σμσ

πσ

μ--

=∏

=i x n

i e

L

求似然函数的方法：

①写出参数θ的似然函数()θL 。 ②写出似然函数()θL 的对数()θL ln 。 ③令()θL ln 关于θ的导数()0ln =θ

θd L d ，并求出θ。

④小写改大写。 ⒊无偏性

设θ为总体X 中的一个参数，θ?为一个统计量。如果

θθ

=?E 则称θ?为θ的的一个无偏估计量。

样本均值恒为总体均值的无偏估计量；样本方差恒为总体方差的无偏估计量。

五． 随机变量的上α分位点

定义：设X 为一个随机变量，()1,0∈α，如果存在一个常数b ，使得

()α=>b X P

则称b 为X 的上α分位点，记为αX 易知有如下结果：

①()αα=>X X P ②()αα-=≤1X X P

③()αα=<-1X X P ④()αα-=≥-11X X P

⑤ααα=???? ??><-221,X orX X X P ⑥ααα-=???? ?

?≤≤-

1221X X X P ⒈标准正态分布的上α分位点：如果()1,0~N X ,称αX 为标准正态分布的上α分位点，记为αz ，性质：ααz z -=-1

⒉t 分布的上α分位点：如果()n t X ~，称αX 为t 分布的上α分位点，记为()n t α，性质：()()n t n t αα-=-1

⒊2χ分布的上α分位点：如果()n X 2~χ，称αX 为2χ分布的上α分位点，记为()n 2χ

⒋F 分布的上α分位点：如果()m n F X ,~，称αX 为F 分布的上α分位点，记为()m n F ,α，性质：()()

n m F m n F ,1

,1αα=

-

六． 正态总体参数的区间估计（取中间）

区间估计的定义：设总体()θ,~x f X ，其中θ为未知参数，n X X X ,,,21 为总体X 的样本，()1,0∈α，如果存在两个统计量θθ,，使得

()

αθθ-=<<1P

即随机区间[]θ,包含θ的概率为α-1，则称随机区间[]θ,为参数θ的置信度为α-1的置信区间。

正态总体参数的区间估计（总纲）：

⒈对正态总体来说，参数θ只有四种情况：22

2

1212

,,,σσμμσμθ-=

⒉（三选一）从六大抽样分布中选一个，记为X ，选择标准为： ① 必须含有θ

② 不能含有其他未知数 ③尽量使用总体的已知信息

⒊从ααα-=???? ?

?<<-

1221X X X P 中求出θθ, ⒋带入数据进行计算

第六章 正态总体参数的假设检验

小概率事件的原则：小概率事件在一次试验中不会发生。 正态正态参数的假设检验（总纲）（取两边）

⒈对正态正态来说，参数θ只有四种情况：22

2

1212

,,,σσμμσμθ-=

⒉假设提法

① 双边假设：0100:,:θθθθ=/=H H ② 单边假设：0100:,:θθθθ>≤H H ③ 单边假设：0100:,:θθθθ<≥H H

⒊（三选一）从六大抽样分布中选一个，记为X 。

⒋构造小概率事件，对应三种不同的假设，分别使用下列各式

①ααα=???? ?

?><-

221,X orX X X P ②()αα=>X X P ③()αα=<-1X X P

⒌写出拒绝域，分别为αααα

--

<>><12

2

1;;X X X X X X X

X 或

⒍代入数据进行计算并判断。