信息论与编码第二章答案解析

2-1、一阶马尔可夫链信源有3个符号

{}123,,u u u ，转移概率为：1

112

()u p u

=，

2112()u p u =，31()0u p u =，1213()u p u = ，22()0u p u =，3223()u p u =，1313()u p u =，2323()u p u =，33()0u p u =。画出状态图并求出各符号稳态概率。

解：由题可得状态概率矩阵为：

1/21/2

0[(|)]1/302/31/32/30j i p s s ????=??

????

状态转换图为：

令各状态的稳态分布概率为1W ，2W ，3W ，则： 1W =

121W +132W +133W ， 2W =121W +233W , 3W =23

2W 且：

1W +2W +3W =1 ∴稳态分布概率为：

1W =

25，2W =925，3W = 625

2-2.由符号集｛０，１｝组成的二阶马尔可夫链，其转移概率为：P(0|00)=0.8,P(0|11)=0.2,P(1|00)=0.2,P(1|11)=0.8,P(0|01)=0.5,p(0|10)=0.5,p(1|01)=0.5,p(1|10)=0.5画出状态图，并计算各符号稳态概率。 解：状态转移概率矩阵为：

令各状态的稳态分布概率为1w 、2w 、3w 、4w ，利用（2-1-17）可得方程组。

0.8 0.2 0 00 0 0.5 0.5()0.5 0.5 0 00 0 0.2 0.8j i p s s ??

??

?

?=??????

111122133144113211222233244213

311322333344324411422433444424

0.80.50.20.50.50.20.50.8w w p w p w p w p w w w w p w p w p w p w w w w p w p w p w p w w w w p w p w p w p w w =+++=+??=+++=+??

=+++=+??=+++=+? 且12341w w w w +++=；

解方程组得：12345141717514w w w w ?=???=???=???=? 即：5(00)141(01)71(10)75(11)14

p p p p ?

=???=??

?=???=?

2-3、同时掷两个正常的骰子，也就是各面呈现的概率都是16

，求：

（1）、“3和5同时出现”事件的自信息量； （2）、“两个1同时出现”事件的自信息量； （3）、两个点数的各种组合的熵或平均信息量； （4）、两个点数之和的熵；

（5）、两个点数中至少有一个是1的自信息量。

解：（1）3和5同时出现的概率为：1111

p(x )=26618

??= 11

I(x )=-lb

4.1718

bit ∴= （2）两个1同时出现的概率为：2111

p(x )=6636

?=

21

I(x )=-lb

5.1736

bit ∴= （3）两个点数的各种组合（无序对）为： (1,1),(1,2),(1,3),(1,4),(1,5),(1,6) (2,2),(2,3),(2,4),(2,5),(2,6) (3,3), (3,4),(3,5),(3,6) (4,4),(4,5),(4,6)

(5,5),(5,6) (6,6) 其中，(1,1), (2,2), (3,3), (4,4), (5,5), (6,6)的概率为1/36，其余的概率均为1/18 所以，1111

()156 4.33718183636

H X lb lb bit ∴=-?

-?=事件 （4）两个点数之和概率分布为：

4678102

3591112356531244213636363636363636363636

x p 信息为熵为：12

2

()1() 3.27i

i

i H p x bp x bit ==-

=∑

（5）两个点数之中至少有一个是1的概率为：311

()36

p x = 311

I(x )=-lb

1.1736

bit ∴= 2-4.设在一只布袋中装有100个用手触摸感觉完全相同的木球，每个球上涂有一种颜色。100个球的颜色有下列三种情况： （1）红色球和白色球各50个； （2）红色球99个，白色球1个； （3）红、黄、蓝、白色球各25个。

分别求出从布袋中随意取出一个球时，猜测其颜色所需要的信息量。 解：（1）设取出的红色球为1x ，白色球为2x ；有11()2p x =，21

()2

p x = 则有：1

111

()()2222

H X lb

lb =-+=1bit/事件 (2) 1()0.99p x =,2()0.01p x =;

则有：()(0.990.990.010.01)H X lb lb =-+=0.081（bit/事件）

(3)设取出红、黄、蓝、白球各为1x 、2x 、3x 、4x ，有12341

()()()()4

p x p x p x p x ==== 则有：11()4()244

H X lb bit =-=/事件

2-5、居住某地区的女孩中有25%是大学生，在女大学生中有75%身高为1.6M 以上，而女孩中身高1.6M 以上的占总数一半。假如得知“身高1.6M 以上的某女孩是大学生”的消息，问获得多少信息量？

解：设女孩是大学生为事件A ，女孩中身高1.6m 以上为事件B ，则p(A)=1/4, p (B)=1/2，

p (B|A)=3/4，则 P(A|B)=

()()(|)()()p AB p A P B A p B P B ==0.250.753

0.58

?= I （A|B ）＝log （1/p(A/B)）=1.42bit

2-6.掷两颗 ，当其向上的面的小圆点数之和是3时，该消息所包含的信息量是多少？当小圆点数之和是7时，该消息所包含的信息量又是多少？

解：（1）小圆点数之和为3时有（1,2）和（2,1），而总的组合数为36，即概率为

1

(3)18

p x ==

，则 1

(3)(3) 4.1718

I x lbp x lb

bit ==-==-= （2）小园点数之和为7的情况有（1,6），（6,1）（2,5）（5,2）（3,4）（4,3），则概率为

1(7)6p x ==

，则有 1

(7) 2.5856

I x lb bit ==-= 2-7、设有一离散无记忆信源，其概率空间为1234013338

141418X x x x x P ====????

=???????? （1）、求每个符号的自信息量； （2）、信源发出一消息符号序列为

{}

202120130213001203210110321010021032011223210，求该消息序列的自信息量及平均每个符号携带的信息量。

解：（1）1x 的自信息量为：13

I(x )=-lb

1.4158bit = 2x 的自信息量为：21

I(x )=-lb 24

bit =

3x 的自信息量为：31

I(x )=-lb

24bit = 4x 的自信息量为：41

I(x )=-lb 38

bit =

（2）在该消息符号序列中，1x 出现14次，2x 出现13次，3x 出现12，4x 出现6次，所以，该消息序列的自信息量为：

I （i x ）=14 I （1x ）+13 I （2x ）+12 I （3x ）+6 I （4x ）

19.8126241887.81bit bit bit bit

bit

=+++=

平均每个符号携带的信息量为：

11223344()()log ()()log ()()log ()()log ()

H X p x p x p x p x p x p x p x p x =+++

31111.41522384481.906bit

=?+?+?+?=

2-8．试问四进制、八进制脉冲所含的信息量是二进制脉冲的多少倍？

解;设二进制、四进制、八进制脉冲的信息量为

21()12I X lb

bit =-= 41()24I X lb bit == 81

()38

I X lb bit == 所以，四进制、八进制脉冲信息量分别是二进制脉冲信息量的2倍、3倍。

2-10 在一个袋中放5个黑球、10个白球，以摸一个球为实验，摸出的球不再放进去。求： （1）一次实验中包含的不确定度；

（2）第一次实验X 摸出是黑球，第二次实验Y 给出的不确定度； （3）第一次实验X 摸出是白球，第二次实验Y 给出的不确定度；

287.81/45 1.95I =≈ 比特/符号

（4）第二次实验包含的不确定度。

解：（1）一次实验的结果可能摸到的是黑球1x 或白球2x ，它们的概率分别是11

()3

p x =

，22

()3

p x =

。所以一次实验的不确定度为 121122

()(,)(log log )0.5280.3900.918333333

H X H bit ==-+=+=

(2)当第一次实验摸出是黑球，则第二次实验Y 的结果可能是摸到黑球1x 或白球2x ，它们的概率分别是 112()7p y x =

、215

()7

p y x =。 所以该事件的不确定度为

1112255

()()log ()(log log )7777i i i

H Y x p y x p y x =-=-+∑

0.5160.3470.863bit =+=/符号

(3)当第一次实验摸出是白球，则第二次实验Y 的结果可能是摸到黑球1y 或白球2y ，它们的概率分别是 125()14p y x =

、229

()14

p y x =。 所以该事件的不确定度为

2225599

()()log ()(log log )14141414i i i

H Y x p y x p y x =-=-+∑

0.5300.4100.940bit =+=/符号

（4）

2

11220

(|)()(|)=()()()() =0.91bit /i i i H Y X p x H Y x p x H Y x p x H Y x ==-+∑符号

二次实验B 出现结果的概率分布是p(x,y)=p(黑，黑)= 221，p(x,y)=p(黑，白)= 5

21

，p(x,y)=p(白，黑)=

521，p(x,y)=p(白，白)= 9

21

所以二次实验的不确定度为 H(B)= -221log 221-521log

521-521log 521-921log 9

21

=0.91bit/符号

2-11有一个可旋转的圆盘，盘面上被均匀地分成38份，用1，2，、、、，38数字标示，其中有2份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上指针指向某一数字和颜色。 （1）若仅对颜色感兴趣，则计算平均不确定度； （2）若对颜色和数字都感兴趣，则计算平均不确定度； （3）如果颜色已知时，则计算条件熵。

解：令X 表示指针指向某一数字，则X={1,2,……….,38} Y 表示指针指向某一种颜色，则Y={绿色，红色，黑色} Y 是X 的函数，由题意可知()()i j i p x y p x = （1）仅对颜色感兴趣，则 H(c)=—

322log 322—2?

3218?log 32

18

=0.2236+1.0213 =1.245bit (2)对颜色和数字都感兴趣，则

H(n,c)=H(n)=38?(-381)log 38

1

=-3010.05798.1- =5.249bit

(3)如果颜色已知时，则

H （n|c ）=H(n,c)-H(h)=5.249-1.245=4.004bit

2-12、两个实验X 和Y ，123{,,}X x x x =，123{,,}Y y y y =，联合概率(,)i j ij r x y r =为

11

121321222331

32

337/241/2401/241/41/2401/247/24r r r r r r r r r ????

????=????????????

（1）如果有人告诉你X 和Y 的结果，你得到的平均信息量是多少？ （2）如果有人告诉你Y 的结果，你得到的平均信息量是多少？

（3）在已知Y 的实验结果的情况下，告诉你X 的实验结果，你得到的平均信息量是多少？ 解：（1）、33

11

(,)(,)log (,)i

j

i j i j H X Y p x y

p x y ===-

∑∑

771111

2log 4log log 24

2424

2444

=-?

-?- 2.3bit /=符号 （2）、

1231

()()()3

p y p y p y ===

3

1

11111

()()log ()(,,)3log 1.58bit/33333i i i H Y p y p y H ==-==-?=∑符号

（3）、(|)(,)() 2.3 1.580.72bit/H X Y H X Y H Y =-=-=符号

()(,)log ()i j i j ij

H X Y p x y p x y =-∑

(,)(,)log

()

71

171124244(2log 4log log

)1112424433

3

0.1120.50.1040.716i j i j ij

j p x y p x y p y bit

=-=-?+?+=++=∑ 2-13有两个二元随机变量X 和Y ，它们的联合概率如右图所示。 并

定

义

另

一

随

机

变

量

Z=XY

（

一

般乘积）。

试计算：

（1） ()H X ，()H Y ，()H Z ，(,)H X Z ，(,)H Y Z ，(,,)H X Y Z

（2） H(X Y)，H(Y )X ，()H X Z ，()H Z X ，()H Y Z ，()H Z Y ，

(,)H X Y Z ，(,)H Y X Z ，(,)H Z X Y

（3） (;)I X Y ，(;)I X Z ，(;)I Y Z ，(;)I X Y Z ，(;)I Y Z X ，(;)I X Z Y

解：（1）1）31

82+=111121p(x )=p(x y )+p(x y )=

8 11

82

+=221223p(x )=p(x y )+p(x y )=8

()()log ()1/i i i

H X p x p x bit symbol =-=∑

31

82

+=

11121

1

p(y)=p(x y)+p(x y)=

8

11

82

+=

21222

3

p(y)=p(x y)+p(x y)=

8

()()log()1/

j j

j

H Y p y p y bit symbol

=-=

∑

12

01

71

()

88

z z

Z

P Z

==

??

????

=??

??

????

??

27711

()()(log log)0.544/

8888

k

k

H Z p Z bit symbol

=-=-+=

∑

11112

()()()

p x p x z p x z

=+

111

()()0.5

p x z p x

==

12

()0

p x z= 11121

()()()

p z p x z p x z

=+

21111

73

()()()0.5

88

p x z p z p x z

=-=-=

21222

()()()

p z p x z p x z

=+

222

1

()()

8

p x z p z

==

()()log()

131113311

(,0,,)(log log log) 1.406/

288228888

i k i k

i k

H XZ p x z p x z

H bit symbol

=-

==-++=

∑∑

同理：

113311

()()log()(log log log) 1.406/

228888

j k j k

j k

H YZ p y z p y z bit symbol

=-=-++=

∑∑

Pxyx(000)=1/8, Pxyz(010)=3/8, pxyz(100)=3/8, P(111)=1/8

Pxyz(110)=Pxyz(001)=Pxyz(101)=Pxyz(011)=0

2

1331

()()log()(,,,)

8888

11333311

(log log log log) 1.811/

88888888

i j k i j k

i j k

H XYZ p x y z p x y z H

bit symbol =-=

=-+++=

∑∑∑

（2）1133

(,)2(log log) 1.81

8888

H X Y bit

=-?+=

由于(,)()()()()H X Y H X H Y X H Y H X Y =+=+所以：

()H X Y (,)()H X Y H Y =-；()(,)()H Y X H X Y H X =-则， () 1.8110.81H X Y bit =-= ()H Y X 1.8110.81bit =-=

()(,)()H X Z H X Z H Z =- 1.410.540.87bit =-= ()(,)()H Z X H X Z H X =- 1.4110.41bit =-= ()(,)()H Y Z H Y Z H Z =- 1.410.540.87bit =-= ()(,)() H Z Y H Y Z H Y =- 1.4110.41bit =-=

(,)(,,)(,)H X Y Z H X Y Z H Y Z =- 1.81 1.410.4bit =-= (,)(,,)(,) 1.81 1.410.4H Y X Z H X Y Z H X Z bit =-=-= (,)(,,)(,) 1.81 1.810H Z X Y H X Y Z H X Y bit =-=-=

Pxz=Px*Pz|x=Pz*Px|z

（3）(;)()()10.810.19I X Y H X H X Y bit =-=-= (;)()()10.870.13I X Z H X H X Z bit =-=-=

(;)()()10.870.13I Y Z H Y H Y Z bit =-=-=

由于(;,)(;)(;)I X Y Z I X Z I X Y Z =+则

(;)(;,)(;)()(,)()()I X Y Z I X Y Z I X Z H X H X Y Z H X H X Z =-=--?-???

()(,)H X Z H X Y Z =-0.870.40.47bit =-=

同理有： (;)()(,)0.810.40.41I Y Z X H Y X H Y X Z bit =-=-= (;)()(,)0.810.40.41I X Z Y H X Y H X Y Z bit =-=-=

2.16 黑白传真机的消息元只有黑色和白色两种，即X={黑，白}，一般气象图上，黑色的出现概率p(黑)＝0.3，白色出现的概率p(白)＝0.7。

（1）假设黑白消息视为前后无关，求信源熵H(X)，并画出该信源的香农线图

（2）实际上各个元素之间是有关联的，其转移概率为：P(白|白)＝0.9143，P(黑|白)＝0.0857，P(白|黑)＝0.2，P(黑|黑)＝0.8，求这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。

（3）比较两种信源熵的大小，并说明原因。 解：（1）221010

()0.3log 0.7log 0.881337

H X =+=bit/符号 P(黑|白)=P(黑)

P(白|白)＝P(白)

P(黑|黑)＝P(黑) P(白|黑)＝P(白)

（2）根据题意，此一阶马尔可夫链是平稳的（P(白)＝0.7不随时间变化，P(黑)＝0.3不随时 间变化）

212

222

2

1

()(|)(,)log (,)

111

0.91430.7log 0.08570.7log 0.20.3log 0.91430.08570.2

10.80.3log 0.8

i j i j ij

H X H X X p x y p x y ∞===?+?+?+?∑ ＝0.512bit/符号

2.20 给定语音信号样值X 的概率密度为1()2

x

p x e λλ-=,x -∞<<+∞,求H c (X)，

并证明它小于同样方差的正态变量的连续熵。 解：

201()()log ()()log 2111()log ()()log log log ()22211

1log log ()log

()222

11log 2log 22x

c x x x x

x x x x

H X p x p x dx p x e dx

p x dx p x x edx e e x dx

e e x dx e x dx e xe λλλλλλλλλλλλλλλλ+∞+∞

--∞-∞

+∞

+∞

+∞

--∞-∞-∞+∞

--∞

+∞-=-=-=---=-+=-+?-+=-+???????

?0

112log log (1)log log log 22x x e dx e x e e λλλλλλ+∞

-??=--+=-+=??2

2

()0,()E X D X λ

==

,221214()log 2log ()22e H X e H X ππλλ=

==>=

2-23 连续随机变量X 和Y 的联合概率密度为

221{[(1)2]}2(,)N

x xy y N S

p x y -

+-+=

求()c H X ,()c H Y ,()c H Y X ,(;)I X Y 解：()(,)X P x p x y dy ∞

-∞=

?221{[(1)2]}2N

x xy y N S

dy ∞

-

+-+=?

2222111

{[()]}[()]222N

x y x x x y N S

S N

dy dy ∞

∞

-

-+---=

=?

?

21

2x S -=

221{[(1)2]}2()(,)N

x xy y N S

Y P y p x y dx dx ∞∞

-

+-+-∞=

=??

2

22

2

22

{[()

]}

2()

1

)]2()1

2()

S N S

SN x y y NS S N

S N S

y x y S N S N

y S N dx dx +∞

--+

++∞

--++-+=

=

=?

?

随机变量X 的概率密度分布为()X P

x 212x S -=，呈标准正态分布。其中数学期望为0，方差为S ；随机变量Y 的概率密度分布为()Y P y

2

1

2()y S N -+=

，也呈标准正态分布。其中数学期望为0，方差为（S+N ）。

2211

22()()log ()x x S S c X X H X P x P x dx dx

∞

∞

---∞

=-=-??

21

2211)log 2log ()

22

11log 2log log

2222

x S

x x E S e E x S S S e eS S πππ-=-=+=+=

2

2

1

1

2()2()

()()log ()y y S

N S N c Y Y H Y P y P Y dy dy ∞

∞

--++-∞

=-=-??

2

1

22()

11)log 2()log ()

22()11

log 2()log log 2()22()2

y S N y Y E S N e E y S N

S N S N e e

S N S N πππ-+=-=++++=++=++

(,)(,)log (,)c H X Y P x y P X Y dxdy ∞

-∞=-?

222211{[(1)2]}{[(1)2]}22N N

x xy y x xy y N S N S

dxdy

∞

-+-+-+-+=-?

221{[(1)2]}2

)N

x xy y N S

xy E -

+-+=-

221log 2log ([(1)2)2xy N

e E x xy y N

S =+-+ 2log 2log 2N

e N

= log 2π=

()(,)()c c c H Y X H X Y H X =- 11

log 2log 2log 222

eS eN πππ==

(;)()()c c I X Y H Y H Y X =- 111log 2()log 2log(1)222S

e S N eN N

ππ=+-=+

2-25 某一无记忆信源的符号集为{0，1}，已知

（1）求符号的平均熵。

（2）由100 个构成的序列，求某一特定序列（例如有m 个0和100-m 个1）的自由信息量的表达式。

（3）计算（2）中的序列的熵。

解：（1）1133

()log log 0.50.310.814444H X bit =--=+= （2）10013()log()()200(100)log3 1.594144

m m

I X m m -=-=--=+

（3）100

()100()81H X

H X bit ==

()

()2(1/100)log3100

I X H X m =

=-- 2-26 一个信源发出二重符号序列消息（1X ，2X ），其中第一个符号1X 可以是A ，B ，C 中的任一个，第二个符号2X 可以是D ，E ，F ，G 中的任一个。已知各个1()i p x 为

1()2p A =

,1()3p B =,1

()6

p C =；各个21()j i p x x 值列成如下。求这个信源的熵（联合熵）12(,)H X X .

解：12121(,)()()H X X H X H X X =+ 11

11111

()[log

log log ]0.50.5280.431 1.459223366

H X bit =-++=++= 21()H X X

111111133111111

[4log 2log 2log 3log log ]24435531010666622=-??+??+??+??+?

10.30940.34720.21530.0833 1.955bit =++++=

12(,) 1.459 1.955 3.414/H X X bit =+=序列

2.29 有一个一阶平稳马尔可夫链1,2,

,,

r X X X ,各X r 取值于集合{}1,2,3A a a a =,已知起

始概率P(X r )为1231/2,1/4p p p ===，转移概率如下图所示

(1) 求123(,,)X X X 的联合熵和平均符号熵 (2) 求这个链的极限平均符号熵

(3) 求012,,H H H 和它们说对应的冗余度 解：（1）

12312132,112132(,,)()(|)(|)()(|)(|)

H X X X H X H X X H X X X H X H X X H X X =++=++

1111111

()log log log 1.5/224444

H X bit =---=符号

X 1，X 2的联合概率分布为

212()()j i j i

p x p x x =∑

X 2

的

概率分布为

那么

21111131131

(|)log 4log 4log 4log log3log log348862126212

H X X =++++++

=1.209bit/符号 X 2X 3的联合概率分布为

那么

32771535535

(|)log 2log 4log 4log log3log log3244883627236272

H X X =

++++++ =1.26bit/符号

123(,,) 1.5 1.209 1.26 3.969H X X X bit =++=/符号

所以平均符号熵3123 3.969

(,,) 1.3233

H X X X bit =

=／符号 （2）设a 1,a 2,a 3稳定后的概率分布分别为W1,W2,W3,转移概率距阵为11

12442

103321033

P ?? ? ?

?= ? ? ? ???

由1i WP W W =???=??∑ 得到 123132123122123311431W W W W W W W W W ?++=???+=??++=???计算得到12347314314W W W ?=??

?=??

?=??

又满足不可约性和非周期性

3

1

4111321

()(|)(,,)2(,,0) 1.2572441433

i i i H X W H X W H H bit ∞===

+?=∑/符号 (3)0log3 1.58H bit ==/符号 1 1.5H bit =/符号 2 1.5 1.209

1.3552

H bit +=

=/符号 00 1.25110.211.58γη=-=-=11 1.25110.6171.5γη=-=-= 22 1.25

110.0781.355

γη=-=-=

图2-13

2.32 一阶马尔可夫信源的状态图如图2－13所示，信源X 的符号集为（0，1，2）。 （1）求信源平稳后的概率分布P(0),P(1),P(2) （2）求此信源的熵

（3）近似认为此信源为无记忆时，符号的概率分布为平稳分布。求近似信源的熵H(X)并与

H ∞进行比较

解:根据香农线图,列出转移概率距阵1/2/2/21/2/2/21p p p P p p p p p p -??

??=-????-??

令状态0,1,2平稳后的概率分布分别为W1,W2,W3

31

1i i WP W W ==???=??∑ 得到 1231

1232123(1)2

2

(1)221p p p W W W W p

p W p W W W W W W ?

-++=???+-+

=??++=???

计算得到131313W W W ?=??

?

=??

?=??

由齐次遍历可得

112

()(|)3(1,,)(1)log log 3221i i i p p H X W H X W H p p p p p ∞==?-=-+-∑

,()log 3 1.58/H X bit ==符号 由最大熵定理可知()H X ∞存在极大值

或者也可以通过下面的方法得出存在极大值:

()121log(1)(1)log log

1222(1)H X p p p

p p p p p p ∞???-=---+-++??=-???--?

?

112(1)22(1)p p p =-+-- 又01p ≤≤所以

[]0,2(1)p p ∈+∞-当p=2/3时12(1)

p

p =- 0

时

()log 02(1)

H X p

p p ∞?=->?- 2/3

()log 02(1)

H X p

p p ∞?=-

()()H X H X ∞≤