第2章_信息的统计度量题与答案

2.1 同时掷出一对质地均匀的骰子，也就是各面朝上发生的概率均为1/6，试求： (1) “3和5同时出现”这事件的自信息量； (2) “两个1同时出现”这事件的自信息量；

(3) “两个点数中至少有一个是1”这事件的自信息量。

解： (1)

bit

x p x I x p i i i 17.418

1

log )(log )(18

161616161)(=-=-==?+?=

(2)

bit

x p x I x p i i i 17.536

1

log )(log )(36

16161)(=-=-==?=

(3)

bit x p x I x p i i i 71.136

11

log

)(log )(36

11116161)(=-=-==??=

2.4 居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6m 以上的，而女孩中身高1.6m 以上的占总数的一半。假如我们得知“身高1.6m 以上的某女孩是大学生”的消息，问获得多少信息量？

解：

设随机变量X 代表女孩子学历

X x 1（是大学生） x 2（不是大学生） P(X) 0.25 0.75

设随机变量Y 代表女孩子身高

Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 0.5 0.5

已知：在女大学生中有75%是身高160厘米以上的 即：bit x y p 75.0)/(11=

求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15

.075

.025.0log )()/()(log

)/(log )/(11111111=?-=-=-=

2.5 一副充分洗乱了的牌（含52张牌），试问： (1) 任一特定排列所给出的信息量是多少？

(2) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？

解：

(1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是：

!

521)(=

i x p bit x p x I i i 581.225!52log )(log )(==-=

(2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：

bit C x p x I C x p i i i 208.134

log

)(log )(4)(1352

13

13

52

13=-=-==

2.6 试问四进制、八进制的每一波形所含的信息量是二进制每一波形所含的信息量的多少倍？

解：

四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}

八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：

四进制脉冲的平均信息量bit n X H 24log log )(1=== 八进制脉冲的平均信息量bit n X H 38log log )(2=== 二进制脉冲的平均信息量bit n X H 12log log )(0===

所以：

四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。

2.9 如有6行8列的棋型方格，若有2个质点A 和B ，分别以等概率落入任一方格内，且它们的坐标分别为),(A A Y X 、),(B B Y X ，但A 和B 不能落入同一方格内。试求： (1) 若仅有质点A ，求A 落入任一方格的平均自信息量； (2) 若已知A 已入，求B 落入的平均自信息量；

(3) 若A 、B 是可分辨的，求A 、B 同时落入的平均自信息量。

解：

(1) b i t

n X H x p i 58.548log log )(48

1

)(====

(2) b i t

n x y p x y p x p X Y H x y p x p i

j

i j i j i i j i 55.547log log )/(log )/()()/(47

1

)/(48

1)(===-==

=

∑∑

(3) b i t X Y H X H XY H 14.1155.558.5)/()()(=+=+=

2.10 一个消息由符号0，1，2，3组成，已知83)0(=p ，41)1(=p ，4

1)2(=p ，1

(3)8p =。试求

由60个符号构成的消息的平均信息量。

解：

bit

X H bit

x p x p X H i

i i 36.114906.160)(60 906.1 )125.0log 125.025.0log 25.025.0log 25.0753.0log 753.0( )

(log )()(=?==+++-=-=∑ 2.13 已知信源发出1a 和2a 两种消息，且5.0)()(21==a p a p 。此消息在二进制对称信道上传输，信道传输特性为

εε==-==)/()/( ,1)/()/(12212211a b p a b p a b p a b p

求互信息量);(11b a I 和);(22b a I 。

解：

εεεεεεεε-=-?+?-?==-=?+-?-?==∑∑1)

1(2121)1(21

)/()()/()()/(12)1(2)1(21

)/()()/()()/(222222111111i i i i i i a b p a p a b p a p b a p a b p a p a b p a p b a p

bit

a p

b a p b a I bit

a p

b a p b a I )1log(12

1)

1(log )

()/(log );( )1log(12

1)

1(log )

()/(log );(2222211111εεεε-+=-==-+=-==

2.15 黑白传真机的消息元只有黑色和白色两种，即X ={黑，白}，一般气象图上，黑色的出现概率P(黑) = 0.3，白色的出现概率P(白) = 0.7。假设黑白消息视为前后无关，求信息熵H(X)。

解：

bit x p x p X H i

i i 881.0)7.0log 7.03.0log 3.0()(log )()(=+-=-=∑

2.17 对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态，调查结果得联合出现的相对频度如下：

若把这些频度看作概率测度，求： (1) 忙闲的无条件熵；

(2) 天气状态和气温状态已知时忙闲的条件熵；

(3) 从天气状态和气温状态获得的关于忙闲的信息。

解： (1)

根据忙闲的频率，得到忙闲的概率分布如下：

bit

x p x p X H x x X P X i i

i 096.021039log 2103921063log 21063)(log )()(2103921063闲忙)(2

21=??? ??+-=-=??

????????=?

?????∑

(2)

设忙闲为随机变量X ，天气状态为随机变量Y ，气温状态为随机变量Z

bit

z y x p z y x p XYZ H i

j

k

k j i k j i 198.2 21012log 210122104log 210421015log 210152108log 2108 21016log

2101621027log 210272108log 210821012log 21012

)

(log )()(=?

?

?

++++ ??+++-=-=∑∑∑ bit

YZ H XYZ H YZ X H bit z y p z y p YZ H j k

k j k j 938.0809.1198.2)()()/( 809.1 21028log 2102821013log 2101321023log 2102321020log 21020)(log )()(=-=-==?

?? ??+++-=-=∑∑

(3)

bit YZ X H X H YZ X I 211.0938.0096.0)/()();(=-=-=

2.18 有两个二元随机变量X 和Y ，它们的联合概率分布函数如题表2.1所列。

题表 2.1

忙

晴

雨

冷 12

暖 8 暖 16 冷 27

闲

晴

雨

冷 8

暖 15 暖 12

冷 4

同时定义另一随机变量Z = XY （一般乘积）。试计算： (1) 熵H(X), H(Y), H(Z), H(XZ), H(YZ)和H(XYZ)；

(2) 条件熵H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY)；

(3) 互信息I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。

解： (1)

bit x p x p X H y x p y x p x p y x p y x p x p i

i i 1)(log )()(2

1

8183)()()(218381)()()(2212221111=-==+=+==+=

+=∑

bit y p y p Y H y x p y x p y p y x p y x p y p j

j j 1)(log )()(2

1

8183)()()(218381)()()(2221212111=-==+=+==+=

+=∑

Z = XY 的概率分布如下：

bit

z p z p Z H z z Z P Z k k

k 544.081log 8187log 87

)(log )()(818710)(2

21=??? ??+-=-=??

?

??

????

?===??????∑

bit

z x p z x p XZ H z p z x p z x p z x p z p z x p z p z x p z x p z x p z p x p z x p z x p z x p z x p x p i k

k i k i 406.181log 8183log 8321log 21

)(log )()(8

1

)()()()()(8

35.087)()()()()()(5.0)()(0)()()()(2222221211112121111112121111=??? ??++-=-==

=+==-=-=+====+=∑∑

)()()(8

35.087)()()()()()(5.0)()(0)()()()(2221211112121111112121111z y p z y p z p z y p z p z y p z y p z y p z p y p z y p z y p z y p z y p y p +==-=-=+====+=

bit

z y p z y p YZ H z p z y p j k

k j k j 406.181log 8183log 8321log 21

)(log )()(8

1)()(222=??? ??++-=-==

=∑∑

bit

z y x p z y x p XYZ H y x p z y x p y x p z y x p z y x p z y x p y x p z y x p y x p z y x p z y x p z y x p z x p z y x p z x p z y x p z y x p y x p z y x p y x p z y x p z y x p z y x p z y x p z y x p i

j

k

k j i k j i 811.181log 8183log 8383log 8381log 81

)(log )()(8

1

)()()

()()(0

)(8

3)()()()()(8

38121)()()()()()(8/1)()()()()(0

)(0)(0)(2222222222122122121121221211211111121111111211111111211111212221211=??

? ??+++-=-==

==+====+=-=-==+===+===∑∑∑

(2)

bit

XY H XYZ H XY Z H bit XZ H XYZ H XZ Y H bit YZ H XYZ H YZ X H bit

Y H YZ H Y Z H bit Z H YZ H Z Y H bit

X H XZ H X Z H bit

Z H XZ H Z X H bit X H XY H X Y H bit Y H XY H Y X H bit

y x p y x p XY H i j

j i j i 0811.1811.1)()()/( 405.0406.1811.1)()()/( 405.0406.1811.1)()()/( 406.01406.1)()()/( 862.0544.0406.1)()()/( 406.01406.1)()()/( 862.0544.0406.1)()()/( 811.01811.1)()()/( 811.01811.1)()()/( 811.181log 8183log 8383log 8381log 81

)(log )()(=-=-==-=-==-=-==-=-==-=-==-=-==-=-==-=-==-=-==??? ??+++-==-=∑∑ (3)

bit

Z Y H Y H Z Y I bit Z X H X H Z X I bit Y X H X H Y X I 138.0862.01)/()();( 138.0862.01)/()();( 189.0811.01)/()();(=-=-==-=-==-=-= bit

YZ X H Y X H Y Z X I bit XZ Y H X Y H X Z Y I bit YZ X H Z X H Z Y X I 406.0405.0811.0)/()/()/;( 406.0405.0811.0)/()/()/;( 457.0405.0862.0)/()/()/;(=-=-==-=-==-=-=

2.19 有两个随机变量X 和Y ，其和为Z = X + Y ，若X 和Y 相互独立，求证：H(X) ≤ H(Z), H(Y) ≤ H(Z)，H(XY) ≥ H(Z)。

证明： (1)

)

()()/()()

()(log )()( )/(log )/()()/(log )()/()(

0)( )()()/(Z H Y H X Z H Z H Y H y p y p x p x z p x z p x p x z p z x p X Z H Y x z Y

x z y p x z p x z p Y

X Z i j j j i i k i k i k i i k i k k i i k i k j i k i k ≤∴≥=??

?

???-=?

??

???-=-=??

??-∈-=-=∴+=∑∑∑∑∑∑ 同理可得)()(Z H X H ≤。 (3)

)

()(0)/()()/()()()()/()()(Z H XY H XY Z H Z H XY Z H XY H XYZ H Z H Z XY H Z H XYZ H ≥∴=≥+=∴≥+=

2.20 对于任意三个随机变量X 、Y 、Z ，求证：

)

()()()()/;()/()()(X H XZ H XY H XYZ H X Y Z I X Y H XZ H XYZ H -≤--+=

证明：

[][][])

()/()()/()/()/()()/()/()/()/()()/()

/;()/()(XYZ H XY Z H XY H XY Z H X Z H X Y H X H X Z H XY Z H X Z H X Y H X H X Z H X Y Z I X Y H XZ H =+=+-++=--++=-+

)

()()()()

()()/()()()/()/()/(0)/()/()/()/()/;(0

)/;(X H XZ H XY H XYZ H X H XZ H X Z H XY H XYZ H XY Z H X Z H XY Z H XY Z H X Z H XY Z H X Z H X Y Z I X Y Z I -≤-∴-=-=≤∴≥-∴-=≥

2.21 证明：)/()/(13213X X H X X X H ≤

证明：

)

/()/(0)/()/()/()/()/;(0

)/;(131231231312313123123X X H X X X H X X X H X X H X X X H X X H X X X I X X X I ≤∴≥-∴-=≥

2.26 已知信源包含8个数字信息0，1，2，3，4，5，6，7。为了在二进制信道上传输，用信源编码器将这8个十进制数编成三位二进制代码组，信源各消息的先验概率及相应的代码组见题表2.2。

求：

(1) 互信息量);(03x u I ，);(103y x u I ，);(1103z y x u I ；

(2) 在0x 给定的条件下，各消息与1y 之间的条件互信息量； (3) 在10y x 给定的条件下，各消息与1z 之间的条件互信息量。

解： (1)

bit u p x u p x u I 415.08

161

log )

()

/(log );(30303===

bit u p y x u p y x u I 28

121

log )

()

/(log );(3103103===

bit u p z y x u p z y x u I 38

11

log )

()/(log );(311031103===

(2)

bit x u p x y u p x y u I 585.16121

log )

/()

/(log )/;(02012012===

bit x u p y x u p x y u I 585.16

121

log )

/()

/(log )/;(03103013===

bit x y u I x y u I x y u I x y u I x y u I x y u I 0)/;()/;()/;()/;()/;()/;(017016015014011010======

(3)

bit y x u p z y x u p y x z u I 12

11

log )

/()/(log

)/;(10311031013===

bit

y x z u I y x z u I y x z u I y x z u I y x z u I y x z u I y x z u I 0)/;()/;()/;()/;()/;()/;()/;(1017101610151014101210111010=======