《信息理论与编码》-答案-考试重点(1--3章)

《信息理论与编码》习题参考答案

1. 信息是什么?信息与消息有什么区别和联系?

答：信息是对事物存在和运动过程中的不确定性的描述。信息就是各种消息符号所包含的具有特定意义的抽象内容，而消息是信息这一抽象内容通过语言、文字、图像和数据等的具体表现形式。

2. 语法信息、语义信息和语用信息的定义是什么？三者的关系是什么？ 答：语法信息是最基本最抽象的类型，它只是表现事物的现象而不考虑信息的内涵。语义信息是对客观现象的具体描述，不对现象本身做出优劣判断。语用信息是信息的最高层次。它以语法、语义信息为基础，不仅要考虑状态和状态之间关系以及它们的含义，还要进一步考察这种关系及含义对于信息使用者的效用和价值。三者之间是内涵与外延的关系。

第2章

1. 一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量？

答：依据题意，这一随机事件的概率空间为

120.80.2X x x P ????=????????

其中：

1

x 表示摸出的球为红球事件，

2

x 表示摸出的球是白球事件。

a)如果摸出的是红球，则获得的信息量是

()()11log log0.8

I x p x =-=-（比特）

b)如果摸出的是白球，则获得的信息量是

()()22log log0.2

I x p x =-=-（比特）

c) 如果每次摸出一个球后又放回袋中，再进行下一次摸取。则如此摸取n 次，红球出现的次数为

()

1np x 次，白球出现的次数为

()

2np x 次。随机摸取n 次后总共所获得信息量为

()()()()

1122np x I x np x I x +

d)则平均随机摸取一次所获得的信息量为

()()()()()()()()()112211221

log log 0.72 H X np x I x np x I x n p x p x p x p x =+???

?=-+????=比特/次

2. 居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？

答：设事件A 为女孩是大学生；设事件B 为女孩身高1.6米以上。

根据题意，则知：

()0.25P A = ()0.50P B = ()0.75P B A =

而“身高1.6米以上的某女孩是大学生”这消息表明是在B 事件发生的条件下，A

事件发

生。所以其概率为()

P A B

根据贝叶斯定律可得

()()()

()()()

0.250.75

0.3750.5

P A P B A P AB P A B P B P B ?=

=

=

=

则得知“身高1.6米以上的某女孩是大学生”这消息，能获得的信息量

()()log log0.375 1.415I A B P A B =-==-≈（比特）

3. 设一个系统传送10个数字：0,1,2,…,9。奇数在以0.5的概率传送时，接收端有可能错误地判断成为另外的奇数，而其他数字完全正确地接收。求收到一个数字后平均得到的信息量？

答：发送集合{}0,1,,9,X =…接收集合{}0,1,,9,Y =… 其中

()()1

0,2,4,6,810

p y i i ==

=

因为

()()

()()

1,1,3,5,7,981

,1,3,5,7,9

2p y i x j i j i j p y i x j i j i j ===

=≠===

==

所以

()()(),1(),1,3,5,7,910

i j

p y i p x j p y i x j i j ======

=∑

最后得：

()()()9

log log10 3.232i H Y p y i p y i ==-====∑（比特/符号）

4. 某一无记忆信源的符号集为{0,1}，已知信源的概率空间为013

14

4X P ?????

?=???

?????

。 (1) 求信源熵。

(2) 求由m 个“0”和(100-m )个“l ”构成的某一特定序列的自信息量的表达式。 (3) 计算由100个符号构成的符号序列的熵。 答：

（1）信源熵为

()134

log 4log 0.8113 443

H X =+=比特/符号

（2）该特定序列用A 表示则

()()

10013log 4441.5 1.585 (bit)

m

m I m -????

=- ? ?

????

≈+A （3）因为信源是无记忆信源，所以

()()10010081.13 H X H X ==比特/符号序列

5. 有一离散无记忆信源，其输出为{}0,1,2X ∈，相应的概率为01/4p =，11/4p =，21/2p =，设计两个独立实验去观察它，其结果分别为{}10,1Y ∈，{}20,1Y ∈。

已知条件概率如表2-4所示。

表2-4 习题5表

(1) 求()1;I X Y 和()2;I X Y ，并判断作哪一个实验好些。

(2) 求()12;,I X Y Y ，并计算作Y 1和Y 2两个实验比作Y 1或Y 2中的一个实验各可多得多少关于X 的信息。

(3) 求()12;I X Y Y 和()21;I X Y Y ，并解释它们的含义。 答：

（1）()()()

111;=I X Y H Y H Y X -，要求()1H Y 和()

1H Y X 需要先求()1P Y ，

()1P XY ，()1P Y X 已知。

()()()222;=I X Y H Y H Y X -，要求()2H Y 和()2H Y X 需要先求()2P Y ，

()2P XY ，()2P Y X 已知。

由()()()

11P XY P X P Y X =及联合概率分布与边缘概率分布的关系可得

()1P XY 及()1P Y ，如表2-1所示：

所以

()111

log 2log 2 1 22

H Y =+=比特/符号

()111111

log1log1log 2log 2 44442

H Y X =+++=比特/符号

()()()11111

;1= 22

I X Y H Y H Y X =-=-比特/符号

同样可求出()2P XY 及()2P Y ，如表2-2所示： 所以

()211

log 2log 2 1 22H Y =+=比特/符号

()2111

log1log1log10 442

H Y X =++=比特/符号

()()()222; 1 I X Y H Y H Y X =-=比特/符号

因此第二个实验好些。

（2）()()()

122222;I X YY H Y Y H Y Y X =-，因此要求出()12P YY ，()

12P YY

X 和()12P XYY 。由于1Y 、2Y 是相互独立的实验，所以()()()1212=P YY

X P Y X P Y X 。 ()()()()()11212122P Y X P YY X P XYY P YY P Y X ??

??????

（见表2-2和表2-3）

()1log 4log 4log 4log 4 2 4444H Y X =+++=比特/符号

()12

11111

log1log1log 2log 2 44442

H YY X =+++=比特/符号 ()()()121212

13

;2= 22

I X YY H YY H YY X =-=-比特/符号 可以看到：做1Y 和2Y 两个实验比做1Y 一个实验可多得到的信息为

()()12131

;;=1 22

I X YY I X Y -=

-比特/符号 可以看到：做1Y 和2Y 两个实验比做2Y 一个实验可多得到的信息为

()()12231

;;1= 22I X YY I X Y -=

-比特/符号 （3）()()()12122

31

;;;1= 22

I X Y Y I X YY I X Y =-=-比特/符号，它表示做完2Y 实验以后，从1Y 实验可得到关于X 的信息量。

()()()1212131

;;;=1 22

I X Y Y I X YY I X Y =-=

-比特/符号，它表示做1Y 完实验以后，从2Y 实验可得到关于X 的信息量。

6. 设信源()120.60.4X x x P X ????

=?????

???通过一干扰信道，接收符号为[]12,Y y y =，信道传递概率如图2-7所示。求：

(1) 信源X 中事件1x 和2x 分别携带的自信息量。

(2) 收到消息()1,2j y j =后，获得的关于()1,2i x i =的信息量。 (3) 信源X 和信源Y 的信息熵。 (4) 损失熵()H X

Y 和噪声熵()H Y X 。 (5) 接收到消息Y 后获得的平均互信息。

图2-7 习题6图

答：（1）

因为

()()120.6

0.4P x P x ==

所以

()1log0.60.737I x =-≈(比特) ()2log0.4 1.322I x =-≈(比特)

（2）

收到消息i y 的概率为：

()()()()2

1121530.6*0.4*0.8

6410.2

i i i i y P y P x P x P y P y =??

==+= ???=-=∑ 所以收到消息j y 后获得的关于i x 的信息量即()

,i j I x y 为：

()()

()1111156,log log 0.0590.8P y x I x y P y ==≈(比特/符号)

()()

2112216,log log 0.2630.2P y x I x y P y ==≈-(比特/符号)

()()

1221134,log log 0.0930.8

P y x I x y P y ==≈-(比特/符号)

()()

()2222214,log log 0.3220.2

P y x I x y P y ==≈(比特/符号)

（3）

()()()()2

1log 0.6*log 0.60.4*log 0.40.971i i i H X P x P x ==-=-+≈∑(比特/符号)

()()()()2

1

log 0.8*log 0.80.2*log 0.20.722i i i H Y P y P y ==-=-+≈∑(比特/符号)

（4）

()()()

,1,log

X Y

H Y X P X Y Y

P X =∑

其中

()()()()()()()()()()()()111111212121212222225

,0.6*0.5

61

,0.6*0.1

6

3

,0.4*0.3

41

,0.4*0.1

4

P x y P x P y x P x y P x P y x P x y P x P y x P x y P x P y x ============

所以噪声熵：

()11110.5*log

0.1*log 0.3*log 0.1*log ]5613414

H Y X =+++ 0.715≈(比特/符号)

损失熵：

()()()()0.9710.7150.722H X Y H X H Y X H Y =+-=+-

0.964=(比特/符号)

（5）接收到消息Y 后所获得的平均互信息量为：

()()(),0.9710.9640.007I X Y H X H X Y =-=-=(比特/符号)

7. 某信源的消息符号集的概率分布和二进制代码如题表2-5所示。

表2-5 习题7表

试求：

(1) 消息的符号熵。

(2) 平均每个消息符号所需要的二进制码元的个数或平均代码长度结果求码序列中的一个二进制码元的熵。

(3) 消息是由符号序列组成的，若各符号之间相互独立，假设其对应的二进码序列中出现“0”和“1”的无条件概率为()0p 和()1p ，求相邻码间的条件概率()01p 、()10p 、()11p 、()00p 。

答：

（1）信源熵为

()1117

log 2log 4log8 2444

H U =++=比特/符号

（2）设平均代码长度为L ，则

11117

1233 24884

L =?+?+?+?=二进制码元/符号

二进制码元的熵为

() 1 H U L

=比特/二进制码元

（3）由于符号间相互独立，因此

()111

1

24802p L

++

==，()()11102p p =-=

为求相邻码元间的条件概率，先求相邻码元间的联合概率：

()1111121

888481,14p L

??

+?+?++ ???==

所以

()()()1,11

1112

p p p =

= ()()1011112

p p =-=

同理

()11111112242820,04p L

?+?+?=

= ()()()0,01

0002

p p p =

= ()()1

101002

p p =-=

8. 二次扩展信源的熵为()2H X ，而一阶马尔可夫信源的熵为()21H

X X ，试比较两者的大小，并说明原因。

答：

()()()()2212H X H X H X H X X =>>

二次扩展信源的熵是一个联合熵，其值应该大于单符号信源熵，而马尔可夫信源的熵是一个条件熵，其值小于单符号信源熵。马尔可夫信源符号间的依赖关系提供了额外的信息量，从而减小了信源的不确定性。

9. 设有一个马尔可夫信源，它的状态集为{}123,,s s s ,符号集为{}123,,a a a ，及在某状态下发出符号的概率为()(),1,2,3k i P a s i k =，如图2-8所示。

图2-8 习题9图

试求：

(1) 求出图2-8中马尔可夫信源的状态极限概率，并找出符号的极限概率。 (2) 计算信源处在某一状态下输出符号的条件熵()()123,,H X S j j s s s ==。

(3) 求出马尔可夫信源熵H ∞。 答：

（１）由状态图得：

()()()()()()()()()()()()113212

31212312114211421

P S P S P S P S P S P S P S P S P S P S P S P S ?

=+??

?=+??

?=+??++=?? 所以信源的状态极限概率为：

()()()123

12

1

4

P S P S P S ?

=???

?==?? 所以信源的符号极限概率为：

()()()()()()()()1131223311221

41

4

P a P S P S P S P a P S P a P S ?

=+==???==?

?

?==?? （２）信源处在某一状态输出符号的条件熵为：

()11111

111113,,log log log 2442

244442H X S H ????==-++= ? ?????(比特/符号)

()2110,,120H X S H ??

== ???

(比特/符号)

()()31,0,00H X S H ==(比特/符号)

（３）马尔科夫信源熵为：

()()3

1

1311

**1*012244i i i H P S H X S ∞===++=∑(比特/符号)

10. 一个马尔可夫过程的基本符号为0，l ，2，这3个符号等概率出现，并且具有相同的转移概率。

(1) 画出一阶马尔可夫过程的状态图，并求稳定状态下的一阶马尔可夫信源熵H 1。 (2) 画出二阶马尔可夫过程的状态图，并求稳定状态下二阶马尔可夫信源熵H 2。 答：

（状态图略）

（1）一阶马尔可夫过程共有3种状态，每个状态转移到其他状态的概率均为1/3，设状态的平稳分布为()123,,W W W W =，根据

11232123

3123

1231113331113331113331

W W W W W W W W W W W W W W W ?

=++??

?=++???=++???++=?

可得()13,13,1W =，3种状态等概率分布。

一阶马尔可夫信源熵为

111113,, 1.585 3333H H ??

=??= ???

比特/符号

信源剩余度为

110110log 3

H H

H γ=-

=-= （2）二阶马尔可夫信源有9种状态，同样列方程组求得状态的平稳分布为

111111111,,,,,,,,999999999W ??

= ???

二阶马尔可夫信源熵为

21

9log3 1.585 9

H =??=比特/符号

信源剩余度为

220110log 3

H H

H γ=-

=-= 由于在上述两种情况下，3个符号均为等概率分布，所以信源剩余度都等于0。 11. 证明对于平稳信源有()()31221H X X X H X X ≤，并说明等号成立的条件。 答：

设离散平稳信源输出的随机符号序列为123,,X X X …。又设

112233x X x X x X ∈∈∈，，，而且123x x x ，，都取自于同一符号集{}

12,q A a a a =，，…，

并满足有

()2

2

1

1x P x x =∑，()3

3

21x P x

x =∑，()3

3121x P x x x =∑

()()()1

2

3

1

2

3

1x x x P x P x P x ===∑∑∑

()()()1

2

2

3

1

3

12

23

13

1x x x x x x P x x P x x P x x ===∑∑∑∑∑∑

()1

2

3

123

1x x x P x x x =∑∑∑

在区域[0,1]内设()log f x x x =-，()f x 在内是上凸函数，所以满足詹森不等式

()11q

q i i i i i i P f x f Px ==??

≤ ???

∑∑ 其中11q i i P

==∑

现令()

321i x P x x x =，设其概率空间为()

12P x x ，并满足

()1

1

2

1x P x x =∑

所以根据詹森不等式得

()[]()()()()()

1111

12121212312312log log log i i i i x x x x P x x x x P x x x P x x x P x x P x x x P x x x ????

-≤????????-∑∑∑∑ ()()()()1

1

1231212312log x x P x x P x x x P x x P x x x ≤-∑∑

所以

()()1

123

23

x P x x x P x x =∑

()()()()1

13

22322x P x x

x P x P x x P x =∑

上式对所有123,,x x x 的取值都成立，所以

()()1

13

232x P x x

x P x x =∑ 即

()()()1

2

1

3

1232x P x x P x

x x P x x =∑

所以

()()()()1

1323123232log log x P x x x P x x x P x x P x x -≤-∑

因为()201P x ≤≤，22xx X ∈所以上式两边相乘，等号不变。有

()()()()()()1

213231223232log log x P x P x x x P x x x P x P x x P x x -≤-∑

上式对所有23,x x 都成立，所以对所有23,x x 求和下式也成立

()()()()1

2

3

2

3

1233122332log log x x x x x P x x x P x x x P x x P x x -≤-∑∑∑∑∑

因为

()()31232H X X X H X X ≤

所以是平稳信源

()()3221H X X H X X ≤

得