信息论第二章答案

· 1 ·

2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？

解：

四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3}

八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：

四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0=== 所以：

四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。

2.2 一副充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少？

(2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？

解：

(1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是：

521)(=

i x p bit x p x I i i 581.225!52log )(log )(==-=

(2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：

(a)p(x i )=52/52 * 48/51 * 44/50 * 40/49 * 36/48 * 32/47 * 28/46 * 24/45 * 20/44 * 16/43 * 12/42 * 8/41 * 4/40=1.0568E-4

(b)总样本：C 1352, 其中13点数不同的数量为4*4*4*…*4=413。所以，抽取13张点数不同的牌的概率：

bit C x p x I C x p i i i 208.134

log

)(log )(4)(1352

=-=-==

2.3 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？

解：

设随机变量X 代表女孩子学历

X x 1（是大学生） x 2（不是大学生） P(X) 0.25 0.75

设随机变量Y 代表女孩子身高

Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 0.5 0.5

已知：在女大学生中有75%是身高160厘米以上的

· 2 ·

即： 75011.)/(=x y p

求：身高160厘米以上的某女孩是大学生的信息量即：bit y p x y p x p y x p y x I 415.15

.075

.025.0log )()/()(log )/(log )/(11111111=?-=-=-=

2.4 设离散无记忆信源???

???=====??????8/14/1324/18/310)(4321x x x x X P X ，其发出的信息为(202120130213001203210110321010021032011223210)，求 (1) 此消息的自信息量是多少？

(2) 此消息中平均每符号携带的信息量是多少？

解：

(1) 此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：

2514814183??

? ?????? ?????? ??=p

此消息的信息量是：bit p I 811

.87log =-= (2) 此消息中平均每符号携带的信息量是：bit n I 951.145/811.87/==

2.5 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？

解：男士：

sym bol

bit x p x p X H bit

x p x I x p bit x p x I x p i i i N N N Y Y Y / 366.0)93.0log 93.007.0log 07.0()(log )()( 105.093.0log )(log )(%

93)( 837.307.0log )(log )(%

7)(2

=+-=-==-=-===-=-==∑

女士：

symbol bit x p x p X H i

i i / 045.0)995.0log 995.0005.0log 005.0()(log )()(2

=+-=-=∑

2.6 设信源?

?????=?

?????17.016.017.018.019.02.0)(654321x x x x x x X P X ，求这个信源的熵，并解释为什么H(X) > log6不满足信源熵的极值性。

解：

· 3 ·

585

.26log )(/ 657.2 )17.0log 17.016.0log 16.017.0log 17.018.0log 18.019.0log 19.02.0log 2.0( )

(log )()(26

=>=+++++-=-=∑X H symbol bit x p x p X H i

i i 不满足极值性的原因是

107.1)(6

>=∑i

x p 。

2.7 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；

(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。

解： (1)

bit

x p x I x p i i i 170.418

log )(log )(18

61616161)(=-=-==

?+?=

(2)

bit

x p x I x p i i i 170.536

log )(log )(36

6161)(=-=-==

(3)

两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66

共有21种组合：

其中11，22，33，44，55，66的概率是36

16161=? 其他15个组合的概率是18

161612=??

symbol bit x p x p X H i

i i / 337.4181log 18115361log 3616)(log )()(=??? ??

?+?-=-=∑

(4)

参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：

· 4 ·

sym bol

bit x p x p X H X P X i

i i / 274.3 61log 61365log 365291log 912121log 1212181log 1812361log 36

12 )

(log )()(36112181111211091936586173656915121418133612)(=?

?? ??

+?+?+?+?+?-=-=??????????=?

?????∑

(5)

bit

x p x I x p i i i 710.136

log )(log )(36

11116161)(=-=-==

??=

2.8证明：H(X 1X 2 。。。 X n ) ≤ H(X 1) + H(X 2) + … + H(X n )。

证明：

...

)/()( 0);()/()( 0);().../(...)/()/()()...(21332131221212121312121X X X H X H X X X I X X H X H X X I X X X X H X X X H X X H X H X X X H n n n ≥?≥≥?≥++++=-)

(...)()()()...()

.../()( 0)...;(32121121121n n n N N n N X H X H X H X H X X X H X X X X H X H X X X X I ++++≤∴≥?≥--

2.9 证明：H(X 3/X 1X 2) ≤ H(X 3/X 1)，并说明当X 1, X 2, X 3是马氏链时等式成立。

证明：

log 1)/()(log )()/()(log 1)/()/()()

/()

/(log

)()

/(log )()/(log )()

/()/(212

31321212332112313211232213133211

213133211

133211

2133211

13311

21332113213=???? ??-??????=??

??-=????

??-≤=+-=+-=-∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑e

x x p x x p e

x x x p x x p x x p e x x x p x x p x x x p x x x p x x p x x x p x x p x x x p x x x p x x x p x x p x x p x x x p x x x p X X H X X X H i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i

· 5 ·

氏链

是马等式成立的条件是时等式成立

当

_,,)/()/()/()()/()/()()()/()/()()

/()/(01)

/()

/()/()/(321132131232113121212131321213132131313213X X X x x x p x x p x x p x x x p x x p x x p x p x x p x x x p x x p x x p x x x p x x p x x x p x x p X X H X X X H i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i ∴=?=?=?=?=-≤∴

2.10 对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态，调查结果得联合出现的相对频度如下：

忙

晴

雨

冷 12

暖 8

暖 16

冷 27

闲

晴

雨

冷 8

暖 15

暖 12冷 5

若把这些频度看作概率测度，求： (1) 忙闲的无条件熵；

(2) 天气状态和气温状态已知时忙闲的条件熵； (3) 从天气状态和气温状态获得的关于忙闲的信息。

解： (1)

根据忙闲的频率，得到忙闲的概率分布如下：

sym bol

bit x p x p X H x x X P X i i

i / 964.010340log 1034010363log 10363)(log )()(1034010363闲忙)(2

21=??? ??+-=-=??

???????

?=??????∑

(2)

设忙闲为随机变量X ，天气状态为随机变量Y ，气温状态为随机变量Z

· 6 ·

sym bol

bit YZ H XYZ H YZ X H sym bol

bit z y p z y p YZ H sym bol bit z y x p z y x p XYZ H j

k j k j i

k j i k j i / 859.0977.1836.2)()()/(/ 977.1 10328log 1032810332log 1033210323log 1032310320log 10320 )

(log )()(/ 836.2 10312log 103121035log 103510315log 103151038log 1038 103

16log

1031610327log 103271038log 103810312log 10312

)

(log )()(=-=-==?

? ??+++-=-==?

++++ ??+++-=-=∑∑∑∑∑ (3)

symbol bit YZ X H X H YZ X I / 159.0859.0964.0)/()();(=-=-=

2.11 有两个二元随机变量X 和Y ，它们的联合概率为

并定义另一随机变量Z = XY （一般乘积），试计算： (1) H(X), H(Y), H(Z), H(XZ), H(YZ)和H(XYZ)；

(2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY)； (3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。

解： (1)

sym bol

bit y p y p Y H y x p y x p y p y x p y x p y p sym bol

bit x p x p X H y x p y x p x p y x p y x p x p j

j j i

i i / 1)(log )()(2

8183)()()(21

8381)()()(/ 1)(log )()(2

8183)()()(21

8381)()()(22212121112212221111=-==

+=+==

+=+==-==

+=+==

+=+=∑∑

Z = XY 的概率分布如下：

sym bol

bit z p Z H z z Z P Z k

k / 544.081log 8187log 87

)()(818710)(2

21=??? ??+-=-=??????????===?

?????∑

· 7 ·

symbol

bit z x p z x p XZ H z p z x p z x p z x p z p z x p z p z x p z x p z x p z p x p z x p z x p z x p z x p x p i k

k i k i / 406.181log 8183log 8321log 21

)(log )()(8

1)()()()()(8

35.087)()()()()()(5.0)()(0)()()()(2222221211112121111112121111=??? ??++-=-==

=+==-=-=+====+=∑∑

sym bol

bit z y p z y p YZ H z p z y p z y p z y p z p z y p z p z y p z y p z y p z p y p z y p z y p z y p z y p y p j k

k j k j / 406.181log 8183log 8321log 21

)(log )()(8

)()()()()(8

35.087)()()()()()(5.0)()(0)()()()(2222221211112121111112121111=??? ??++-=-==

=+==-=-=+====+=∑∑

sym bol

bit z y x p z y x p XYZ H y x p z y x p y x p z y x p z y x p z y x p y x p z y x p y x p z y x p z y x p z y x p z x p z y x p z x p z y x p z y x p y x p z y x p y x p z y x p z y x p z y x p z y x p z y x p i

k j i k j i / 811.181log 8183log 8383log 8381log 81

)(log )()(8

)()()

()()(0

)(8

3)()()()()(8

38121)()()()()()(8/1)()()()()(0

)(0)(0)(22222222222122122121121221211211111121111111211111111211111212221211=??

? ??+++-=-==

==+====+=-=-==+===+===∑∑∑

(2)

· 8 ·

sym bol

bit XY H XYZ H XY Z H sym bol bit XZ H XYZ H XZ Y H sym bol bit YZ H XYZ H YZ X H sym bol bit Y H YZ H Y Z H sym bol

bit Z H YZ H Z Y H sym bol bit X H XZ H X Z H sym bol

bit Z H XZ H Z X H sym bol bit X H XY H X Y H sym bol bit Y H XY H Y X H sym bol

bit y x p y x p XY H i j

j i j i / 0811.1811.1)()()/(/ 405.0406.1811.1)()()/(/ 405.0406.1811.1)()()/(/ 406.01406.1)()()/(/ 862.0544.0406.1)()()/(/ 406.01406.1)()()/(/ 862.0544.0406.1)()()/(/ 811.01811.1)()()/(/ 811.01811.1)()()/(/ 811.181log 8183log 8383log 8381log 81

)(log )()(2=-=-==-=-==-=-==-=-==-=-==-=-==-=-==-=-==-=-==??? ??+++-==-=∑∑ (3)

sym bol

bit YZ X H Y X H Y Z X I sym bol bit XZ Y H X Y H X Z Y I sym bol bit YZ X H Z X H Z Y X I sym bol

bit Z Y H Y H Z Y I sym bol

bit Z X H X H Z X I sym bol bit Y X H X H Y X I / 406.0405.0811.0)/()/()/;(/ 457.0405.0862.0)/()/()/;(/ 457.0405.0862.0)/()/()/;(/ 138.0862.01)/()();(/ 138.0862.01)/()();(/ 189.0811.01)/()();(=-=-==-=-==-=-==-=-==-=-==-=-=

2.12 有两个随机变量X 和Y ，其和为Z = X + Y （一般加法），若X 和Y 相互独立，求证：H(X) ≤ H(Z), H(Y) ≤ H(Z)。

证明：

)

()()/()()

()(log )()( )/(log )/()()/(log )()/()(

0)( )()()/(2Y H Z H X Z H Z H Y H y p y p x p x z p x z p x p x z p z x p X Z H Y x z Y

x z y p x z p x z p Y

X Z i j j j i i k i k i k i i k i k k i i k i k j i k i k ≥∴≥=??

???-=?

???-=-=??

??-∈-=-=∴+=∑∑∑∑∑∑

同理可得)()(X H Z H ≥。

2.13 设有一个信源，它产生0，1序列的信息。它在任意时间而且不论以前发生过什么符号，均按P(0) = 0.4，P(1) = 0.6的概率发出符号。 (1) 试问这个信源是否是平稳的？ (2) 试计算H(X 2), H(X 3/X 1X 2)及H ∞；

(3) 试计算H(X 4)并写出X 4信源中可能有的所有符号。

解： (1)

这个信源是平稳无记忆信源。因为有这些词语：“它在任意时间．．．．而且不论以前发生过什么符号．．．．．．．．．．．

……”

· 9 ·

(2)

symbol

bit X H X X X X H H symbol bit x p x p X H X X X H symbol

bit X H X H N N N N i

i i / 971.0)().../(lim / 971.0)6.0log 6.04.0log 4.0()(log )()()/(/ 942.1)6.0log 6.04.0log 4.0(2)(2)(12132132====+-=-===+?-==-∞

>-∞∑

(3)

1111

111011011100101110101001100001110110010101000011001000010000的所有符号：

/ 884.3)6.0log 6.04.0log 4.0(4)(4)(44X sym bol bit X H X H =+?-==

2.14 设N X X X X ...21=是平稳离散有记忆信源，试证明：

).../(...)/()/()()...(12121312121-++++=N N N X X X X H X X X H X X H X H X X X H 。

证明：

)

.../(...)/()/()()

.../(log )...(...... )

/(log )()(log )()

.../(log )...(...... )

/(log )...(...)(log )...(...)

.../().../()(log )...(...)

...(log )...(...)

...(12121312121111

211

12211

11111

21121221112211

11121211

2121-++++=---=-???

???-??????-=-=-=---∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑N N i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i N X X X X H X X X H X X H X H x x x p x x x p x x p x x p x p x p x x x p x x x p x x p x x x p x p x x x p x x x p x x p x p x x x p x x x p x x x p X X X H N N N

N N N N

N N N N N N

N N N N

N N

2.15 某一无记忆信源的符号集为{0, 1}，已知P(0) = 1/4，P(1) = 3/4。 (1) 求符号的平均熵；

(2) 有100个符号构成的序列，求某一特定序列（例如有m 个“0”和（100 - m ）个“1”）的自信息量的表达式； (3) 计算(2)中序列的熵。

解： (1)

symbol bit x p x p X H i

i i / 811.043log 4341log 41

)(log )()(=??? ??+-=-=∑

(2)

· 10 ·

bit m x p x I x p m

i i m m

m i 585.15.4143

log

)(log )(4

34341)(100

100100

100100+=-=-==?

? ?????? ??=---

(3)

symbol bit X H X H / 1.81811.0100)(100)(100=?==

2.16 一阶马尔可夫信源的状态图如下图所示。信源X 的符号集为{0, 1, 2}。 (1) 求平稳后信源的概率分布； (2) 求信源的熵H ∞。

解： (1)

???

??===??

?=++==????

????+?=?+?=?+?=???

??+=+=+=3/1)(3/1)(3/1)(1)()()()()()()()()()()()()

()()()

/()()/()()()/()()/()()()/()()/()()(3

213213211333222111313333

32322222121111e p e p e p e p e p e p e p e p e p e p p e p p e p e p p e p p e p e p p e p p e p e e p e p e e p e p e p e e p e p e e p e p e p e e p e p e e p e p e p

????=??????????

???=+=?+?=+==+=?+?=+==+=?+?=+=3/123/113/10

)(3

/13/)()()()/()()/()()(3/13/)()()()/()()/()()(3/13/)()()()/()()/()()(131313333323232222212121111X P X p p e p p e p p e x p e p e x p e p x p p p e p p e p p e x p e p e x p e p x p p p e p p e p p e x p e p e x p e p x p (2)

· 11 ·

()

sym bol

bit p p p p p p p p p p p p p p p p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e e p e p H i

i j i j i / log log log 31log 31log 31log 31log 31log 31 )/(log )/(31)/(log )/(31)/(log )/(31 )

/(log )/(3

)/(log )/(31)/(log )/(31 )

/(log )/(31)/(log )/(31)/(log )/(3

)

/(log )/()(33333232313123232222212113131212111133

?+?-=?

?????+??+??+??+?+??-=?

++++++???++-=-=∑∑∞

2.17黑白气象传真图的消息只有黑色和白色两种，即信源X ={黑，白}。设黑色出现的概率为

P(黑) = 0.3，白色出现的概率为P(白) = 0.7。

(1) 假设图上黑白消息出现前后没有关联，求熵H(X)； (2) 假设消息前后有关联，其依赖关系为P(白/白) = 0.9，P(黑/白) = 0.1，P(白/黑) = 0.2，P(黑/黑) = 0.8，求此一阶马尔可夫信源的熵H 2(X);

(3) 分别求上述两种信源的剩余度，比较H(X)和H 2(X)的大小，并说明其物理含义。

解： (1)

symbol bit x p x p X H i

i i / 881.0)7.0log 7.03.0log 3.0()(log )()(=+-=-=∑

(2)

sym bol

bit e e p e e p e p H e p e p e p e p e p e p e p e p e p e p e p e p e e p e p e e p e p e p e e p e p e e p e p e p i

i j i j i / 553.0 9.0log 9.0321.0log 1.0322.0log 2.0318.0log 8.031 )

/(log )/()(3

/2)(3/1)(1)()()(2)()(2.0)(9.0)()(1.0)(8.0)()/()()/()()()/()()/()()(21211212221112122222121111=?

???+?+?+?-=-=??

?==??

?=+=??

?+=+=??

?+=+=∑∑∞

(3)

7.442

log 553

.02log %9.112

log 881

.02log 001001=-=-==-=-=

∞∞H H H H H H ηη

H(X) > H 2(X)

p(黑/黑)=0.8

· 12 ·

表示的物理含义是：无记忆信源的不确定度大于有记忆信源的不确定度，有记忆信源的结构化信息较多，能够进行较大程度的压缩。

2.18 每帧电视图像可以认为是由3 105个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？若有一个广播员，在约10000个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在口述中至少需要多少汉字？

解： 1)

symbol

bit X NH X H symbol

bit n X H N

/ 101.27103)()(/ 7128log log )(6

?=??=====

symbol bit X NH X H symbol

bit n X H N

/ 13288288.131000)()(/ 288.1310000log log )(=?===== 3)

158037

288.13101.2)()(6

=?==X H X H N N

· 13 ·

2.19 给定声音样值X 的概率密度为拉普拉斯分布+∞<<-∞=-x e x p x

1)(λλ，求H c (X)，并

证明它小于同样方差的正态变量的连续熵。

解：

()

()[]

λπλσπλλλλλσλλλλλλλλλλ

λλλλ

λλλ

λλλλλλλλλλλλλλλλλλλλλλλλλλλλλλλλλλλe

X H e e X H dx e x e xde xdx e dx e dx e x e de x dx

x e dx x e dx x x p x E m x E xdx e xdx e m ydy e ydy e y d y e xdx e xdx

e xdx e xdx e xdx x p X E m sym bol

bit e

e X H e e e e d e e e e d e dx

e e dx

e e dx e e dx

e x p dx x p dx

e x p dx x p x p X H c c x x x x

x x x x x x x x y y y x x x x c x x x x

x x

x x x x x x x x x c 2log

)(2log 2log 21)(222 2 21)()(0

212

121)()(21212

12121)()(/ 2log log 2log )(log log log log log log 其中：

log 2

log log 2

12log log )()(2log

log )()(log )()(2正态2

0000020202020

||222200000)(000|

|22200020

|||

|||||=>==∴=??? ?

?--=-===??

? ??--=-===?==-==+-=∴-==--=+==?===+=∴=??

? ??-=-==-=-=--=-=-=????????

??????????

????

??∞+-∞+-∞+-∞

+-∞+-∞+-∞+-∞+-∞+-∞

+∞--∞+∞-∞+-∞+-∞+-∞+-∞+-∞-∞+-∞-∞

+∞--∞+∞-∞+-∞

+--∞

+--∞+∞---∞

+∞

--∞

+∞

-+∞

∞--+∞

∞-

2.20 连续随机变量X 和Y 的联合概率密度为：???

??≤+=其他

),(2222

r y x r y x p π，求H(X), H(Y),

H(XYZ)和I(X;Y)。

（提示：?-

=20

222log 2

sin log π

xdx ）

解：

· 14 ·

???

??????

-+-=+

==-==--=--=--=-+-=--=---=--=-=≤≤--===----------

---202020

220

22220

2222

2222222222222

22222

222

22sin log 2

2cos 1422cos 1log 4

sin log sin 4

log sin 4

sin log sin 4

sin log sin 4)

cos (sin log sin 4cos log 4log 2log )(/ log 2

log log 2

1log 2log log )(2log log )(2

log )( 2log )( )(log )()()( 21)()(2

2222

2π

ππθ

θθ

πθθπθ

θθπ

θθπθθθπθθθπθθθπθπππππππππd d r d rd d r d r r r r d r r r r x dx x r x r r dx x r r x r dx

x r x p sym bol

bit e r e

r r dx

x r x p r dx

x r x p dx r

x p dx r

x r x p dx

x p x p X H r x r r

x r dy r dy xy p x p r r

r r

r r r r r r r

r r

r c x r x r x r x r 令其中：

· 15 ·

e e d e d e d e d e d e

d d d e

r d r d d r r d d d r d r 220

2220

220

0220

2220

220

log 2

2sin log 21log 212cos log 1log 122cos 1log 2

cos log 2

sin log cos cos sin 21

sin log 2sin sin log 2sin 12sin sin log 1

sin log 2cos 2

log 2

1log sin log 2cos 2

)2log 2

2sin log 1

log sin log 2cos 2

sin log 2

2cos log 2

log 2

-=--=--=+-

=-=-=???

??-==

+-=-

-=-

?????

??π

ππ

πθ

θπ

θπθ

πθ

θπ

θθ

θπ

θθθθπθ

θπθ

θθπθ

θθππ

θπ

θθπθθπθθπ

θπ

其中：

bit/sym bol

e r e r XY H Y H X H Y X I bit/sym bol r dxdy xy p r dxdy r

xy p dxdy

xy p xy p XY H bit/sym bol

e r X H Y H x p y p r y r r

y r dx r dx xy p y p c c c c R

c C C y r y r y r y r log log log log log 2 )()()();( log )(log 1

log

)( )(log )()( log 2

log )()()

()()( 21

)()(2222222222222222

2222

2-=--=-+===-=-=-===≤≤--===???????

---

---πππππππππ

· 16 ·

2.21 设N X X X X ...21=是N 维高斯分布的连续信源，且X 1, X 2, … , X N 的方差分别是

2221,...,,N

σσσ，它们之间的相关系数),...,2,1,(0)(j i N j i X X j i ≠==ρ。试证明：N 维高斯分布的连续信源熵

∑==N

i N c c e X X X H X H 2212log 21)...()(σπ

证明：

信息论与编码第一章答案

第一章信息论与基础 1.1信息与消息的概念有何区别？信息存在于任何事物之中,有物质的地方就有信息，信息本身是看不见、摸不着的，它必须依附于一定的物质形式。一切物质都有可能成为信息的载体，信息充满着整个物质世界。信息是物质和能量在空间和时间中分布的不均匀程度。信息是表征事物的状态和运动形式。在通信系统中其传输的形式是消息。但消息传递过程的一个最基本、最普遍却又十分引人注意的特点是：收信者在收到消息以前是不知道具体内容的；在收到消息之前，收信者无法判断发送者将发来描述何种事物运动状态的具体消息；再者，即使收到消息，由于信道干扰的存在，也不能断定得到的消息是否正确和可靠。在通信系统中形式上传输的是消息,但实质上传输的是信息。消息只是表达信息的工具，载荷信息的载体。显然在通信中被利用的（亦即携带信息的）实际客体是不重要的，而重要的是信息。信息载荷在消息之中，同一信息可以由不同形式的消息来载荷；同一个消息可能包含非常丰富的信息，也可能只包含很少的信息。可见，信息与消息既有区别又有联系的。 1.2 简述信息传输系统五个组成部分的作用。信源：产生消息和消息序列的源。消息是随机发生的，也就是说在未收到这些消息之前不可能确切地知道它们的内容。信源研究主要内容是消息的统计特性和信源产生信息的速率。信宿：信息传送过程中的接受者，亦即接受消息的人和物。编码器：将信源发出的消息变换成适于信道传送的信号的设备。它包含下述三个部分：(1)信源编码器：在一定的准则下，信源编码器对信源输出的消息进行适当的变换和处理，其目的在于提高信息传输的效率。(2)纠错编码器：纠错编码器是对信源编码器的输出进行变换，用以提高对于信道干扰的抗击能力，也就是说提高信息传输的可靠性。(3)调制器：调制器是将纠错编码器的输出变换适合于信道传输要求的信号形式。纠错编码器和调制器的组合又称为信道编码器。信道：把载荷消息的信号从发射端传到接受端的媒质或通道，包括收发设备在内的物理设施。信道除了传送信号外，还存储信号的作用。译码器：编码的逆变换。它要从受干扰的信号中最大限度地提取出有关信源输出消息的信息，并尽可能地复现信源的输出。 1.3 同时掷一对骰子，要得知面朝上点数之和，描述这一信源的数学模型。解：设该信源符号集合为X

信息论与编码习题与答案第二章

第一章信息、消息、信号的定义？三者的关系？通信系统的模型？各个主要功能模块及作用？第二章信源的分类？自信息量、条件自信息量、平均自信息量、信源熵、不确定度、条件熵、疑义度、噪声熵、联合熵、互信息量、条件互信息量、平均互信息量以及相对熵的概念？计算方法? 冗余度? 具有概率为)(x i p 的符号x i 自信息量：)(log )(x x i i p I -= 条件自信息量：)(log )( y x y x i i i i p I -= 平均自信息量、平均不确定度、信源熵：∑-=i i i x x p p X H )(log )()( 条件熵：)(log ),()(),()(y x y x y x y x j i j ij i j i j ij i p p I p Y X H ∑∑-== 联合熵：),(log ),(),(),()(y x y x y x y x j i j ij i j i j ij i p p I p Y X H ∑∑-== 互信息：) ()(log )()() ()(log ),();(y x y x y x y x y y x j i j i j ij i j i j j ij i p p p p p p p Y X I ∑∑= = 熵的基本性质：非负性、对称性、确定性 2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息； (3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。解：(1) bit x p x I x p i i i 170.418 1 log )(log )(18 1 61616161)(=-=-== ?+?= (2) bit x p x I x p i i i 170.536 1 log )(log )(361 6161)(=-=-== ?=

信息论编码》模拟试题一及参考答案

模拟试题一一、概念简答题（共10题，每题5分） 1.简述离散信源和连续信源的最大熵定理。 2.什么是平均自信息（信息熵）？什么是平均互信息？比较一下两个概念的异同之处。 3.解释等长信源编码定理和无失真变长信源编码定理，说明对于等长码和变长码，最佳码的每符号平均码长最小为多少？编码效率最高可达多少？ 4.解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。 5.设某二元码字C={111000，001011，010110，101110}， ①假设码字等概率分布，计算此码的编码效率？ ②采用最小距离译码准则，当接收序列为110110时，应译成什么码字？ 6.一平稳二元信源，它在任意时间，不论以前发出过什么符号，都按发出符号，求

和平均符号熵 7.分别说明信源的概率分布和信道转移概率对平均互信息的影响，说明平均互信息与信道容量的关系。 8.二元无记忆信源，有求：（1）某一信源序列由100个二元符号组成，其中有m个“1”，求其自信息量？

（2）求100个符号构成的信源序列的熵。 9.求以下三个信道的信道容量：，，10.已知一（3，1，3）卷积码编码器，输入输出关系为：

试给出其编码原理框图。二、综合题（共5题，每题10分） 1.二元平稳马氏链，已知P（0/0）=0.9，P（1/1）=0.8，求：（1）求该马氏信源的符号熵。（2）每三个符号合成一个来编二进制Huffman码,试建立新信源的模型，给出编码结果。（3）求每符号对应的平均码长和编码效率。 2.设有一离散信道，其信道矩阵为，求：（1）最佳概率分布？

信息论测试题及答案

一、设X 、Y 就是两个相互统计独立的二元随机变量,其取-1或1的概率相等。定义另一个二元随机变量Z,取Z=YX(一般乘积)。试计算: 1、H(Y)、H(Z); 2、H(YZ); 3、I(X;Y)、I(Y;Z); 二、如图所示为一个三状态马尔科夫信源的转移概率矩阵 1. 绘制状态转移图; 2、求该马尔科夫信源的稳态分布; 3、求极限熵 ; 三、在干扰离散对称信道上传输符号1与0,已知P(0)=1/4,P(1)=3/4,试求: 1. 信道转移概率矩阵P 2、信道疑义度 3、信道容量以及其输入概率分布四、某信道的转移矩阵?? ????=1.006.03.001.03.06.0P ,求信道容量,最佳输入概率分布。五、求下列各离散信道的容量(其条件概率P(Y/X)如下 :) 六、求以下各信道矩阵代表的信道的容量

答案一、设X 、Y 就是两个相互统计独立的二元随机变量,其取-1或1的概率相等。定义另一个二元随机变量Z,取Z=YX(一般乘积)。试计算: 1、H(Y)、H(Z); 2、H(XY)、H(YZ); 3、I(X;Y)、I(Y;Z); 解:1、 2 i 11111H Y P y logP y log log 2222i i =??=-+????∑（）=-（）（）=1bit/符号 Z=YX 而且X 与Y 相互独立 ∴ 1(1)(1)(1)P P X P Y P X ?=+=-?=-（Z =1）=P(Y=1)= 1111122222 ?+?= 2(1)(1)(1)P P X P Y P X ?=-+=-?=（Z =-1）=P(Y=1)= 1111122222 ?+?= 故H(Z)= i 2i 1(z )log (z )i P P =- ∑=1bit/符号 2、从上式可以瞧出:Y 与X 的联合概率分布为:

信息论习题解答

第二章信息量与熵 2、2 八元编码系统,码长为3,第一个符号用于同步,每秒1000个码字,求它的信息速率。解:同步信息均相同,不含信息,因此每个码字的信息量为 2?8log =2?3=6 bit 因此,信息速率为 6?1000=6000 bit/s 2、3 掷一对无偏骰子,告诉您得到的总的点数为:(a) 7; (b) 12。问各得到多少信息量。解:(1) 可能的组合为 {1,6},{2,5},{3,4},{4,3},{5,2},{6,1} )(a p =366=6 1 得到的信息量 =)(1log a p =6log =2、585 bit (2) 可能的唯一,为 {6,6} )(b p =36 1 得到的信息量=)(1log b p =36log =5、17 bit 2、4 经过充分洗牌后的一副扑克(52张),问: (a) 任何一种特定的排列所给出的信息量就是多少？ (b) 若从中抽取13张牌,所给出的点数都不相同时得到多少信息量？解:(a) )(a p =! 521 信息量=) (1log a p =!52log =225、58 bit (b) ???????花色任选种点数任意排列 13413!13 )(b p =1352 134!13A ?=135213 4C 信息量=1313524log log -C =13、208 bit 2、9 随机掷3颗骰子,X 表示第一颗骰子的结果,Y 表示第一与第二颗骰子的点数之与,Z 表示3颗骰子的点数之与,试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。解:令第一第二第三颗骰子的结果分别为321,,x x x ,1x ,2x ,3x 相互独立,则 1x X =,21x x Y +=,321x x x Z ++= )|(Y Z H =)(3x H =log 6=2、585 bit )|(X Z H =)(32x x H +=)(Y H =2?(361log 36+362log 18+363log 12+364log 9+365log 536)+36 6log 6 =3、2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ] 而)|(X Y H =)(X H ,所以)|(Y X H = 2)(X H -)(Y H =1、8955 bit 或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ,所以)|(Y X H =2)(X H -)(Y H =1、8955 bit ),|(Y X Z H =)|(Y Z H =)(X H =2、585 bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =1、8955+2、585=4、4805 bit

信息论与编码试卷与答案

一、（11’）填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。（2）必然事件的自信息是 0 。（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。（5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。（8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关三、（5'）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （2分）故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （2分） I(A|B)=-log0.375=1.42bit （1分）四、（5'）证明：平均互信息量同信息熵之间满足 I(X;Y)=H(X)+H(Y)-H(XY) 证明：

信息论与编码习题参考答案(全)

信息论与编码习题参考答案第一章单符号离散信源同时掷一对均匀的子，试求： (1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵； (5)“两个点数中至少有一个是1”的自信息量。解： bit P a I N n P bit P a I N n P c c N 17.536log log )(361 )2(17.418log log )(362)1(36 662221111 616==-=∴====-=∴== =?==样本空间： (3)信源空间：

bit x H 32.436log 36 16236log 36215)(=??+?? =∴ (4)信源空间： bit x H 71.3636 log 366536log 3610 436log 368336log 366236log 36436log 362)(=??+?+?+??= ∴＋＋ (5) bit P a I N n P 17.111 36 log log )(3611333==-=∴== 如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。（1）若仅有质点A ，求A 落入任一方格的平均信息量；（2）若已知A 已落入，求B 落入的平均信息量；（3）若A ，B 是可辨认的，求A ，B 落入的平均信息量。解： bit a P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481 )(:)1(48 1 i i i i i ==-=∴=-=∴= ∑=落入任一格的概率Θ bit b P b P b b P b I b P A i 55.547log )(log )()(H 47 log )(log )(47 1 )(:B ,)2(48 1i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知Θ

信息论试卷题目及标准答案

信息论试卷题目及答案

————————————————————————————————作者：————————————————————————————————日期： 2

中国海洋大学2008—2009学年第一学期一、填空题（每空2分，共20分） 1、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 2、信源编码的目的是提高通信的有效性。信道编码的最终目的是提高信号传输的可靠性。 3、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的N 倍。 4、对于香农编码、费诺编码和哈夫曼编码，编码方法惟一的是香农编码。 5、信道输入与输出间的平均互信息是信道转移概率的下凸函数，是输入概率的上凸函数。 6、信道矩阵??????10002/12/1代表的信道的信道容量C=符号/1bit ，达到信道容量的条件是输入符号等概分布。 7、设某二进制码｛00011，10110，01101，11000，10010，10001｝，则码的最小距离是2 ，假设码字等概分布，则该码的码率为 0.517比特/符号，这时若通过二元对称信道接收码字为01100和00110时，应译为01101 ， 10110 。。二、判断题（每题2分，共10分） 1、必然事件和不可能事件的自信息量都是0 。（错） 2、最大后验概率准则与最大似然准则是等价的。（错） 3、如果信息传输速率大于信道容量，就不存在使传输差错率任意小的信道编码。（对） 4、连续信源和离散信源的熵都具有非负性。（错） 5、相同功率的噪声中，高斯噪声使信道容量最小。（对）三、简答题（第1、2题各6分，第三题10分，共22分） 1、简述最大离散熵定理。对于一个有m 个符号的离散信源，其最大熵是什么？答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 (3分) 最大熵值为 m H 2max log = (3分) 2、对于任意概率事件集X 、Y 、Z ，证明下述三角不等式成立()()()Z X H Z Y H Y X H ≥+ 证：因为)|()|(Y X H YZ X H ≤ ，(3分) 所以： ) |()|()|() |,() |()|()|()|(Z Y H XZ Y H Z Y H Z Y X I YZ X H Z X H Y X H Z X H ≤-==-≤-(3分)

信息论与编码理论第二章习题答案

I (X ;Y=1)= P(x/Y 1)I(x;Y 1) x P(x/Y 1)log P(x/Y 1) P(x) = P(X 0/Y 1)log P(X 0/Y 1) P(X 0) P(X 1/Y 1)log P(X 1/Y 1) P(X 1) 部分答案，仅供参考。信息速率是指平均每秒传输的信息量点和划出现的信息量分别为log3Jog3， 2’ 一秒钟点和划出现的次数平均为 1 15 2 1 ~4 0.20.4 - 3 3 一秒钟点和划分别出现的次数平均为巴5 4 4 那么根据两者出现的次数，可以计算一秒钟其信息量平均为10 log 3 5 竺 5 4 2 4 4 2 解： ⑻骰子A和B，掷出7点有以下6种可能： A=1,B=6; A=2,B=5; A=3,B=4; A=4,B=3; A=5,B=2; A=6,B=1 概率为6/36=1/6，所以信息量 -log(1/6)=1+log3 ~ bit (b)骰子A和B,掷出12点只有1种可能： A=6,B=6 概率为1/36，所以信息量 -log(1/36)=2+log9 ~ bit 解：出现各点数的概率和信息量： 1 点：1/21 , log21 ?bit ; 2 点：2/21 , log21-1 ?bit ; 3 点：1/7 , log7 4 点：4/21 , log21-2 5 点：5/21 , log (21/5 )~; 6 点：2/ 7 , log(7/2)? 平均信息量： (1/21) X +(2/21) X +(1/7) X +(4/21) X +(5/21) X +(2/7) 解： X=1:考生被录取；X=0考生未被录取； Y=1：考生来自本市；Y=0考生来自外地； Z=1:考生学过英语；z=o：考生未学过英语 P(X=1)=1/4, P( X=q=3/4; P( Y=1/ X=1)=1/2 ；P( Y=1/ X=0)=1/10 ；P(Z=1/ Y=1 )=1, P( Z=1/ X=0, Y=0 )=, P( Z=1/ X=1, Y=0 )=, P(Z=1/Y=0)= (a)P(X=0,Y=1)=P(Y=1/X=0)P(X=0)=, P(X=1,Y=1)= P(Y=1/X=1)P(X=1)= P(Y=1)= P(X=0,Y=1)+ P(X=1,Y=1)= P(X=0/Y=1)=P(X=0,Y=1)/P(Y=1)=, P(X=1/Y=1)=P(X=1,Y=1)/P(Y=1)=

信息论试卷含答案

《信息论基础》模拟试卷一、填空题（共15分，每空1分） 1、信源编码的主要目的是，信道编码的主要目的是。 2、信源的剩余度主要来自两个方面，一是，二是。 3、三进制信源的最小熵为，最大熵为。 4、无失真信源编码的平均码长最小理论极限制为。 5、当时，信源与信道达到匹配。 6、根据信道特性是否随时间变化，信道可以分为和。 7、根据是否允许失真，信源编码可分为和。 8、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是时，信源具有最大熵，其值为值。 9、在下面空格中选择填入数学符号“,,,=≥≤?”或“?” （1）当X 和Y 相互独立时，H （XY ） H(X)+H(X/Y) H(Y)+H(X)。（2）()() 1222 H X X H X = ()()12333H X X X H X = （3）假设信道输入用X 表示，信道输出用Y 表示。在无噪有损信道中，H(X/Y) 0, H(Y/X) 0,I(X;Y) H(X)。二、（6分）若连续信源输出的幅度被限定在【2,6】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。三、（16分）已知信源 1234560.20.20.20.20.10.1S s s s s s s P ????=???????? （1）用霍夫曼编码法编成二进制变长码；（6分）（2）计算平均码长L ;（4分）（3）计算编码信息率R ';（2分）（4）计算编码后信息传输率R ;（2分）（5）计算编码效率η。（2分）四、（10分）某信源输出A 、B 、C 、D 、E 五种符号，每一个符号独立出现，出现概率分别为1/8、1/8、1/8、1/2、1/8。如果符号的码元宽度为0.5s μ。计算：（1）信息传输速率t R 。（5分）（2）将这些数据通过一个带宽为B=2000kHz 的加性白高斯噪声信道传输，噪声的单边功率谱密度为 6010W n Hz -=。试计算正确传输这些数据最少需要的发送功率P 。（5分）

信息论与编码试题集与答案(新)

1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密，必须首先信源编码，然后_____加密____编码，再______信道_____编码，最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小，密钥熵H (K )就越小，其密文中含有的关于明文的信息量I (M ；C )就越大。 5. 已知n ＝7的循环码4 2 ()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 3 1x x ++ 。 6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001?? ???? ；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010?? ? ??? 。 7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。（√ ） 2. 线性码一定包含全零码。（√ ） 3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的编码，是以另外一种形式实现的最佳统计匹配编码。（×） 4. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。（×） 5. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。（×） 6. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ，当它是正态分布时具有最大熵。（√ ） 7. 循环码的码集中的任何一个码字的循环移位仍是码字。（√ ） 8. 信道容量是信道中能够传输的最小信息量。（×） 9. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。（×） 10. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值，这种译码方法叫做最佳译码。（√ ）

信息论习题答案第二章---陈前斌版

第2章习题 2-3 同时掷两个正常的骰子，也就是各面呈现的概率都是l/6，求： (1) “3和5同时出现”事件的自信息量； (2)“两个1同时出现”事件的自信息量； (3)两个点数的各种组合（无序对）的熵或平均信息量； (4) 两个点数之和(即 2，3，…，12构成的子集）的熵； (5)两个点数中至少有一个是1的自信息。解：（1）P （3、5或5、3）＝P （3、5）+P （5、3）＝1/18 I ＝log2（18）＝。（2）P （1、1）＝l/36。I ＝log2（36）＝。（3）相同点出现时（11、22、33、44、55、66）有6种，概率1/36。不同点出现时有15种，概率1/18。 H （i ，j ）＝6*1/36*log 2（36）+15*1/18*log 2（18）＝事件。（4） H(i+j)=H(1/36 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36) =事件。（5）P （1、1or1、j or i 、1）＝1/36+5/36+5/36＝11/36。 I ＝log2（36/11）＝ 2-5 居住某地区的女孩中有25％是大学生，在女大学生中有75％身高为1.6m 以上，而女孩中身高1.6m 以上的占总数一半。假如得知“身高1.6m 以上的某女孩是大学生”的消息，问获得多少信息量、解：P （女大学生）＝1/4；P （身高>1.6m / 女大学生）=3/4；P （身高>1.6m ）＝1/2； P （女大学生 / 身高>1.6m ）＝P （身高>1.6m 、女大学生）/P （身高>1.6m ）＝3/4*1/4*2＝3/8 I ＝log2（8/3）＝。 2-7两个实验123{,,}X x x x =和123{,,}Y y y y =，联合概率()i j ij p x y p =为 11121321222331 32 337/241/2401/241/41/2401/247/24p p p p p p p p p ???? ????=???????????? （1）如果有人告诉你X 和Y 的实验结果，你得到的平均信息量是多少

(整理)信息论期末考试试题1.

安徽大学2011—2012学年第1学期《信息论》考试试卷（AB 合卷）院/系年级专业姓名学号一、填空题 1、接收端收到y 后，获得关于发送的符号是x 的信息量是。 2、香农信息的定义。 3、在已知事件z Z ∈的条件下，接收到y 后获得关于事件x 的条件互信息(;|)I x y z 的表达式为。 4、通信系统模型主要分成五个部分分别为：。 5、研究信息传输系统的目的就是要找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、和，使信息传输系统达到最优化。 6、某信源S 共有32个信源符号，其实际熵H ∞=1.4比特/符号，则该信源剩余度为。 7、信道固定的情况下，平均互信息(;)I X Y 是输入信源概率分布()P x 的型凸函数。信源固定的情况下，平均互信息(;)I X Y 是信道传递概率(|)P y x 的型凸函数。 8、当信源与信道连接时，若信息传输率达到了信道容量，则称此信源与信道达到匹配。信道剩余度定义为。 9、已知信源X 的熵H (X )=0.92比特/符号,则该信源的五次无记忆扩展信源X 5的信息熵 5()H X = 。

10、将∞H ，6H ，0H ，4H ，1H 从大到小排列为。 11、根据香农第一定理，对于离散无记忆信源S ，用含r 个字母的码符号集对N 长信源符号序列进行变长编码，总能找到一种无失真的唯一可译码，使每个信源符号所需平均码长满足：。 12、多项式剩余类环[]())q F x f x 是域的充要条件为。 13、多项式剩余类环[](1)n q F x x -的任一理想的生成元()g x 与1n x -关系为。 14、有限域12 2F 的全部子域为。 15、国际标准书号（ISBN ）由十位数字12345678910a a a a a a a a a a 组成（诸i a ∈11F ，满足： 10 1 0(mod11)i i ia =≡∑），其中前九位均为0-9，末位0-10，当末位为10时用X 表示。《Handbook of Applied Cryptography 》的书号为ISBN ：7-121-01339- ，《Coding and Information Theory 》的书号为ISBN ：7-5062-3392- 。二、判断题 1、互信息(;)I x y 与平均互信息(;)I X Y 都具有非负性质。（） 2、离散信源的信息熵是信源无失真数据压缩的极限值。（） 3、对于无噪无损信道，其输入和输出有确定的一一对应关系。（） 4、对于有噪无损信道，其输入和输出有确定的一一对应关系。（） 5、设有噪信道的信道容量为C ，若信息传输率R C >，只要码长n 足够长，必存在一种信道编码和相应的译码规则，使译码平均错误概率E P 为任意小。反之，若R C <则不存在以R 传输信息而E P 为任意小的码。（） 6、在任何信息传输系统中，最后获得的信息至多是信源所提供的信息。如果一旦在某一

信息论与编码试卷及答案

一、概念简答题（每题5分，共40分） 1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？平均自信息为：表示信源的平均不确定度，表示平均每个信源消息所提供的信息量。平均互信息：表示从Y获得的关于每个X的平均信息量；表示发X前后Y的平均不确定性减少的量；表示通信前后整个系统不确定性减少的量。 2.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。最大熵值为 3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。 4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有，。说明经数据处理后，一般只会增加信息的损失。

5.写出香农公式，并说明其物理意义。当信道带宽为5000Hz，信噪比为30dB时求信道容量。香农公式为，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。由得，则 6.解释无失真变长信源编码定理。只要，当N足够长时，一定存在一种无失真编码。 7.解释有噪信道编码定理。答：当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8.什么是保真度准则？对二元信源，其失真矩阵，求a>0时率失真函数的和？答：1）保真度准则为：平均失真度不大于允许的失真度。 2）因为失真矩阵中每行都有一个0，所以有，而。二、综合题（每题10分，共60分） 1.黑白气象传真图的消息只有黑色和白色两种，求： 1）黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联，求熵；

信息论测试题及答案

一、设X 、Y 是两个相互统计独立的二元随机变量，其取-1或1的概率相等。定义另一个二元随机变量Z ，取Z=YX （一般乘积）。试计算： 1.H （Y ）、H （Z ）； 2.H （YZ ）； 3.I （X;Y ）、I （Y;Z ）；二、如图所示为一个三状态马尔科夫信源的转移概率矩阵 1. 绘制状态转移图； 2. 求该马尔科夫信源的稳态分布； 3. 求极限熵；三、在干扰离散对称信道上传输符号1和0，已知P （0）=1/4,P(1)=3/4,试求： 1. 信道转移概率矩阵P 2.信道疑义度 3.信道容量以及其输入概率分布四、某信道的转移矩阵? ? ? ? ??=1.006.03.001.03.06.0P ，求信道容量，最佳输入概率分布。五、求下列各离散信道的容量（其条件概率P(Y/X)如下：）六、求以下各信道矩阵代表的信道的容量

答案一、设X 、Y 是两个相互统计独立的二元随机变量，其取-1或1的概率相等。定义另一个二元随机变量Z ，取Z=YX （一般乘积）。试计算： 1.H （Y ）、H （Z ）； 2.H （XY ）、H （YZ ）； 3.I （X;Y ）、I （Y;Z ）；解：1. 2 i 1 1 111H Y P y logP y log log 2222i i =??=-+????∑（）=- （）（）=1bit/符号 Z=YX 而且X 和Y 相互独立 ∴ 1(1)(1)(1)P P X P Y P X ?=+=-?=-（Z =1）=P(Y=1)= 11111 22222?+?= 2(1)(1)(1)P P X P Y P X ?=-+=-?=（Z =-1）=P(Y=1)= 11111 22222 ?+?= 故H(Z)= i 2 i 1 (z )log (z )i P P =-∑=1bit/符号 2.从上式可以看出:Y 与X 的联合概率分布为:

信息论与编码第2章习题解答.doc

2.1设有12枚同值硬币，其中一枚为假币。只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。现用比较天平左右两边轻重的方法来测量（因无砝码）。为了在天平上称出哪一枚是假币，试问至少必须称多少次？解：分三组，每组4个，任意取两组称。会有两种情况，平衡，或不平衡。 (1) 平衡：明确假币在其余的4个里面。从这4个里面任意取3个，并从其余8个好的里面也取3个称。又有两种情况：平衡或不平衡。 a ）平衡：称一下那个剩下的就行了。 b ）不平衡：我们至少知道那组假币是轻还是重。从这三个有假币的组里任意选两个称一下，又有两种情况：平衡与不平衡，不过我们已经知道假币的轻重情况了，自然的，不平衡直接就知道谁是假币；平衡的话，剩下的呢个自然是假币，并且我们也知道他是轻还是重。 (2) 不平衡：假定已经确定该组里有假币时候：推论1：在知道该组是轻还是重的时候，只称一次，能找出假币的话，那么这组的个数不超过3。我们知道，只要我们知道了该组（3个）有假币，并且知道轻重，只要称一次就可以找出来假币了。从不平衡的两组中，比如轻的一组里分为3和1表示为“轻（3）”和“轻（1）”，同样重的一组也是分成3和1标示为“重（3）”和“重（1）”。在从另外4个剩下的，也就是好的一组里取3个表示为“准（3）”。交叉组合为：轻（3） + 重（1）？=======？轻（1） + 准（3）来称一下。又会有3种情况： (1)左面轻：这说明假币一定在第一次称的时候的轻的一组，因为“重（1）”也出现在现在轻的一边，我们已经知道，假币是轻的。那么假币在轻（3）里面，根据推论1，再称一次就可以了。 (2)右面轻：这里有两种可能： “重（1）”是假币，它是重的，或者“轻（1）”是假币，它是轻的。这两种情况，任意取这两个中的一个和一个真币称一下即可。 (3)平衡：假币在“重（3）”里面，而且是重的。根据推论也只要称一次即可。 2.2 同时扔一对骰子，当得知“两骰子面朝上点数之和为2”或“面朝上点数之和为8”或“骰子面朝上之和是3和4”时，试问这三种情况分别获得多少信息量？解：设“两骰子面朝上点数之和为2”为事件A ，则在可能出现的36种可能中，只能个骰子都为1，这一种结果。即： P （A ）=1/36，I （A ）= 2log P （A ）=2log 36≈5.17 比特设“面朝上点数之和为8”为事件B ，则有五种可能：2、6；6、2；4、4；3、5；5、3；即： P （B ）= 5/36，I （B ）= 2log P （B ）= 2log 36/5≈2.85 比特设“骰子面朝上之和是3和4”为事件C ，则有两种可能：3、4；4、3；即： P （C ）= 2/36，I （C ）= 2log P （C ）= 2log 36/2≈4.17 比特 2.3 如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几？”则答案中含有多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的排序）解：（1）P ＝1/7 I ＝－Log 2P ＝－Log 27 （2）已知今天星期四，问明天是星期几？即：明天是星期五是必然事件，不存在不确定性，I ＝0。 2.4地区的女孩中有25％是大学生，在女大学生中有75％是身高1.6米以上的，而女孩中身高1.6米以上的占半数一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：设A 为女大学生,B 为1.6米以上的女孩则依题意有:1()4P A = , 1()2P B =, 3(|)4 P B A = 133 ()()(|)4416 P AB P A P B A ==?=g

信息论基础理论与应用考试题及答案

信息论基础理论与应用考试题一﹑填空题（每题2分，共20分） 1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的（可靠性）﹑（有效性）﹑保密性和认证性，使信息传输系统达到最优化。（考点：信息论的研究目的） 2.电视屏上约有500×600=3×510个格点，按每点有10个不同的灰度等级考虑，则可组成5 31010?个不同的画面。按等概计算，平均每个画面可提供的信息量约为（610bit /画面）。（考点：信息量的概念及计算） 3.按噪声对信号的作用功能来分类信道可分为（加性信道）和（乘性信道）。（考点：信道按噪声统计特性的分类） 4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。若r=2，N=1，即对信源S 的逐个符号进行二元编码，则每个英文电报符号至少要用（5）位二元符号编码才行。（考点：等长码编码位数的计算） 5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。（考点：错误概率和译码准则的概念） 6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积码）。（考点：纠错码的分类） 7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4， 2））线性分组码。（考点：线性分组码的基本概念） 8.定义自信息的数学期望为信源的平均自信息量，即（11()log ()log ()()q i i i i H X E P a P a P a =??==-????∑）。

信息论与编码理论习题答案-文档

第二章信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。解：同步信息均相同，不含信息，因此每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息量。解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C =13.208 bit