信息论和编码理论习题集答案解析
第二章 信息量和熵
2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它
的信息速率。
解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s
2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多
少信息量。
解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1}
)(a p =
366=6
1 得到的信息量 =)
(1
log
a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(
b p =
36
1 得到的信息量=)
(1
log b p =36log =5.17 bit
2.4 经过充分洗牌后的一副扑克（52张），问：
(a) 任何一种特定的排列所给出的信息量是多少？
(b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？
解：(a) )(a p =
!
521 信息量=)
(1
log
a p =!52log =225.58 bit (b) ???????花色任选
种点数任意排列
13413!13
)(b p =13
52
134!13A ?=135213
4C 信息量=1313
52
4log log -C =13.208 bit
2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点
数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、
)|,(Y Z X H 、)|(X Z H 。
解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立，
则1x X =，21x x Y +=，321x x x Z ++=
)|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2?(
361log 36+362log 18+363log 12+364log 9+365log 536)+36
6log 6 =3.2744 bit
)|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ]
而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit
或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H
而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit
),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit
)|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit
2.10 设一个系统传送10个数字，0，1，…，9。奇数在传送过程中以0.5的概
率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。 解：
8
,6,4,2,0=i √
);(Y X I =)(Y H -)|(X Y H
因为输入等概，由信道条件可知，
???
???
?
=
++++====101)8181818121(101)(10
1)(为偶数为奇数i i y p i i y p 即输出等概，则)(Y H =log 10
)|(X Y H =)|(log )(i j j
j
i
i
x y p y
x p ∑∑
-
=)|(log )(i j j i j i x y p y x p ∑∑-偶
-)|(log )(i j j i j i x y p y x p ∑∑奇
=0-)|(log )(i j j i j i x y p y x p ∑∑奇
= -)|(log )|()(9
7,5,3,1i i i i
i i
x y p x y
p x p ∑=，-)|(log )|()(9
7531i j j i i i j
i
x y p x y
p x p ∑
∑≠，，，，＝
=
101?21log 2?5+101?21?41
log 8?4?5 =4
3
41+=1 bit
);(Y X I =)(Y H -)|(X Y H =log 10 -1=log 5=2.3219 bit
2.11 令{821,,u u u ，?}为一等概消息集，各消息相应被编成下述二元码字 1u =0000，2u =0011，3u =0101，4u =0110，
5u =1001，6u =1010，7u =1100，8u =1111
通过转移概率为p 的BSC 传送。求：
(a)接收到的第一个数字0与1u 之间的互信息量。 (b)接收到的前二个数字00与1u 之间的互信息量。 (c)接收到的前三个数字000与1u 之间的互信息量。 (d)接收到的前四个数字0000与1u 之间的互信息量。 解：
即)0;(1u I ，)00;(1u I ，)000;(1u I ，)0000;(1u I
)0(p =4)1(81?-p +481?p =21
)0;(1u I =)
0()|0(log
1p u p =2
11log p
-=1+)1log(p - bit
)00(p =]2)1(4)1(2[8122p p p p +-+-=4
1
)00;(1u I =)00()|00(log 1p u p =4
/1)1(log 2
p -=)]1log(1[2p -+ bit
)000(p =])1(3)1(3)1[(813223p p p p p p +-+-+-=81
)000;(1u I =3[1+)1log(p -] bit
)0000(p =])1(6)1[(8
1
4224p p p p +-+-
)0000;(1u I =4
2244
)1(6)1()1(8log p p p p p +-+-- bit
2.12 计算习题2.9中);(Z Y I 、);(Z X I 、);,(Z Y X I 、)|;(X Z Y I 、)|;(Y Z X I 。
解：根据题2.9分析
)(Z H =2(
216log 2161+3216log 2163+6216log 2166+10216
log
21610+ 15216log 21615+21216log 21621+25216log 21625+27
216
log
21627) =3.5993 bit
);(Z Y I =)(Z H -)|(Y Z H =)(Z H -)(X H =1.0143 bit );(Z X I =)(Z H -)|(X Z H =)(Z H -)(Y H =0.3249 bit );,(Z Y X I =)(Z H -)|(XY Z H =)(Z H -)(X H =1.0143 bit )|;(X Z Y I =)|(X Z H -)|(XY Z H =)(Y H -)(X H =0.6894 bit )|;(Y Z X I =)|(Y Z H -)|(XY Z H =)(X H -)(X H =0 bit
2.14 对于任意概率事件集X,Y,Z ，证明下述关系式成立 (a))|,(X Z Y H ≤)|(X Y H +)|(X Z H ，给出等号成立的条件 (b))|,(X Z Y H =)|(X Y H +),|(Y X Z H (c)),|(Y X Z H ≤)|(X Z H
证明：(b) )|,(X Z Y H =-∑∑∑x
y
z
x yz p xyz p )|(log )(
=-∑∑∑x
y
z
xy z p x y p xyz p )]|()|(log[)(
=-
∑∑∑x
y
z
x y p xyz p )
|(log )(-
∑∑∑x
y
z
xy z p xyz p )|(log )(
=)|(X Y H +)|(XY Z H
(c) ),|(Y X Z H =-∑∑∑x
y
z
xy z p xyz p )|(log )(
=∑∑x
y
xy p )([-∑z
xy z p xy z p )|(log )|(]
≤∑∑x
y
xy p )([-∑z
x z p x z p )|(log )|(]
=-∑∑∑x
y
z
x z p xyz p )|(log )(
=)|(X Z H
当)|(xy z p =)|(x z p ，即X 给定条件下，Y 与Z 相互独立时等号成立 (a) 上式(c)左右两边加上)|(X Y H ，可得
)|(X Y H +),|(Y X Z H ≤)|(X Y H +)|(X Z H
于是)|,(X Z Y H ≤)|(X Y H +)|(X Z H
2.28 令概率空间???
?
????-=21,211,1X ，令Y 是连续随机变量。已知条件概率密度为
?????≤-<-=其他,02
2,41)|(x y x y p ，求：
(a)Y 的概率密度)(y ω (b));(Y X I
(c) 若对Y 做如下硬判决
??
?
??-≤??-≤<-??>??=1,111,01,1y y y V
求);(V X I ，并对结果进行解释。
解：(a) 由已知，可得
)1|(-=x y p =???????≤<-??else
y 01
34
1
)1|(=x y p =???????≤<-??else
y 03
141
)(y ω=)1(-=x p )1|(-=x y p +)1(=x p )1|(=x y p
=?????????????≤
1
1411381
(b) )(Y H C =
??---+?1
1134log 4
128log 81=2.5 bit )|(X Y H C =?--=-=-=-13
)1|(log )1|()1(dy x y p x y p x p ?-===-3
1)1|(log )1|()1(dy x y p x y p x p
=dy dy ??----
31134
1
log 412141log 4121 =2 bit );(Y X I =)(Y H C -)|(X Y H C =0.5 bit (c) 由)(y ω可得到V 的分布律
再由)|(x y p 可知
5.14log 241
2log 21)(=?+=
V H bit 2]2log 2
1
2log 21[21)|(?+=X V H =1 bit
);(V X I =)|()(X V H V H -= 0.5 bit
2.29 令)(1x Q 和)(2x Q 是同一事件集U 上的两个概率分布，相应的熵分别为
1)(U H 和2)(U H 。
(a)对于10≤≤λ，证明)(x Q =λ)(1x Q +)1(λ-)(2x Q 是概率分布 (b)
)
(U H 是相应于分布)(x Q 的熵，试证明
)(U H ≥λ1)(U H +)1(λ-2)(U H
证明：(a) 由于)(1x Q 和)(2x Q 是同一事件集U 上的两个概率分布，于是
)(1x q ≥0，)(2x q ≥0
dx x q x
?)(1=1，dx x q x
?)(2=1
又10≤≤λ，则
)(x q =λ)(1x q +)1(λ-)(2x q ≥0
dx x q x
?)(=dx x q x
?)(1λ+dx x q x
?-)()1(2λ=1
因此，)(x Q 是概率分布。
(b) )(U H =dx x q x q x q x q x
?-+-+-)]()1()(log[)]()1()([2121λλλλ
=dx x q x q x q x
?-+-)]()1()(log[)(211λλλ
dx x q x q x q x
?-+--)]()1()(log[)()1(212λλλ
≥?-x
dx x q x q )(log )(11λ?--x
dx x q x q )(log )()1(22λ （引理2）
=λ1)(U H +)1(λ-2)(U H
第三章 信源编码——离散信源无失真编码
3.1 试证明长为N 的D 元等长码至多有
1
)1(--D D D N
个码字。
证：①在D 元码树上，第一点节点有D 个，第二级有2D ，每个节点对应一
个码字，若最长码有N ，则函数有∑=N
i i
D 1
=D D D N --1)1(=1)
1(--D D D N ，此
时，所有码字对应码树中的所有节点。
②码长为1的D 个；码长为2的2D 个，…，码长为N 的N D 个
∴总共∑=N
i i
D 1
=1)
1(--D D D N 个
3.2 设有一离散无记忆信源??
?
???????=996.0,004.0,21a a U 。若对其输出的长为100的事件
序列中含有两个或者少于两个1a 的序列提供不同的码字。 (a) 在等长编码下，求二元码的最短码长。 (b) 求错误概率（误组率）。 解: (a)不含1a 的序列 1个
长为100的序列中含有1个1a 的序列 1
100C =100个 长为100的序列中含有2个1a 的序列 2100C =4950个
∴所需提供码的总数M=1+100+4950=5051 于是采用二元等长编码D
M
N log log ≥
=12.3，故取N =13 (b)当长度为100的序列中含有两个或更多的1a 时出现错误， 因此错误概率为
e P =-11000100
)996.0(C -991100)996.0)(004.0(C 9822
100)996.0()004.0(C -
=310775.7-?
3.3 设有一离散无记忆信源，U=???
?
? ??43,41,21a a ，其熵为)(U H 。考察其长为L 的输出
序列，当0L L ≥时满足下式
εδ≤??
????≥-)()(U H L u I P L r (a)在δ=0.05，ε=0.1下求0L (b)在δ=310-，ε=810-下求0L (c)令T 是序列L u 的集合，其中
δ<-)()
(U H L
u I L 试求L=0L 时情况(a)(b)下，T 中元素个数的上下限。
解：)(U H =k k p p log ∑-=3
4
log 434log 41+=0.81 bit
)]([k a I E =)(U H
2I σ=})]()({[2U H a I E k -=])([2k a I E -)(2U H =∑-k
k k U H p p )()(log 22
=0.471
则根据契比雪夫大数定理
εσ
σσ=≤??????>-22
)()(L U H L u I P I L r (a) L =22εσσI =2)05.0(1.0471
.0?=1884
(b) =L 22εσσI =2
38)
10(10471.0--?=4.7113
10?
(c) 由条件可知L u
为典型序列，若设元素个数为T M ，则根据定理
))(())((22)1(εεσ'+'-≤≤'-U H L T U H L M
其中εσ='，σε='，可知
(i) 1.0=='εσ，05.0=='σε，1884=L 下边界：84..1431))((29.02)1(?='-'-εσU H L 上边界：))((2ε'+U H L =24..16202 故24..162084..1431229.0≤≤?T M
(ii) 610-=='εσ，310-=='σε，111071.4?=L 11
1081.3))((29999.02)1(?'-?='-εσU H L )
)((2
ε'+U H L =11
1082.32
?
故11
11
1082.31081.3229999.0??≤≤?T M
3.4 对于有4字母的离散无记忆信源有两个码A 和码B ，参看题表。
(a) 各码是否满足异字头条件？是否为唯一可译码？ (b) 当收到1时得到多少关于字母a 1的信息？ (c) 当收到1时得到多少关于信源的平均信息？
解：①码A 是异头字码，而B 为逗点码，都是唯一可译码。
?
?
?
????
???
????
=05.006.007
.008
.090
.010
.012
.013
.014
.016.010*********
a a a a a a a a a a U ②码A 32.14
.01
log )()1|(log )1;(2112
1===a p a p a I bit 码B 01
4.04
.0log )1()()1,(log )1()()1()1|(log )1;(112112
1=?===p a p a p p a p p a p a I bit
③码A U=｛4321,,,a a a a ｝
∑==4
1)1;()1|()1;(k k k a I a p u I =0)1;()1|(11+a I a p =1.32 bit
码B ∑==41
)1;()1|()1;(k k k a I a p u I =0 bit
（收到1后，只知道它是码字开头，不能得到关于U 的信息。）
3.5 令离散无记忆信源
(a) 求最佳二元码,计算平均码长和编码效率。 (b) 求最佳三元码,计算平均码长和编码效率。 解：(a)
01
01
01
01
01
01
0.05
0.060.070.080.090.100.12
0.130.140.110.230.15
0.160.19
0.270.31
0.580.421
0101
01
000010
0111001101110010001110101011
1a 2a 3a 4a 5a 6a 7a 8a 9a 10
a
∑-=k k p p U H log )(=3.234 bit 平均码长 ∑=k
k k n p n =3.26=D n R log =
效率 %2.99log )
()(===
D
n U H R U H η (b)
0.160.140.130.120.100.090.080.070.060.05
01
012012
012
02
10.11
0.24
0.330.431
1a 2
a 3a 4
a 5a 6a 7a 8a 9a 10
a 0001021012202122110111
平均码长 ∑=k
k k n p n =2.11
D n R log ==3.344
效率 %6.96)
(==R
U H η
3.6 令离散无记忆信源 ?
??
???=2.0.....3.0...5.0.....3.........2.........1a a a U
(a) 求对U 的最佳二元码、平均码长和编码效率。 (b) 求对U 2
的最佳二元码、平均码长和编码效率。 (c) 求对U 3的最佳二元码、平均码长和编码效率。 解：(a)
0.50.3
0.2
1
0.5
01
01
1a 2a 3a 10001
n =0.5×1+0.3×2+2×0.2=1.5
∑=-=485.1log )(k k p p U H bit
%99)
(==
R
U H η (b) ∵离散无记忆 ∴H(U 1U 2)=2H(U)=2.97 bit
p(a 1a 1)=0.25, p(a 1a 2)=0.15, p(a 1a 3)=0.1, p(a 2a 1)=0.15, p(a 2a 2)=0.09 p(a 2a 3)=0.06, p(a 3a 1)=0.1, p(a 3a 2)=0.06, p(a 3a 3)=0.04
0.25
0.150.150.10.10.090.060.060.04
1
1a a 2
1a a 1
2a a 31a a 13a a 2
2a a 32a a 23a a 3
3a a 10
0010101101110000000101100111
0.1
0.15
0.20.25
0.30.450.550101
1
0101
01
0101
1
32==∑k k n p n
5.12
2
==
n n D n U U H log )(221=
η=3
97
.2=0.99
(c) 有关3U 最佳二元类似 略 3.7 令离散无记忆信源
????
??=)()()(21..........2.........1i k a p a p a p a a a U
且0≤P(a 1)≤P(a 2)≤…. ≤P(a k )<1。定义Q i =∑-=1
1
)(i k k a p , i >1，而Q 1=0，
今按下述方法进行二元编码。消息a k 的码字为实数Q k 的二元数字表示序列的截短（例如1/2的二元数字表示序列为1/2→10000…，1/4→0100…）,保留的截短序列长度n k 是大于或等于I(a k )的最小整数。
(a) 对信源??
??
??????=161,161,161,161
,81,81,41,41.....8......7.......6.......5......4......3.......2...1a a a a a a a a U 构造码。 (b) 证明上述编码法得到的码满足异字头条件，且平均码长n 满足
H(U)≤n ≤H(U)+1。
解：(a)
(b) 反证法证明异字头条件
令k 这与假设k a 是k a '的字头（即k k k p Q Q +='）相矛盾，故满足异字头条件。 由已知可得 11 log 1log +<≤k k k p n p 对不等号两边取概率平均可得 ∑∑∑+<≤k k k k k k k k k p p n p p p 11log 1log 即 1)()(+<≤U H n U H 3.8 扩展源DMC ，??? ? ??=4.0,6.02.....1a a U (a)求对U 的最佳二元码、平均码长和编码效率。 (b)求对U 2 的最佳二元码、平均码长和编码效率。 (c)求对U 3的最佳二元码、平均码长和编码效率。 (d)求对U 4的最佳二元码、平均码长和编码效率。 解：(a) 01=C ，2C =1，n =1 97.0)(=U H bit %97) (== R U H η (b) DMC 信道 11a a 21a a 12a a 2 2a a 00011011 1 1 0.60.401 01 0.360.240.240.16 22=n ，1=n ，%97) (== n U H η (c) 1 11a a a 211a a a 121a a a 112a a a 2 21a a a 212a a a 122a a a 2 22a a a 01 11100000110010111001101 0.216 0.1440.1440.1440.0960.0960.0960.064 0.16 0.1920.204 0.288 0.504 0.496 1 01 01 1 01 01 0101 3n =2.944 n =0.981 η=98.85% (d) 略 3.9 设离散无记忆信源 ? ?????=1.0,..1.0,..15.0,..15.0,..2.0,..3.0,...,....,......,....,..... 654321a a a a a a U 试求其二元和三元 Huffman 编码。 解： 1011000010001101 1 a 2a 3a 4 a 5 a 6a 0.3 0.20.150.15 0.1 0.1 1 01 00.20.30.40.6 1 1 10001022021 1 a 2 a 3 a 4 a 5 a 6 a 0.30.20.150.150.10.1 1 012 00.2 2 101 3.11 设信源有K 个等概的字母,其中K=j 2?α,1≤α≤2。今用Huffman 编码法进 行二元编码。 （a ）是否存在有长度不为j 或j+1的码字，为什么？ （b ）利用α和j 表示长为j+1的码字数目。 （c ）码的平均长度是多少？ 1、有一个二元对称信道，其信道矩阵如下图所示。设该信道以1500个二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设在这消息中P(0)=P(1)=1/2。问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完？ 解答：消息是一个二元序列，且为等概率分布，即P(0)=P(1)=1/2，故信源的熵为H(X)=1(bit/symbol)。则该消息序列含有的信息量＝14000(bit/symbol)。 下面计算该二元对称信道能传输的最大的信息传输速率： 信道传递矩阵为： 信道容量（最大信息传输率）为： C=1-H(P)=1-H(0.98)≈0.8586bit/symbol 得最大信息传输速率为： Rt ≈1500符号/秒× 0.8586比特/符号 ≈1287.9比特/秒 ≈1.288×103比特/秒 此信道10秒钟内能无失真传输得最大信息量＝10× Rt ≈ 1.288×104比特 可见，此信道10秒内能无失真传输得最大信息量小于这消息序列所含有的信息量，故从信息传输的角度来考虑，不可能在10秒钟内将这消息无失真的传送完。 2、若已知信道输入分布为等概率分布，且有如下两个信道，其转移概率矩阵分别为： 试求这两个信道的信道容量，并问这两个信道是否有噪声？ 3 、已知随即变量X 和Y 的联合分布如下所示： 01 100.980.020.020.98P ?? =?? ??11112222 1111222212111122221111222200000000000000000000000000000000P P ????????????==????????????11 222 2111 2222 2 log 4(00)1/()log 42/log 8(000000)2/(),H bit symbol H X bit symbol C C H bit symbol H X C =-===>=-==1解答：(1)由信道1的信道矩阵可知为对称信道故C 有熵损失，有噪声。(2)为对称信道，输入为等概率分布时达到信道容量无噪声 一、（11’）填空题 （1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 （2）必然事件的自信息是 0 。 （3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。 （4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。 （5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。 （6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。 （8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关 三、（5'）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。 假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （2分） 故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （2分） I(A|B)=-log0.375=1.42bit （1分） 四、（5'）证明：平均互信息量同信息熵之间满足 I(X;Y)=H(X)+H(Y)-H(XY) 证明： 各章参考答案 2．1． （1）4.17比特 ；（2）5.17比特 ； （3）1.17比特 ；（4）3.17比特 2．2． 1.42比特 2．3． （1）225.6比特 ；（2）13.2比特 2．4． （1）24.07比特； （2）31.02比特 2．5． （1）根据熵的可加性，一个复合事件的平均不确定性可以通过多次实验逐步解除。如果我们使每次实验所获得的信息量最大。那么所需要的总实验次数就最少。用无砝码天平的一次称重实验结果所得到的信息量为log3,k 次称重所得的信息量为klog3。从12个硬币中鉴别其中的一个重量不同（不知是否轻或重）所需信息量为log24。因为3log3=log27>log24。所以在理论上用3次称重能够鉴别硬币并判断其轻或重。每次实验应使结果具有最大的熵。其中的一个方法如下：第一次称重：将天平左右两盘各放4枚硬币，观察其结果：①平衡 ②左倾 ③右倾。ⅰ）若结果为①，则假币在未放入的4枚币，第二次称重：将未放入的4枚中的3枚和已称过的3枚分别放到左右两盘，根据结果可判断出盘中没有假币；若有，还能判断出轻和重，第三次称重：将判断出含有假币的三枚硬币中的两枚放到左右两盘中，便可判断出假币。ⅱ）若结果为②或③即将左盘中的3枚取下，将右盘中的3枚放到左盘中，未称的3枚放到右盘中，观察称重砝码，若平衡，说明取下的3枚中含假币，只能判出轻重，若倾斜方向不变，说明在左、右盘中未动的两枚中其中有一枚为假币，若倾斜方向变反，说明从右盘取过的3枚中有假币，便可判出轻重。 （2）第三次称重 类似ⅰ）的情况，但当两个硬币知其中一个为假，不知为哪个时, 第三步用一个真币与其中一个称重比较即可。 对13个外形相同的硬币情况.第一次按4,4,5分别称重,如果假币在五个硬币的组里,则鉴 别所需信息量为log10>log9=2log3,所以剩下的2次称重不能获得所需的信息. 2．6． （1）215 log ＝15比特； （2） 1比特；（3）15个问题 2． 7. 证明： （略） 2．8． 证明： （略） 2．9． 31)(11= b a p ，121 )(21=b a p ， 121 )(31= b a p ， 61)()(1312= =b a b a p p ， 241)()()()(33233222= ===b a b a b a b a p p p p 。 2．10． 证明： （略） 2．11. 证明： （略） 1． 有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。 解：该信源的香农线图为： 1/3 ○ ○ 2/3 (x 1) 1 (x 2) 在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p =)()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得4 3 1)(=x p 4 12)(=x p 马尔可夫信源熵H = ∑∑- I J i j i j i x x p x x p x p )(log )()( 得 H=0.689bit/符号 2．设有一个无记忆信源发出符号A 和B ，已知4 341)(.)(= =B p A p 。求： ①计算该信源熵； ②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； ③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。 解：①∑- =X i i x p x p X H )(log )()( =0.812 bit/符号 ②发出二重符号序列消息的信源,发出四种消息的概率分别为 用费诺编码方法 代码组 b i BB 0 1 BA 10 2 AB 110 3 AA 111 3 无记忆信源 624.1)(2)(2 ==X H X H bit/双符号 平均代码组长度 2B =1.687 bit/双符号 B X H R )(22==0.963 bit/码元时间 ③三重符号序列消息有8个,它们的概率分别为 用霍夫曼编码方法 代码组 b i BBB 64 27 0 0 1 BBA 64 9 0 )(6419 1 110 3 一填空题 1、平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y 获得的关于每个X 的平均信息量，也表示发X 前后Y 的平均不确定性减少的量，还表示通信前 后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大,最大熵值为。 3、香农公式为 为保证足够大的信道容量，可采用（1）用频带换信噪比； （2）用信噪比换频带。 4、只要，当N 足够长时，一定存在一种无失真编码。 5、当R ＜C 时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 6、1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 7.人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。 8.信息的 可度量性 是建立信息论的基础。 9.统计度量 是信息度量最常用的方法。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。 12、自信息量的单位一般有 比特、奈特和哈特 。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是 ∞ 。 15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。 17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。 18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。 19、对于n 元m 阶马尔可夫信源，其状态空间共有 n m 个不同的状态。 20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log2（b-a ） 。 一、概念简答题（每题5分，共40分） 1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？ 答：平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 2.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？ 答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 最大熵值为。 3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？ 答：信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。 平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。 4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。 答：通信系统模型如下： 数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有， 。说明经数据处理后，一般只会增加信息的损失。 5.写出香农公式，并说明其物理意义。当信道带宽为5000Hz，信噪比为30dB时求信道容量。 .答：香农公式为，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。 由得，则 6.解释无失真变长信源编码定理。 .答：只要，当N足够长时，一定存在一种无失真编码。 7.解释有噪信道编码定理。 答：当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8.什么是保真度准则？对二元信源，其失真矩阵，求a>0时率失真函数的和？ 答：1）保真度准则为：平均失真度不大于允许的失真度。 2）因为失真矩阵中每行都有一个0，所以有，而。 二、综合题（每题10分，共60分） 1.黑白气象传真图的消息只有黑色和白色两种，求： 《信息论基础》试卷第1页 《信息论基础》试卷答案 一、填空题（共25分，每空1分） 1、连续信源的绝对熵为 无穷大。（或()()lg lim lg p x p x dx +∞-∞ ?→∞ --?? ） 2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 3、无记忆信源是指 信源先后发生的符号彼此统计独立 。 4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用 短 码，对概率小的符号用 长 码，这样平均码长就可以降低，从而提高 有效性(传输速率或编码效率) 。 5、为了提高系统的有效性可以采用 信源编码 ，为了提高系统的可靠性可以采用 信道编码 。 6、八进制信源的最小熵为 0 ，最大熵为 3bit/符号 。 7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为 高斯分布(或()0,1x N 2 2 x - )时，信源具有最大熵，其值为 0.6155hart(或 1.625bit 或 1lg 22 e π)。 8、即时码是指 任一码字都不是其它码字的前缀 。 9、无失真信源编码定理指出平均码长的理论极限值为 信源熵(或H r (S)或()lg H s r )，此 时编码效率为 1 ，编码后的信息传输率为 lg r bit/码元 。 10、一个事件发生的概率为0.125，则自信息量为 3bit/符号 。 11、信源的剩余度主要来自两个方面，一是 信源符号间的相关性 ，二是 信源符号概率分布的不均匀性 。 12、m 阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q m 个不同的状态。 13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特，当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。 14.在下面空格中选择填入的数学符号“=，≥，≤，>”或“<” H(XY) = H(Y)+H(X ∣Y) ≤ H(Y)+H(X) 信息论与编码理论习题解 第二章-信息量和熵 解: 平均每个符号长为:154 4.0312.032= ?+?秒 每个符号的熵为9183.03log 3 1 23log 32=?+?比特/符号 所以信息速率为444.34 15 9183.0=?比特/秒 解: 同步信号均相同不含信息,其余认为等概, 每个码字的信息量为 3*2=6 比特； 所以信息速率为600010006=?比特/秒 解:(a)一对骰子总点数为7的概率是 36 6 所以得到的信息量为 585.2)366(log 2= 比特 (b) 一对骰子总点数为12的概率是36 1 所以得到的信息量为 17.536 1 log 2= 比特 解: (a)任一特定排列的概率为 ! 521 ,所以给出的信息量为 58.225! 521 log 2 =- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为 1352 13 13 521344!13C A =? 所以得到的信息量为 21.134 log 1313 52 2=C 比特. 解:易证每次出现i 点的概率为 21 i ,所以 比特比特比特比特比特比特比特398.221 log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21 log )(26 12=-==============-==∑ =i i X H x I x I x I x I x I x I i i i x I i 解: 可能有的排列总数为 27720! 5!4!3! 12= 没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y X Y X Y X Y X Y X Y 图中X 表示白杨或白桦，它有???? ??37种排法，Y 表示梧桐树可以栽 种的位置，它有???? ??58种排法，所以共有???? ??58*???? ??37=1960种排法保证没有 两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为1960log 27720log 22-= 比特 解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地； Z=0表示学过英语，Z=1表示未学过英语，由此得 信息论与编码期中试题答案 一、（10’）填空题 （1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 （2）必然事件的自信息是0 。 （3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。 （4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。 （5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。 二、（10?）判断题 （1）信息就是一种消息。（? ） （2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。（? ） （3）概率大的事件自信息量大。（? ） （4）互信息量可正、可负亦可为零。（? ） （5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。 （? ） （6）对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。（? ） （7）非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。（? ） （8）信源变长编码的核心问题是寻找紧致码（或最佳码）。 （? ） （9）信息率失真函数R(D)是关于平均失真度D的上凸函数. ( ? ) 三、（10?）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。 假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （5分） 故p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （4分） I(A|B)=-log0.375=1.42bit （1分） 《信息论基础》答案 一、填空题（本大题共10小空，每小空1分，共20分） 1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。 2.一个八进制信源的最大熵为3bit/符号 3.有一信源X ，其概率分布为1 23x x x X 1 11P 244?? ?? ? =?? ????? ，其信源剩余度为94.64%；若对该信源进行十次扩展，则每十个符号的平均信息量是 15bit 。 4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b ，最小瞬时电压为a 。若消息从放大器中输出，则该信源的绝对熵是∞；其能在每个自由度熵的最大熵是log （b-a ）bit/自由度；若放大器的最高频率为F ，则单位时间内输出的最大信息量是 2Flog （b-a ）bit/s. 5. 若某一 信源X ，其平均功率受限为16w ，其概率密度函数是高斯分布时，差熵的最大值为 1 log32e 2 π；与其熵相等的非高斯分布信源的功率为16w ≥ 6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。 8、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。 9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,,=≥≤?”或“?” （1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)。 （2）假设信道输入用X 表示，信道输出用Y 表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y) 一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =， ()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =??++=?得1231132231231 112331223 231W W W W W W W W W W W W ?++=???+=???=???++=? 计算可得1231025925625W W W ?=??? =?? ?=?? 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =，(0|11)p =，(1|00)p =， (1|11)p =，(0|01)p =，(0|10)p =，(1|01)p =，(1|10)p =。画出状态图，并计算各状态 的稳态概率。 解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p == 第二章 信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的 信息速率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信 息量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？ 解：(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选 种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C =13.208 bit 2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的 点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、 ),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。 解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立， 则1x X =，21x x Y +=，321x x x Z ++= )|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2?( 361log 36+362log 18+363log 12+364log 9+365log 536)+36 6 log 6 =3.2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ] 而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit 或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit ),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit 2.10 设一个系统传送10个数字，0，1，…，9。奇数在传送过程中以0.5的概 率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。 解： 8,6,4,2,0=i √ );(Y X I =)(Y H -)|(X Y H 因为输入等概，由信道条件可知， 一填空题（本题20分，每小题2分） 1、平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 3、最大熵值为。 4、通信系统模型如下： 5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。 6、只要，当N足够长时，一定存在一种无失真编码。 7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。 9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。 按照信息的地位，可以把信息分成客观信息和主观信息。 人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。 信息的可度量性是建立信息论的基础。 统计度量是信息度量最常用的方法。 熵是香农信息论最基本最重要的概念。 事物的不确定度是用时间统计发生概率的对数来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。 12、自信息量的单位一般有比特、奈特和哈特。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是∞。 15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。 17、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。 18、离散平稳有记忆信源的极限熵，。 19、对于n元m阶马尔可夫信源，其状态空间共有 nm 个不同的状态。 20、一维连续随即变量X在[a，b]区间内均匀分布时，其信源熵为 log2（b-a）。 重庆邮电大学2007/2008学年2学期 《信息论基础》试卷（期末）（A卷）（半开卷） 一、填空题（本大题共10小空，每小空1分，共20分） 1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。 2.一个八进制信源的最大熵为3bit/符号 3.有一信源X，其概率分布为 123 x x x X 111 P 244 ?? ?? ? = ?? ? ?? ?? ，其信源剩余度为94.64%；若对该信源进行十次扩展，则 每十个符号的平均信息量是 15bit。 4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b，最小瞬时电压为a。若消息从放大器中输出，则该信源的绝对熵是∞；其能在每个自由度熵的最大熵是log（b-a）bit/自由度；若放大器的最高频率为F，则单位时间内输出的最大信息量是 2Flog（b-a）bit/s. 5. 若某一信源X，其平均功率受限为16w，其概率密度函数是高斯分布时，差熵的最大值为1 log32e 2 π；与其 熵相等的非高斯分布信源的功率为16w ≥ 6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r(S)）。 8、当R=C或（信道剩余度为0）时，信源与信道达到匹配。 9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,, =≥≤?”或“?” （1）当X和Y相互独立时，H（XY）=H(X)+H(X/Y)。 （2）假设信道输入用X表示，信道输出用Y表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y) 《信息论与编码（第二版）》曹雪虹答案 第二章 2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =， ()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =??++=?得1231132231231 112331223231W W W W W W W W W W W W ?++=???+=???=???++=? 计算可得1231025925625W W W ?=??? =? ? ?=?? 2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2， (1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。画出 状态图，并计算各状态的稳态概率。 解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p == 3-1 设有一离散无记忆信源，其概率空间为12()0.60.4X x x P x ???? =? ??? ???? ，信源发出符号通过一干扰信道，接收符号为12{,}Y y y =，信道传递矩阵为516 61344P ???? =? ?????? ? ，求： （1）信源X 中事件1x 和2x 分别含有的自信息量； （2）收到消息j y （j ＝1，2）后，获得的关于i x （i ＝1，2）的信息量； （3）信源X 和信宿Y 的信息熵； （4）信道疑义度(/)H X Y 和噪声熵(/)H Y X ； （5）接收到消息Y 后获得的平均互信息量(;)I X Y 。 解：（1）12()0.737,() 1.322I x bit I x bit == （2）11(;)0.474I x y bit =，12(;) 1.263I x y bit =-，21(;) 1.263I x y bit =-， 22(;)0.907I x y bit = （3）()(0.6,0.4)0.971/H X H bit symbol == ()(0.6,0.4)0.971/H Y H bit symbol == （4）()(0.5,0.1,0.1,0.3) 1.685/H XY H bit symbol == (/) 1.6850.9710.714/H X Y bit symbol =-= (/)0.714/H Y X bit symbol = （5）(;)0.9710.7140.257/I X Y bit symbol =-= 3-2 设有扰离散信道的输入端是以等概率出现的A 、B 、C 、D 四个字母。该信道的正 确传输概率为0.5，错误传输概率平均分布在其他三个字母上。验证在该信道上每个字母传输的平均信息量为0.21比特。 证明：信道传输矩阵为： 信息论与编码理论习题答案全解 第二章 信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的 信息速率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少 信息量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？ 解：(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选 种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C =13.208 bit 2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的 点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、 ),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。 解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立， 则1x X =，21x x Y +=，321x x x Z ++= )|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2?( 361log 36+362log 18+363log 12+364log 9+365log 536)+36 6 log 6 =3.2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ] 而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit 或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit ),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit 2.10 设一个系统传送10个数字，0，1，…，9。奇数在传送过程中以0.5的概 率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。 解： 信道 X Y 9,7,5,3,1=i 8,6,4,2,0=i √Χ );(Y X I =)(Y H -)|(X Y H 因为输入等概，由信道条件可知， 一、填空题（每空1分，共35分） 1、1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。信息论的基础理论是 ，它属于狭义信息论。 2、信号是 的载体，消息是 的载体。 3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。 4、某离散无记忆信源X ，其概率空间和重量空间分别为1 234 0.50.250.1250.125X x x x x P ????=??? ?????和1234 0.5122X x x x x w ???? =??????? ? ，则其信源熵和加权熵分别为 和 。 5、信源的剩余度主要来自两个方面，一是 ，二是 。 6、平均互信息量与信息熵、联合熵的关系是 。 7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 信道。 8、马尔可夫信源需要满足两个条件：一、 ； 二、 。 9、若某信道矩阵为????? ????? ??01000 1 000001 100，则该信道的信道容量C=__________。 10、根据是否允许失真，信源编码可分为 和 。 11、信源编码的概率匹配原则是：概率大的信源符号用 ，概率小的信源符号用 。（填 短码或长码） 12、在现代通信系统中，信源编码主要用于解决信息传输中的 性，信道编码主要用于解决信息传输中的 性，保密密编码主要用于解决信息传输中的安全性。 13、差错控制的基本方式大致可以分为 、 和混合纠错。 14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出 个随机错，最多能纠正 个随机错。 15、码字101111101、011111101、100111001之间的最小汉明距离为 。 16、对于密码系统安全性的评价，通常分为 和 两种标准。 17、单密钥体制是指 。 18、现代数据加密体制主要分为 和 两种体制。 19、评价密码体制安全性有不同的途径，包括无条件安全性、 和 。 20、时间戳根据产生方式的不同分为两类：即 和 。 二、选择题（每小题1分，共10分） 1、下列不属于消息的是（ ）。 A. 文字 B. 信号 C. 图像 D. 语言 2、设有一个无记忆信源发出符号A 和B ，已知4341)(,)(==B p A p ，发出二重符号序列消息的信源， 无记忆信源熵)(2X H 为（ ）。 A. 0.81bit/二重符号 B. 1.62bit/二重符号 C. 0.93 bit/二重符号 D . 1.86 bit/二重符号 3、 同时扔两个正常的骰子，即各面呈现的概率都是1/6，若点数之和为12，则得到的自信息为（ ）。 A. －log36bit B. log36bit C. －log (11/36)bit D. log (11/36)bit 4、 二进制通信系统使用符号0和1，由于存在失真，传输时会产生误码，用符号表示下列事件，x0: 发出一个0 、 x1: 发出一个1、 y0 : 收到一个0、 y1: 收到一个1 ，则已知收到的符号，被告知发出的符号能得到的信息量是（ ）。 A. H(X/Y) B. H(Y/X) C. H( X, Y) D. H(XY) 5、一个随即变量x 的概率密度函数P(x)= x /2，V 20≤≤x ，则信源的相对熵为（ ）。 A . 0.5bit B. 0.72bit C. 1bit D. 1.44bit 6、 下面哪一项不属于熵的性质： （ ） A ．非负性 B ．完备性 C ．对称性 D ．确定性 信息论与编码 信息论与编码 信息论基础理论与应用考试题 一﹑填空题（每题2分，共20分） 1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的 （可靠性）﹑（有效性）﹑保密性和认证性，使信息传输系统达到最优化。 （考点：信息论的研究目的） 2.电视屏上约有500×600=3×510个格点，按每点有10个不同的灰度等级考虑，则可组成5 31010?个不同的画面。按等概计算，平均每个画面可提供的信息量约为（610bit /画面）。 （考点：信息量的概念及计算） 3.按噪声对信号的作用功能来分类信道可分为 （加性信道）和 （乘性信道）。 （考点：信道按噪声统计特性的分类） 4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。若r=2，N=1，即对信源S 的逐个符号进行二元编码，则每个英文电报符号至少要用 （5）位二元符号编码才行。 （考点：等长码编码位数的计算） 5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。 （考点：错误概率和译码准则的概念） 6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积码）。 （考点：纠错码的分类） 7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4， 2））线性分组码。 （考点：线性分组码的基本概念） 8.定义自信息的数学期望为信源的平均自信息量，即（11()log ()log ()()q i i i i H X E P a P a P a =??==-????∑）。 I (X ;Y=1)= P(x/Y 1)I(x;Y 1) x P(x/Y 1)log P(x/Y 1) P(x) = P(X 0/Y 1)log P(X 0/Y 1) P(X 0) P(X 1/Y 1)log P(X 1/Y 1) P(X 1) 部分答案，仅供参考。 信息速率是指平均每秒传输的信息量点和划出现的信息量分别为log3Jog3， 2’ 一秒钟点和划出现的次数平均为 1 15 2 1 ~4 0.20.4 - 3 3 一秒钟点和划分别出现的次数平均为巴5 4 4 那么根据两者出现的次数，可以计算一秒钟其信息量平均为10 log 3 5 竺 5 4 2 4 4 2 解： ⑻骰子A和B，掷出7点有以下6种可能： A=1,B=6; A=2,B=5; A=3,B=4; A=4,B=3; A=5,B=2; A=6,B=1 概率为6/36=1/6，所以信息量 -log(1/6)=1+log3 ~ bit (b)骰子A和B,掷出12点只有1种可能： A=6,B=6 概率为1/36，所以信息量 -log(1/36)=2+log9 ~ bit 解： 出现各点数的概率和信息量： 1 点：1/21 , log21 ?bit ; 2 点：2/21 , log21-1 ?bit ; 3 点：1/7 , log7 4 点：4/21 , log21-2 5 点：5/21 , log (21/5 )~; 6 点：2/ 7 , log(7/2)? 平均信息量： (1/21) X +(2/21) X +(1/7) X +(4/21) X +(5/21) X +(2/7) 解： X=1:考生被录取；X=0考生未被录取； Y=1：考生来自本市；Y=0考生来自外地； Z=1:考生学过英语；z=o：考生未学过英语 P(X=1)=1/4, P( X=q=3/4; P( Y=1/ X=1)=1/2 ；P( Y=1/ X=0)=1/10 ；P(Z=1/ Y=1 )=1, P( Z=1/ X=0, Y=0 )=, P( Z=1/ X=1, Y=0 )=, P(Z=1/Y=0)= (a)P(X=0,Y=1)=P(Y=1/X=0)P(X=0)=, P(X=1,Y=1)= P(Y=1/X=1)P(X=1)= P(Y=1)= P(X=0,Y=1)+ P(X=1,Y=1)= P(X=0/Y=1)=P(X=0,Y=1)/P(Y=1)=, P(X=1/Y=1)=P(X=1,Y=1)/P(Y=1)=答案~信息论与编码练习
信息论与编码试卷与答案
信息论基础各章参考答案
信息论与编码课后习题答案
信息论与编码试题集与答案(2014)
信息论与编码试卷及答案(多篇)
信息论基础及答案
信息论与编码理论课后习题答案高等教育出版社
信息论与编码期中试卷及答案
信息论基础》试卷(期末A卷
信息论与编码课后答案
信息论与编码理论习题答案
信息论与编码试题集与答案
信息论基础》试卷(期末A卷
信息论与编码(第二版)曹雪虹(最全版本)答案
信息论基础与编码课后题答案第三章
信息论与编码理论习题答案全解
信息理论与编码期末试卷A及答案
信息论基础理论与应用考试题及答案
信息论与编码理论第二章习题答案