第二章 信源与信息度量 习题解答
第二章 信源与信息度量 习题解答
1. 某大学设置五个学院，每个学院的学生数分别为
学院： 数学 物理 外语 外贸 医学 人数： 300 400 500 600 200
问“某学生王某是外语学院学生”这一消息提供的信息量是多少？
解：
总人数为：300+400+500+600+200=2000人 是外语学院学生的概率为：
500
0.252000
= 同理计算其它学院学生概率后，得信源的概率空间为：1
2345()0.150.20.250.30.1X x x x x x p X ????=????????
“学生王某是外语学院学生”这一消息提供的信息量：
33()lb ()lb0.252I x p x =-=-=比特
2. 同时扔出两个正常的骰子，也就是各面呈现的概率都是1/6，求：
（1） 事件“2和5同时呈现”的自信息量； （2） 事件“两个4同时呈现”的自信息量； （3） 事件“至少呈现一个1”的自信息量。 解：（1）事件“2和5同时呈现”的概率：1
()18
p A =
，该事件的自信息量： 1
()lb ()lb
4.170 bit 18
I A p A =-=-= （2）事件“两个4同时呈现”的概率：1
()36
p B =，该事件的自信息量：
1
()lb ()lb 5.170 bit 36
I B p B =-=-=
（3）事件“至少呈现一个1”的概率：11
()36
p C =，该事件的自信息量：
11
()lb ()lb 1.711 bit 36
I C p C =-=-=
3. 字母“e ” 在英文中出现的概率是0.103，字母“c ”出现的概率为0.022，字母“x ”出现的概率是0.001，求这些字母各自的自信息量。
解：（1）字母“e ”的自信息量：
()lb ()lb0.103 3.279 bit I e p e =-=-=
（2）字母“c ”的自信息量：
()lb ()lb0.022 5.506 bit I c p c =-=-=
（3）字母“x ”的自信息量：
()lb ()lb0.0019.966 bit I x p x =-=-=
4. 某电子厂共能生产A 、B 、C 、D 四种仪器，其中A 因技术落后停产了，B 占全部产量的20%，C 占30%，D 占50%。有两个消息“现在完成1台仪器B ”，和“现在完成1台仪器C ”，试确定哪一种消息提供的信息量大些？其中有什么规律？ 解：
因为()0.2,()0.3p B p C ==，()()p B p C <
以及 消息提供的信息量与其出现概率倒数的对数成正比，所以B C I I >，即“现在完成一台仪器B ”提供的信息量大于“现在完成一台仪器C ”提供的信息量。 规律：
(1) 出现概率为零的消息可略去。
(2) 概率小的消息出现时提供的信息量大于概率大的消息出现时提供的信息量。
5. 某地，35%的女孩上大学，65%的女大学生身高超过1.6米，而一个女孩身高超过1.6米的概率是50%，现有一条消息：说某一个身高超过1.6米的女孩是大学生，求这条消息的信息量。
解：根据题意，35%的女孩上大学，一个女孩身高超过1.6米的概率是50%，得两个信源概率空
间：==()0.350.65X x x p X ????=????????1大学生
2非大学生，== 1.6m ()0.50.5Y y y p Y
??=??????
??1身高>1.6m
2身高，根据65%的女大学生
身高超过1.6米，知：11(/)0.65p y x =，消息：某一个身高超过1.6米的女孩是大学生的概率为：
111111(/)()0.650.35
(/)0.455
()0.5p y x p x p x y p y ?=
==
该消息的信息量：
1111(/)lb (/)lb0.455 1.136bit
I x y p x y =-=-=
6. 试求：
（1） 在一付标准的扑克牌中抽出一张（每张牌均认为是不同的）的平均信息量。 （2） 若扑克牌仅按它的等级鉴定而不问它的花色(大、小王属同一等级)，重复上述计算。 解：
(1)()lb54 5.76H X == 比特/每张牌 (2),1,2,A K ???出现的概率为：
454，王出现的概率为：2
54
，信源的概率空间为： 1234567891044444444444442()54
54545454545454545454545454J Q K x
x x x x x x x x x x x x x X p X ??????=???????
???
王 4422
()13lb 1lb 3.7954545454
H X =-?
-?=比特/每张牌。
7. 某地的天气预报为：晴（占4/8），多云（占2/8），雨（占1/8），雪（占1/8），冰雹（占0/8）；而当地老农对天气的预测只能做到：晴（占7/8），雨（占1/8）。试求两者对天气预报各自提供的平均信息量，并说明从中得到的规律。 解：
天气预报：4211()08888x
x x x x X p X ??
????=???????
???
雨冰雹晴
多云雪 44221111
()lb lb lb lb 1.7588888888
H X =----=比特/每次预报
老农预报：71()88x
x X p X ??????=???????
???
雨晴
7711
()lb lb 0.548888
H X =--=比特/每次预报。
天气预报给出更详细的消息及其概率分布，消息数更多，平均信息量更大。
8. 某离散无记忆平稳信源的概率空间为：12340123()3/81/41/41/8X x x x x p X ====??
??
=?????
?
??，若某消
息符号序列为：202 120 130 213 001 203 210 110 321 010 021 032 011 223 210，求：
（1） 该消息的自信息量；
（2） 该消息平均每个符号携带的信息量。
解：（1）根据信源概率空间，计算得到每个符号的自信息量：
()11(0)lb ()lb 3/8 1.415 bit I x p x ==-=-= ()22(1)lb ()lb 1/4 2 bit I x p x ==-=-= ()33(2)lb ()lb 1/4 2 bit I x p x ==-=-= ()44(3)lb ()lb 1/8 3 bit I x p x ==-=-=
该消息序列各符号相互独立，其自信息量等于各符号自信息量之和：
123414(0)13(1)12(2)6(3)87.810 bit I I x I x I x I x ==+=+=+==
（2）该消息平均每个符号携带的信息量： 87.81/45 1.951 bit/symbol I ==
比较该离散信源的熵：3
3111111
()lb
lb lb lb 1.906 bit/symbol 88444488
H X =----=，可见，该特定的消息符号序列平均每个符号携带的信息量仅仅是近似于离散信源熵，而不等同于信源熵，因为其每个消息出现的概率并不等同于信源概率空间各符号的概率分布。
9. 若每帧电视图像由3×105
个像素组成，且像素是独立变化的。每个像素取128个不同的亮度电平，并设亮度电平等概率出现。
（1） 问每帧图像含有多少信息量？
（2） 若现有一广播员在约10，000个汉字的字汇中选1，000个字来口述此电视图像，问广播
员描述此图像所播出的信息量是多少？（假设，10，000个汉字字汇等概率分布，并彼此无依赖）
（3） 若要恰当地描述出此图像的所有信息量，广播员在口述中至少需要多少汉字？ 解：（1）每帧图像含有的信息量：56()()310lb128 2.110N H X NH X ==??=? 比特 （2）广播员描述此图像所播出的信息量：
'
'4()()1000lb10000 1.32910N H Y N H Y ==?=? 比特
（3）平均每个汉字的信息量：()lb1000013.288H Y == 比特/汉字 广播员描述此图像所需的汉字数：
''65()/()2.110N N H X H Y ==??/13.288=1.58010 个汉字
10. 设有一个信源，发送“0”和“1”两种符号，无论何时发出符号的概率均为p (0) = 0.4，p (1) = 0.6，并与以前发出的符号无关，
（1） 问该信源是否是平稳信源？
（2） 计算2()H X ，312()/H X X X 和lim ()N N H X →∞
；
（3） 计算4()H X ，并写出4
X 信源中所有可能的符号序列。 解：（1）信源发出各符号的概率与时间无关，因此为平稳信源。
（2）离散无记忆信源熵：()0.04lb0.040.06lb0.060.971H X =--= 比特/符号 因为是无记忆信源，前后符号无相关性，因此：
2()2() 1.942H X H X == 比特/两个符号
3123(/)()()0.971H X X X H X H X === 比特/符号
12lim ()lim
()lim ()()0.97111
N N N N N H X H X X X H X H X N N N →∞
→∞→∞==== 比特/符号
（3）4()4() 3.884H X H X == 比特/四个符号
4X 信源中所有可能的符号序列：0000 0001 0010 0011 0100 0101 0110 0111 1000
1001 1010 1011 1100 1101 1110 1111，共16种符号序列。
11. 有一二元数字通信系统，传送“0”和“1”的概率分别为1/4和3/4。
（1） 计算此系统的信源熵和其冗余度。
（2） 为了可靠地传输消息，对每个符号重复传输3次，试求其冗余度为多少；如果采用重复传输4次的方案呢？这样做是否合理？
解：（1）0
113()44X p X ?????
?=???????
???
信源熵 1133()l b l b 0.8114444
H X =-
-=比特/消息
二元信源的最大熵 m a x ()l b 21H X ==比特/消息 冗余度 m a x
()0.811
1118.9%
()1H X E H X =-
=-= （2）重复三次信源熵 13
()0.811
()0.27033
H X H X =
==比特/消息 冗余度 13
m a x ()
0.270
1173.0%()
1
H X E H X =-
=-
= 重复四次信源熵 14
()0.811
()0.20344
H X H X =
==比特/消息 冗余度 14
m a x ()
0.203
1179.7%()
1
H X E H X =-
=-
= 重复四次不合理，因为当错误两个码元即2比2时，就不能采用最大似然法判决译码。
12. 黑白电视消息只有黑色()B 和白色()W 两种，即信源(,)X B W =，设黑色出现的概率为
()0.3p B =，白色出现的概率()0.7p W =。
（1） 假设图上黑白消息出现前后没有相关性，求熵()H X ；
（2） 假设消息前后有相关性，其依赖关系为(/)0.9p W W =，(/)0.1p B W =，(/)0.2p W B =，
(/)0.8p B B =，求此一阶马尔可夫信源的熵2()H X ，画出其状态转移图；
（3） 分别求上述两种信源的剩余度，比较()H X 和2()H X 的大小，并说明其物理意义。 解：
()0.30.7X B W p X ????
=????????
(1) 如无相关性
()0.3lb0.30.7lb0.70.881H X =--=比特/消息
(2) 如有相关性根据已知条件可写出：
(/)0.9(/)0.2
(/)0.1(/)0.8
p W W p W B p B W p B B ====
有2个符号：2n =，一阶：1m =，状态数：1
22m
n ==个 于是可以画出如下的状态转移图：
根据状态转移图列方程组：
1122121
2()0.9()0.2()()0.1()0.8()()()1
p e p e p e p e p e p e p e p e =+??
=+??+=? 解得
12
2()3
1()3p e p e ?
=???
?=??
计算马尔可夫信源熵：
1121
(0.9,0.1)(0.8,0.2)0.55333
H H H +=
+=比特/消息 (3) 二元信源最大熵为1比特/消息
情况(1)的剩余度10.881
111.9%1E =-
= 情况(2)的剩余度210.553
144.7%1
E E =-=> 11()H X H +<，21E E >，可见，当前后符号有相关性时，信源熵减小，冗余度增大。
13. 马尔可夫信源的消息符号集为{0,1,2}，其状态转移图如右图所示。
（1） 求稳定后信源符号的概率分布； （2） 求此马尔可夫信源熵；
（3） 当p = 0或p = 1时，求此马尔可夫信源熵。 解：（1）根据状态转移图：
(0)(1)(0)(1)(1)(1)(1)(2)
(2)(1)(2)(0)(0)(1)(2)1p p p p p p p p p p p p p p p p p p =-?+???=-?+??
?
=-?+??
?++=?
1(0)(1)(2)3p p p ?=== （2）一阶马尔可夫信源熵：111
3(,1)lb (1)lb(1)()3
H H p p p p p p H p +=?-=----=
（3）
11110lb (1)lb(1)01lb (1)lb(1)0
p H p p p p p H p p p p ++==----===----=当，当，
当p =0，或p =1时，表示信源从一个状态转移到另一个状态一定不发生或一定发生，即是确定事件，
信源输出的状态序列确定，信源输出的符号序列也确定，信源不存在不确定性，信源的信息熵为零。
14. 某校入学考试中有1/4考生被录取，3/4考生未被录取。被录取的考生中有50%来自本市，而落榜考生中有10%来自本市。所有本市的考生都学过英语。而外地落榜考生以及被录取的外地考生中都有40%学过英语。
（1） 当已知考生来自本市时，给出多少关于考生是否被录取的信息。 （2） 当已知考生学过英语时，给出多少关于考生是否被录取的信息。
（3） 以x 表示是否落榜，y 表示是否为本市学生，z 表示是否学过英语，试求H (X )，H (Y /X )，H (Z /XY )。
解：（1）以x 表示是否落榜，y 表示是否为本市学生，z 表示是否学过英语，则已知：
1112122122(/)0.5(/)0.113
()()(/)0.5(/)0.944p y x p y x p x p x p y x p y x ==??==??
==??，， ，
1111112121211221(/)1(/)1(/)1(/)0(/)0(/)
0p z y p z x y p z x y p z y p z x y p z x y ===??????===???， ， ，
122112222212(/)0.4(/)0.4
(/)0.6(/)0.6
p z x y p z x y p z x y p z x y ==????
==??， 可计算得： 1111111()(/)()0.548p x y p y x p x ==?
=，2112233
()(/)()0.1440p x y p y x p x ==?= 1221111()(/)()0.548p x y p y x p x ==?=，22222327
()(/)()0.9440p x y p y x p x ==?=
111211()()()5p y p x y p x y =+=，212224
()()()5
p y p x y p x y =+=
1111221121
1113
0.50.1(/)()5(/)()344(/)(/)()1/58()1/58p y x p x p y x p x p x y p x y p y p y ?
?======， 2112221222
2213
0.50.9(/)()5(/)()2744(/)(/)()4/532()4/532
p y x p x p y x p x p x y p x y p y p y ?
?======， 111111121112(/)(/)(/)(/)(/)0.510.50.40.7p z x p y x p z x y p y x p z x y =+=?+?= 211121121212(/)(/)(/)(/)(/)0.500.50.60.3p z x p y x p z x y p y x p z x y =+=?+?= 121212122122(/)(/)(/)(/)(/)0.110.90.40.46p z x p y x p z x y p y x p z x y =+=?+?= 221222122222(/)(/)(/)(/)(/)0.100.90.60.54p z x p y x p z x y p y x p z x y =+=?+?=
1111117()(/)()0.7440p x z p z x p x ==?
=，21122369
()(/)()0.464200
p x z p z x p x ==?=
1221113()(/)()0.3440p x z p z x p x ==?
=，22222381()(/)()0.544200p x z p z x p x ==?=
1112113()()()25p z p x z p x z =+=，2122212
()()()25
p z p x z p x z =+=
1111221121
1113
0.70.46(/)()35(/)()6944(/)(/)()13/25104()13/25104p z x p x p z x p x p x z p x z p z p z ?
?======，
2112221222
2213
0.30.54(/)()15(/)()8144(/)(/)()12/2596()12/2596
p z x p x p z x p x p x z p x z p z p z ?
?======， 已知考生来自本市时，给出关于考生是否被录取的信息为：
2
1111
5533
(/)(/)lb (/)lb lb 0.954bit 8888i i i H X y p x y p x y ==-=--≈∑
（2）已知考生学过英语时，给出关于考生是否被录取的信息为：
2
1111
35356969(/)(/)lb (/)lb lb 0.921bit 104104104104i i i H X z p x z p x z ==-=-
-≈∑ （3）2
111
3
3
()()lb ()lb lb 0.811bit/symbol 4444i
i
i H X p x p x ==-
=--≈∑
2
2
11
11327
(/)()lb (/)lb0.5lb0.5lb0.1lb0.90.602bit/symbol
884040i j j i i j H Y X p x y p y x ===-=----≈∑∑ 2
2
2
111(/)()(/)lb (/)
1111 1lb10lb00.4lb0.40.6lb0.6
8888332727
1lb10lb00.4lb0.40.6lb0.60.777bit/symbol
40404040
i j k i j k i j i j k H Z XY p x y p z x y p z x y ====-=-??-??-??-??-??-??-??-??≈∑∑∑
作业：1，2，3，5，6，7，8，9，11，12
信源及信源熵习题答案
第二章： 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍 解： 四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量H(X 1) = log 2n = log 24 = 2 bit/symbol 八进制脉冲的平均信息量H(X 2) = log 2n = log 28 = 3 bit/symbol 二进制脉冲的平均信息量H(X 0) = log 2n = log 22 = 1 bit/symbol 《 所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量 解： 设随机变量X 代表女孩子学历 X x 1（是大学生） x 2（不是大学生） P(X) ( 设随机变量Y 代表女孩子身高 Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) " 已知：在女大学生中有75%是身高160厘米以上的 即：p(y 1/ x 1) = 求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15.075.025.0log )()/()(log )/(log )/(2111121111=??? ???-=? ? ????-=-= 一副充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少 (2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量 》 解： (1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是： bit x p x I i i 581.225!52log )(log )(2==-= (2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：
第二章信源熵-习题答案(精品文档)
· 1 · 2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解： 四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量H(X 1) = log 2n = log 24 = 2 bit/symbol 八进制脉冲的平均信息量H(X 2) = log 2n = log 28 = 3 bit/symbol 二进制脉冲的平均信息量H(X 0) = log 2n = log 22 = 1 bit/symbol 所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。 2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解： 设随机变量X 代表女孩子学历 X x 1（是大学生） x 2（不是大学生） P(X) 0.25 0.75 设随机变量Y 代表女孩子身高 Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 0.5 0.5 已知：在女大学生中有75%是身高160厘米以上的 即：p(y 1/ x 1) = 0.75 求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15.075.025.0log )()/()(log )/(log )/(2111121111=??? ???-=? ? ????-=-= 2.3 一副充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少？ (2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？ 解： (1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是： bit x p x I i i 581.225!52log )(log )(2==-= (2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下： bit C x p x I C x p i i i 208.134 log )(log )(4)(1352 13 2 213 52 13 =-=-==
第二章 信源与信息度量 习题
第二章 信源与信息度量 习题 1. 某大学设置五个学院，每个学院的学生数分别为 学院： 数学 物理 外语 外贸 医学 人数： 300 400 500 600 200 问“某学生王某是外语学院学生”这一消息提供的信息量是多少？ 2. 同时扔出两个正常的骰子，也就是各面呈现的概率都是1/6，求： （1） 事件“2和5同时呈现”的自信息量； （2） 事件“两个4同时呈现”的自信息量； （3） 事件“至少呈现一个1”的自信息量。 3. 字母“e ” 在英文中出现的概率是0.103，字母“c ”出现的概率为0.022，字母“x ”出现的概率是0.001，求这些字母各自的自信息量。 4. 某电子厂共能生产A 、B 、C 、D 四种仪器，其中A 因技术落后停产了，B 占全部产量的20%，C 占30%，D 占50%。有两个消息“现在完成1台仪器B ”，和“现在完成1台仪器C ”，试确定哪一种消息提供的信息量大些？其中有什么规律？ 5. 某地，35%的女孩上大学，65%的女大学生身高超过1.6米，而一个女孩身高超过1.6米的概率是50%，现有一条消息：说某一个身高超过1.6米的女孩是大学生，求这条消息的信息量。 6. 试求： （1） 在一付标准的扑克牌中抽出一张（每张牌均认为是不同的）的平均信息量。 （2） 若扑克牌仅按它的等级鉴定而不问它的花色(大、小王属同一等级)，重复上述计算。 7. 某地的天气预报为：晴（占4/8），多云（占2/8），雨（占1/8），雪（占1/8），冰雹（占0/8）；而当地老农对天气的预测只能做到：晴（占7/8），雨（占1/8）。试求两者对天气预报各自提供的平均信息量，并说明从中得到的规律。 8. 某离散无记忆平稳信源的概率空间为：12340123()3/81/41/41/8X x x x x p X ====????=????? ???，若某消息符号序列为：202 120 130 213 001 203 210 110 321 010 021 032 011 223 210，求： （1） 该消息的自信息量； （2） 该消息平均每个符号携带的信息量。 9. 若每帧电视图像由3×105 个像素组成，且像素是独立变化的。每个像素取128个不同的亮度电平，并设亮度电平等概率出现。
信息论与编码第二章 信源熵习题的答案[最新]
2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解： 四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0=== 所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。 2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解： 设随机变量X 代表女孩子学历 X x 1（是大学生） x 2（不是大学生） P(X) 0.25 0.75 设随机变量Y 代表女孩子身高 Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 0.5 0.5 已知：在女大学生中有75%是身高160厘米以上的 即：bit x y p 75.0)/(11= 求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15 .075.025.0log )()/()(log )/(log )/(11111111=?-=-=-= 2.3 一副充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少？ (2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？ 解： (1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是： ! 521)(=i x p bit x p x I i i 581.225!52log )(log )(==-= (2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：
2015秋.信息论.第2章离散信源与信息熵
第2章离散信源与信息熵 信号 信号+干扰 消息 干扰 消息 信源 编码器 信道 译码器 信宿 噪声源 通信系统模型 信息
2.1 信源的分类和描述 信源是信息的发源地，可以是人、生物、机器或其他事物。信源的输出是包含信息的消息。消息的形式可以是离散的或连续的。 信源输出为连续信号形式（如语音），可用连续随机变量描述。 连续信源←→模拟通信系统 信源输出是离散的消息符号（如书信），可用离散随机变量描述。 离散信源←→数字通信系统
离散信源…X i…X j… 离散无记忆信源：输出符号X i X j 之间相互无影响； 离散有记忆信源：输出符号X i X j 之间彼此依存。 3 离散信源 无记忆 有记忆发出单个符号发出符号序列马尔可夫信源 非马尔可夫信源
y j 将一粒棋子随意地放 在棋盘中的某列； 棋子放置的位置是一 个随机事件； 可看做一个发出单个 符号的离散信源。 x i
1212,,...,(),(),...,()m m x x x X P p x p x p x ????=???????? 就数学意义来讲，信源就是一个概率场，可用概率空间来描述信源。由离散随机变量X 表示棋子位置： 10()1,()1m i i i p x p x =≤≤=∑i x 其中，代表随机事件的某一结果。
2.2离散信源的信息熵信息的可度量性是信息论建立的基础； 香农的信息论用事件发生概率的对数来描述事件的不确定性，得到消息的信息量，建立熵的概念。 2.2.1自信息量 –定义2.1 任意随机事件x i 的自信息量定义为： i i i 1(x )log log (x )(x ) I P P ==-
第二章信源信息熵
第二章信源与信息熵 主要内容：（1）信源的描述与分类；（2）离散信源熵和互信息；（3）离散序列信源的熵；（4）连续信源的熵和互信息；（5）冗余度。 重点：离散/连续信源熵和互信息。 难点：离散序列有记忆信源熵。 说明：本章内容主要针对信源，但是很多基本概念却是整个信息论的基础，所以安排了较多课时。由于求熵涉及一些概率论的基础知识，考虑到大四的同学可能对这部分知识已经遗忘，故适当复习部分概率论知识。较难的 2.1.2节马尔可夫信源部分放置在本章最后讲，便于同学理解。本章概念和定理较多，比较抽象，课堂教学时考虑多讲述一些例题，通过例题来巩固概念和消化定理。 作业： 2．1—2．7，2．10，2．12。 课时分配：10课时。 板书及讲解要点： 在信息论中，信源是发出消息的源，信源输出以符号形式出现的具体消息。如果符号是确定的而且预先是知道的，那么该消息就无信息而言。只有当符号的出现是随机的，预先无法确定，一旦出现某个符合就给观察者提供了信息。因此应该用随机变量或随机矢量来表示信源，运用概率论和随机过程的理论来研究信息，这就是香农信息论的基本点。 2．1 信源的描述与分类 在通信系统中收信者在未收到消息以前对信源发出什么消息是不确定的，是随机的，所以可用随机变量、随机序列或随机过程来描述信源输出的消息，或者说用一个样本空间及其概率测度——概率空间来描述信源。 信源：产生随机变量、随机序列和随机过程的源。 信源的基本特性：具有随机不确定性。 信源的分类 离散信源：文字、数据、电报——随机序列 连续信源：话音、图像——随机过程 离散信源：输出在时间和幅度上都是离散分布的消息。
消息数是有限的或可数的，且每次只输出其中一个消息，即两两不相容。 发出单个符号的无记忆信源 离散无记忆信源： 发出符号序列的无记忆信源 离散信源 离散有记忆信源： 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源 概率论基础： 无条件概率，条件概率和联合概率的性质和关系： （1） 非负性 0()()(/)(/)()1i j j i i j i j p x p y p y x p x y p x y ≤≤，，，， （2） 完备性 111 1 11 ()1,()1,(/)1, (/)1,()1 n m n i j i j i j i m m n j i i j j j i p x p y p x y p y x p x y ===========∑∑∑∑∑∑ 1 1 ()(),()()n m i j j i j i i j p x y p y p x y p x ====∑∑ （3） 联合概率 ()()(/)()(/)()()()(/)()(/)() i j i j i j i j i j i j j i j i j i p x y p x p y x p y p x y X Y p x y p x p y p y x p y p x y p x =====当与相互独立时，， （4） 贝叶斯公式 1 1 () () (/)(/)() () i j i j i j j i n m i j i j i j p x y p x y p x y p y x p x y p x y === = ∑∑， 2.1.1 无记忆信源： 例如扔骰子，每次试验结果必然是1～6点中的某一个面朝上。可以用一个离散型随机变量X 来描述这个信源输出的消息。
信源及信源熵习题答案
· 1 · 第二章： 2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解： 四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量H(X 1) = log 2n = log 24 = 2 bit/symbol 八进制脉冲的平均信息量H(X 2) = log 2n = log 28 = 3 bit/symbol 二进制脉冲的平均信息量H(X 0) = log 2n = log 22 = 1 bit/symbol 所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。 2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解： 设随机变量X 代表女孩子学历 X x 1（是大学生） x 2（不是大学生） P(X) 0.25 0.75 设随机变量Y 代表女孩子身高 Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 0.5 0.5 已知：在女大学生中有75%是身高160厘米以上的 即：p(y 1/ x 1) = 0.75 求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15.075.025.0log )()/()(log )/(log )/(2111121111=??? ???-=? ? ????-=-= 2.3 一副充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少？ (2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？ 解： (1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是： bit x p x I i i 581.225!52log )(log )(2==-= (2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下： bit C x p x I C x p i i i 208.134 log )(log )(4)(1352 13 2 213 52 13=-=-==
信息论第二章答案
试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍 解： 四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0=== 所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。 一副充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少 (2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量 解： (1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是： ! 521)(= i x p bit x p x I i i 581.225!52log )(log )(==-= (2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下： (a)p(x i )=52/52 * 48/51 * 44/50 * 40/49 * 36/48 * 32/47 * 28/46 * 24/45 * 20/44 * 16/43 * 12/42 * 8/41 * 4/40= (b)总样本：C 1352, 其中13点数不同的数量为4*4*4*…*4=413 。所以，抽取13张点数不同的牌的概率： bit C x p x I C x p i i i 208.134 log )(log )(4)(1352 13 13 52 13 =-=-== 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量 解： 设随机变量X 代表女孩子学历 X x 1（是大学生） x 2（不是大学生） P(X) 设随机变量Y 代表女孩子身高 Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 已知：在女大学生中有75%是身高160厘米以上的
信源及信源熵习题答案
第二章: 2、1 试问四进制、八进制脉冲所含信息量就是二进制脉冲得多少倍？ 解: 四进制脉冲可以表示4个不同得消息,例如:{0, 1, 2, 3} 八进制脉冲可以表示8个不同得消息,例如:{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同得消息,例如:{0, 1} 假设每个消息得发出都就是等概率得,则: 四进制脉冲得平均信息量H(X 1) = log 2n = log 24 = 2 bit/symbol 八进制脉冲得平均信息量H(X 2) = log 2n = log 28 = 3 bit/symbol 二进制脉冲得平均信息量H(X 0) = log 2n = log 22 = 1 bit/symbol 所以: 四进制、八进制脉冲所含信息量分别就是二进制脉冲信息量得2倍与3倍。 2、2 居住某地区得女孩子有25%就是大学生,在女大学生中有75%就是身高160厘米以上得,而女孩子中身高160厘米以上得占总数得一半。假如我们得知“身高160厘米以上得某女孩就是大学生”得消息,问获得多少信息量？ 解: 设随机变量X 代表女孩子学历 X x 1(就是大学生) x 2(不就是大学生) P(X) 0、25 0、75 设随机变量Y 代表女孩子身高 Y y 1(身高>160cm) y 2(身高<160cm) P(Y) 0、5 0、5 已知:在女大学生中有75%就是身高160厘米以上得 即:p(y 1/ x 1) = 0、75 求:身高160厘米以上得某女孩就是大学生得信息量 即:bit y p x y p x p y x p y x I 415.15.075.025.0log )()/()(log )/(log )/(2111121111=??? ???-=? ? ?? ??-=-= 2、3 一副充分洗乱了得牌(含52张牌),试问 (1) 任一特定排列所给出得信息量就是多少？ (2) 若从中抽取13张牌,所给出得点数都不相同能得到多少信息量？ 解: (1) 52张牌共有52！种排列方式,假设每种排列方式出现就是等概率得则所给出得信息量就是: (2) 52张牌共有4种花色、13种点数,抽取13张点数不同得牌得概率如下: 2、4 设离散无记忆信源,其发出得信息为(23211223210),求 (1) 此消息得自信息量就是多少？ (2) 此消息中平均每符号携带得信息量就是多少？ 解: (1) 此消息总共有14个0、13个1、12个2、6个3,因此此消息发出得概率就是: 此消息得信息量就是: (2) 此消息中平均每符号携带得信息量就是: 2、5 从大量统计资料知道,男性中红绿色盲得发病率为7%,女性发病率为0、5%,如果您问一位男士:“您就是否就是色盲？”她得回答可能就是“就是”,可能就是“否”,问这两个回答中各含多少信息量,平均每个回答中含有多少信息量？如果问一位女士,则答案中含有得平均自信息量就是多少？
信源及信源熵习题问题详解
第二章： 2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解： 四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量H(X 1) = log 2n = log 24 = 2 bit/symbol 八进制脉冲的平均信息量H(X 2) = log 2n = log 28 = 3 bit/symbol 二进制脉冲的平均信息量H(X 0) = log 2n = log 22 = 1 bit/symbol 所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。 2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解： 设随机变量X 代表女孩子学历 X x 1（是大学生） x 2（不是大学生） P(X) 0.25 0.75 设随机变量Y 代表女孩子身高 Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 0.5 0.5 已知：在女大学生中有75%是身高160厘米以上的 即：p(y 1/ x 1) = 0.75 求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15.075.025.0log )()/()(log )/(log )/(2111121111=??? ???-=? ? ????-=-= 2.3 一副充分洗乱了的牌（含52牌），试问 (1) 任一特定排列所给出的信息量是多少？ (2) 若从中抽取13牌，所给出的点数都不相同能得到多少信息量？ 解： (1) 52牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是： bit x p x I i i 581.225!52log )(log )(2==-= (2) 52牌共有4种花色、13种点数，抽取13点数不同的牌的概率如下： bit C x p x I C x p i i i 208.134 log )(log )(4)(1352 13 2 213 52 13 =-=-==