09级信息论与编码复习材料

一、填空

1. 信息论基础主要研究信息的测度、 信道容量 、 信源和信道编码理论 等问题。

2. 必然事件的自信息量是0，不可能事件的自信息量是无穷大。

3. 若把掷骰子的结果作为一离散信源，则信源熵为

2log 6

。

4. 当事件i x 和j y 彼此之间相互独立时，平均互信息量为 0 。

5. 若二维平稳信源的信源熵为3bit/sign ，则其平均符号熵为1.5bit/sign 。

6. 信源熵H(X)表示信源输出后每个消息所提供的 平均信息量 。

7. 布袋中有红白球各50只，若从中随意取出一只球，则判断其颜色所需的信息量为 1bit 。 8. 单符号离散信源是用随机变量来描述的，则多符号离散信源用随机矢量来描述。 9. 平均互信息量与信息熵、联合熵的关系是I(X;Y)=H(X)+H(Y)-H(XY) 。 10. 条件熵H （x|y ）和无条件熵H （X ）的关系是小于等于。 11. 对于理想信道，H （x|y ）等于0 ；I （x ；y ）= H （X ）。

12. 若YZ 统计独立，则H （YZ ）和H （Y ）、H （Z ）之间的关系是H （YZ ）=H （Y ）+H （Z ） 。 13. 对某含有7个消息的信源，其熵的最大值为2log 7，对应为等概分布分布。 14. 对某含有8个消息的信源，其熵的最大值为2log 8，对应为等概分布。 15. 对某含有6个消息的信源，其熵的最大值为2log 6，对应为等概分布。 16. 对某含有9个消息的信源，其熵的最大值为2log 9，对应为等概分布。 17. 十六进制脉冲所含的信息量是四进制脉冲的2 倍。 18. 八进制脉冲所含的信息量是二进制脉冲的3倍。 19. 十六进制脉冲所含的信息量是二进制脉冲的 4倍。

20. 离散平稳无记忆信源的N 次扩展信源的熵等于离散信源熵的N 倍。 21. 离散信源的熵越小，则该信源消息之间的平均不确定性越弱。 22. 对于r 进制树图，n 级节点的个数一般为n

r 。

23. 信道中任一时刻输出符号仅统计依赖于对应时刻的输入符号，而与非对应时刻的输入符号及其它任何时刻的输出符号无关，

这种信道称之为 有干扰无记忆信道 。

24. 对于某一信源和某一符号集来说，若有一个唯一可译码，其平均码长小于所有其它唯一可译码的平均码长，则称该码为紧致

码或最佳码 。

25. 分组码是前向纠错码 ，它可以在无需重新发射的情况下检测出有限个错码，并加以纠正。 26. 信源编码的目的是提高通信的有效性。

27. 对于香农编码和哈夫曼编码，编码方法唯一的是香农编码 。

28. 若纠错码的最小距离为dmin,则可以纠错任意小于等于（dmin-1）/2个差错。 29. 线性分组码是同时具有线性特性和分组特性的纠错码。

30. 道的输出仅与当前输入有关，而与过去无关的信道称无记忆信道。 31. 唯一可译码存在的充要条件是11i n

k i m -=≤∑。

32. 编码分为信源编码和信道编码两种。

33. 信道无失真传输信息的条件是信息传输速率小于信道容量。

34. 对称信道中，信源的最佳分布为等概分布。

35. 信源编码和信道编码的最大区别在于信源编码需减少信源的冗余度，而信道编码需增加信源的冗余。

36. 信道编码的目的是提高通信的可靠性。

37. 离散信源分为离散无记忆信源 和 离散有记忆信源。

38. ()R D 是D 的下凸函数。

39. 码字10100001与码字01100000之间的距离是 3 。 40. 码字011111101、100111001之间的最汉明距离为5。 41. 码字101110101、100111001之间的最汉明距离为3。

42. 码字101111101、011111101、100111001之间的最小汉明距离为 2 。 43. 码字101010101、100111001之间的最汉明距离为4。 44. 码字101010101、100101001之间的最汉明距离为5。 45. 码字10100001与码字01100000之间的距离是 3 。 46. 将循环码0010111循环左移位1之后的码字10101110。 47. 将循环码0010111循环左移位2之后的码字1011100。 48. 将循环码0010111循环左移4位之后的码字1110010。

二、解释下列名词

自信息量：一个随机事件发生某一结果后所带来的信息量称为自信息量，简称自信息。2()log ()i i I a p a =-

互信息量：xi 的后验概率与先验概率比值的对数，为yj 对xi 的互信息量，也称为交互信息量（简称互信息），用I(xi ；yj)表

示， 即：log (/)

(;)()

i j i j i p x y I x y p x =

（i=1，2，……n ；j=1，2，……m ）

信道冗余度：设信道的信息传输速率为R=I(X,Y)，信道容量为C ，信道的剩余度定义为：信道冗余度=C-I(X,Y) 离散信源：发出在时间和幅度上都是离散分布的离散消息的信源。 如：文字、数字、数据、字母等。

离散无记忆序列信源：若信源输出的消息是取值离散的平稳随机序列，并且序列中各随机变量之间彼此统计独立，则此信源称为

离散无记忆序列信源.

无记忆离散信源：发出的各个符号是相互独立的；各符号序列中的各个符号之间是没有统计关联的关系。 各个符号的出现概率

是它自身的先验概率。无记忆离散信源包含发出单符号的无记忆离散信源和发出符号序列的无记忆离散信源。

有记忆离散信源：发出的各个符号是相关联的。表述起来很困难。有记忆离散信源又可分为发出符号序列的有记忆离散信源和发

出符号序列的马尔可夫信源。

冗余度: 它表示给定信源在实际发出消息时所包含的多余信息.(也称为多余度或剩余度).

m H H /1∞-=γ其中：H ∞(X)--为信源

实际熵； Hm(X)--信源最大熵。

线性分组码：同时具有分组特性和线性特性的纠错码。将输入的信息组编成长为n 的码字,码字前k 位为信息元,后r=n-k 个码元

为校验元。若各校验元与前k 个信息元之间是线性关系,则称这样的码为线性分组码。

唯一可译码：若码的任意一串有限长的码符号序列,只能被唯一的译成所对应的信源符号序列,则称为唯一可译码。

编码效率: 表示编码后实际信息量和能载荷最大信息量的比值。 假设码元为m 进制，即可取m 种可能值，则每个码元所能载荷的

最大信息量为logm 比特/码元。

m K

x H R R log )

(max ==η 准对称信道：如果信道转移矩阵按列可以划分为几个互不相交的子集，每个子矩阵满足下列性质： (1)每行都是第一行的某种置

换； (2)每列都是第一列的某种置换。 称该信道为准对称信道。

信息率失真函数:选定信源和失真函数后，)],([b a d E D =-

可以看成条件概率p(b|a)的函数。设BD={P(b|a):D D ≤-

}满足保真度准

则的所有信道集合，这种信道称为失真度D 允许信道（或试验信道）。 即时译码:非延长码或非续长码,任意一个码子都不是其它码字的前缀部分.

信道容量：互信息量I(X,Y)是输入符号X 概率分布的凸函数对于一个给定的信道，总是存在某种概率分布p(xi),使得传输每个

符号平均获得的信息量最大，即对于每个固定的信道总是存在一个最大的信息传输速率，这个最大信息传输速率定义为信道容量。

对称信道：若转移概率矩阵P 每一行都是第一行的置转, 称矩阵是输入对称.若每一列都是第一列的置转,称矩阵是输出对称.若输

入输出都对称,称对称DMC 信道。

汉明距离：长度为n 的两个符号序列(码字)αi 和βj 之间的汉明距离为αi 和βj 对应位置上不同码元的个数, 汉明距离记为d(α

i,βj)

循环码：设c 是线性分组码的任一码字，如果c 经循环移位c=(c1,c 2,…,cn-1,cn)→c ⑴=(c2,c3,…,cn-1cn,c1)后的序列仍然

是码字, 那么称该线性分组码为循环码。

无损压缩：长是利用数据的统计冗余进行压缩，可完全回复原始数据而不引起任何失真。 但压缩率是受到数据统计冗余度的理论

限制，一般为2:1到5:1。

有损压缩：经过压缩、解压的数据与原始数据不同,但是非常接近的压缩方法，又称破坏型压缩，即将次要的信息数据压缩掉，牺

牲一些质量来减少数据量，使压缩比提高。

输出对称信道：如果信道转移概率矩阵中所有列矢量都是第一列的某种置换，则称信道是关于输出对称离散信道。

有噪无损信道：信道输出符号Y 集合的数量大于信道符号X 集合的数量,即r ＜s,形成一对多的映射关.由于一对多的映射关系,不

能由输入完全确定信道的输出,H(X ︱Y) ＞0，H(X)＜H(Y),I(X;Y)=H(X).

{}{}()

()

max (;)max ()log p x p x C I X Y H x r ===

码树：码树有一个树根A,树根有m 个树枝，树枝的尽头称为节点,每个节点生出是树枝的数量等于码符号的数量m ，从而形成m 进

制的码树。

非即时译码：接收端收到一个完整的码字后,不能立即译码,而等下一码字开始接收后才判断是否可以码. 平均码长：编码后的每个信源符号平均所需的码元（码符号）个数。

1()q

i i i K P x K ==∑

3.简答

简述信息、消息、信号及其区别。

答：信息是事物运动状态或存在方式的不确定性的描述。信息的基本概念在于它的不确定性，任何确定的事物都不会有信息。用文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来就成为消息。消息包含信息，是信息的载体，但不是物理性的。把消息换成适合信道传输的物理量（如电信号、光信号、声信号、生物信号等），这种物理量称为信号。信号是信息的载体，是物理性的。

信息量、联合自信息量和条件自信息量三者之间的关系。

信息是事物运动状态或存在方式的不确定性的描述。信息的基本概念在于它的不确定性，任何确定的事物都不会有信息。用文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来就成为消息。消息包含信息，是信息的载体，但不是物理性的。把消息换成适合信道传输的物理量（如电信号、光信号、声信号、生物信号等），这种物理量称为信号。信号是信息的载体，是物理性的。 简述信源熵物理含义。

(1)信息熵H(X)表示了信源输出前，信源的平均不确定性； (2)信息熵H(X)表示了信源输出后，每个消息或符号所提供的平均信息量； (3)信息熵H(X)反映了随机变量X 的随机性。 描述最大离散熵定理的内容。

离散无记忆信源输出M 个不同的信息符号,当且仅当各个符号出现概率相等时（即pi=1/M ）,熵最大。111

()(,,..,)log H X H M M M M

≤= 简答描述单符号离散信源的数学模型。

单符号离散信源输出的消息是以一个符号的形式出现.信源每次只发出一个符号代表一个消息，可用离散随机变量来描述。 设X={ a1，a2 · · · an }，这n 个符号消息的概率分布是：12{(),(),

()}n p p a p a p a =

1

212.......

()()......().....()i n i n a a a a X p a p a p a P a P ??

??=????????0≤p(ai)≤1，()1i p a =∑

信源熵、条件熵、联合熵之间的关系。

H(XY)= H(X)＋H(Y/X) H(XY)= H(Y)＋H(X/Y)

条件熵小于无条件熵，H(Y/X)≤H(Y)。当且仅当y 和x 相互独立p(y/x)=p(y)，H(Y/X)=H(Y)。

两个条件下的条件熵小于一个条件下的条件熵H(Z/X,Y)≤H(Z/Y) 当且仅当p(z/x,y)=p(z/y)时取等号。 简述香农第二定理的内容。

答：对任意一个离散无记忆平稳信道,设信道容量为C,则只要信息传输率R

道编码方案(n 足够大),以小于ε的错误概率实现可靠通信。反之,R>C 时不可能找到一种编码,使错误概率pe 趋于零。 简述信源编码的实质。

是对信源的原始符号按一定的数学规则进行的一种变换，以码字代替原始信源符号，使变换后得到的码符号接近等概率分布，从而提高信息的传输有效性。 简述单个符号变长编码定理。

若一离散无记忆信源的符号熵为H(X)，每个信源符号用m 进制码元进行变长编码，一定存在一种无失真编码方法，其码字平均长

简单叙述香农编码的步骤。 编码步骤如下：

（1）将信源发出的q 个消息符号按其概率的递减次序依次排列：12...q p p p ≥≥≥；

（2）按下式计算第i 个消息的二进制代码组的码长i l ，并取整；log ()log ()1i i i p s l p s -≤<-+ （3）为了编成唯一可译码，首先计算第i 个消息的累加概率1

1

()i i k

k P p s -==∑；

（4）将累加概率i P （为小数）变换成二进制。

（5）去除小数点，并根据码长i l ，取小数点后i l 位数作为第i 个信源符号的码字，由下式确定：log ()1i i l p s =-+。

写出费诺编码步骤。

答：1. 将信源消息符号按其出现概率大小依次排列： p(x1)≥p(x2) …. p(xn)。2 .将依次排列的信源符号按概率植分两大组,并对各组赋予一个二进制元码0、1。3.将每一大组的信源符号进一步分组,使划分后的两组概率和近于相同并又赋两组0,1。4.如此重复,至两组只剩下一个信源符号为止。5.信源符号所对应的码字即为费诺码. 写出哈夫曼编码步骤。

(1) 将n 个信源消息符号按其出现的概率大小依次排列,p(x1)≥p(x2)≥…≥p(xn)

(2) 取两个概率最小的字母分别配以0和1两码元,并将这两个概率相加作为一个新字母的概率,与未分配的二进符号的字母重新排队。

(3) 重复步骤(2)的过程,直到最后两个符号配以0和1为止; (4)从最后一级开始,向前返回得到各个信源符号所对应的码元序列。 描述克劳夫特不等式。

用码树的概念可以推导出唯一可译码存在的充要条件，即各码字的长度K i 应符合不等式11i n

k i m -=≤∑ m 是进制数，n 是信源符号数

称之为克劳夫特(Kraft)不等式

简单叙述无噪无损信道、无噪有损信道、有噪无损信道的信道容量。 无噪无损信道：

{}{}符号比特/log )(max );(max 1

)()

(r X H Y X I C r

x p x p ==== 无噪有损信道：

{}{}符号比特/log )(max );(max )

()

(s Y H Y X I C x p x p ===

有噪无损信道：

{}{})/(log )(max );(max )

()

(符号比特r x H Y X I C x p x p ===

简单叙述离散信道、连续信道、半连续半离散信道。

离散信道：又称数字信道，该类信道中输入空间、输出空间均为离散时间集合，集合中事件的数量是有限的，或者无限的，随机变量取值都是离散的。连续信道：又称为模拟信道，输入空间、输出空间均为连续事件集合，集合中事件的数量是无限的、不可数的，即随机变量的取

值数量是无限的，或者不可数的。半离散半连续信道：输入空间、输出空间一个为离散事件集合，而另一个则为连续事件集合，即输入、输出随机变量一个是离散的，另一个是连续的。 简述一个通信系统包括的各主要功能模块及其作用 简单叙述算术编码的步骤。

四、大题

某地二月份天气的概率分布统计如下：晴天的概率是1/2，阴天的概率是1/4，雨天的概率是1/8，雪天的概率也是1/8。求此四种气候的自信息量分别的是多少？

解：“I(a1)=1(比特) I(a2)=2(比特)，I(a3)=3(比特），I(a4)=3(比特) 英文字母中“e ”出现的概率是0.105，“c ”出现的概率是0.023,“o ”出现的概率 是0.001。分别计算其自信息量。 解：“e ”:I(e)=－㏒20.105=3.25(比特)

“c ”:I(c)=－㏒20.023=5.44(比特)

“o ”:I(o)=－㏒20.001=9.97(比特)

一个布袋内放有100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量。

x1表示摸出的球为红球，x2表示摸出的球为白球 当被告知摸出的是红球，则获得的信息量是：

I(x1)=－㏒p(x1)=－㏒0.8(比特)

当被告知摸出的是白球，则获得的信息量是： I(x2)=－㏒p(x2)=－㏒0.2(比特)

同时掷2颗色子，事件A 、B 、C 分别表示:(A)仅有一个色子是3；(B)至少有一个色子是4；(C)色子上点数的总和为偶数。试计算事件A 、B 、C 发生后所提供的信息量。（见课本2-1）

居住某地区的女孩子有20%是大学生，在女大学生中有60%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 答：设随机变量X 代表女孩子学历 X x 1（是大学生）

x 2（不是大学生）

P(X)

0.20

0.80

设随机变量Y 代表女孩子身高 Y y 1（身高>160cm ） y 2（身高<160cm ）

P(Y)

0.5

0.5

已知：在女大学生中有60%是身高160厘米以上的 即： 11(/)0.6p y x = 求：身高160厘米以上的某女孩是大学生的信息量 即：11111111()(/)0.20.625

(/)log (/)log

log log ()0.56

p x p x y I x y p x y bit p y ?=-=-=-=

一信源有4种输出符号码，Xi(i=0,1,2,3)，且p(Xi)=1/4。设信源向信宿发出X3，但由于传输中的干扰，接收者收到X3后，认为其可信度

为0.9。于是信源再次向信宿发送该符号(X3)，信宿无误收到。问信源在两次发送中发出的信息量各是多少?信宿在两次接收中得到的信息量又各是多少?

第一次收到的符号为y ，第二次发送无误收到，发、收信息量相等，则 I(X3/y)=-log2p(Xi/y)=-log20.9=0.15(比特) 第一次发出的信息量为

I(X3)=-log2p(Xi)=-log20.25=2(比特)

第一次传送的信息量为两次发送信息量之差， 即 I(X3;y)=I(X3)-I(X3/y)=1.85(比特) 画出一个通信系统包括的各主要功能模块。

一个无记忆信源，随机变量X ∈{0；1}等概分布。 求(1)以单个消息出现的信源熵； (2)两个消息出现信源熵； (3)信源的平均符号熵

（1）11

()()log ()log 2122i i i

H X p a p a =-=-?=∑

（2）两个消息出现：(N=2的序列) 随机序列(00,01,10,11)X ∈

11

()()log ()log 4244i i i

H X p a p a =-=-?=∑

（3）信源的平均符号熵：

211

()()2122

H X H X =

=?= 已知X ，Y ∈｛0，1｝，X ，Y 构成的联合概率为p(00)=p(11)=1/8，p(01)=p(10)=3/8，计算条件熵H(X/Y)。

211(/)()log (/)n

m

i j i j i j H X Y p x y p x y ===-∑∑

2222(00)log (0/0)(01)log (0/1)(10)log (1/0)(11)log (1/1)p p p p p p =----

p(y1=0)=p(x1y1=00)+p(x2y1=10)=1/8+3/8=4/8=1/2 p(y2=1)=p(x1y2=01)+p(x2y2=11)=1/8+3/8=4/8=1/2 P(0/0)=p(x=0，y=0)=p(x1y1)/p(y1)=p(00)/p(0) =(1/8)∕(1/2)=1/4 = p(1/1) 同理有p(1/0)=p(0/1)=3/4 ∴H(X/Y)

=-1/8㏒(1/4)-3/8㏒(3/4)-3/8㏒(3/4)-1/8㏒(1/4) =0.406（比特/符号）

设随机变量X 的概率分布为2221111

[,,,,,,]10101010101010

，随机变量Y 是X 的函数，其分布为将X 的4个最小的概率分布合并为一个:

2224[,,,]10101010

(1)显然H(X)＜log27，请解释原因； (2) 计算H(X)，H(Y)； (3)计算H(X/Y)并解释其结果。

通信系统物理模型

1) H(X)＜log27，请解释原因

根据熵的极值性，当随机变量等概分布时，随机变量的熵最大。有7个可能取值的随机变量的最大熵为Hmax （X ）=log27，

而随机变量X 不是等概分布，所以H(X)＜log27。 (2)2222211

()()log ()3log 4log 10101010

H X p x p x =-=-?

-? 226

log 10log 2 3.3220.6 2.72210

=-

=-=

(3)222

2244

()()log ()3log log 10101010

H Y p y p y =-=-?

- 22264

log 10log 2log 4 3.3220.60.8 1.9221010

=--=--=

有一离散平稳无记忆信源

1)( ,4141,2

1)(3

1

32

1=???

???????=???? ??∑=i i a p a a a X p X

求:这个信源的二次扩展信源的熵

解:求二次扩展信源。扩展信源是长度为2的消息序列。信源有3个不同的消息，每两个消息组成的不同排列共有32=9种，构成二次扩展信源的9个不同元素. )()()(21i i i a p a p a p = (il ，i2 =1，2，3; i=1，2….9)

二次扩展信源的熵为 )(log )()()(291

i i i N

a p a p X H X H ∑=-==

将表中的数据代入可得)/(3)()(符号比特==N X H X H

一马尔可夫信源的符号集为{0,1,2}X =，其状态集123{,,}S s s s =，各状态之间的状态转移改概率如表，求平稳后信源的概率分布。

（1）根据题意有：

111121231321212223233

131232333()()(/)()(/)()(/)()()(/)()(/)()(/)()()(/)()(/)()(/)

p s p s p s s p s p s s p s p s s p s p s p s s p s p s s p s p s s p s p s p s s p s p s s p s p s s =++??

=++??=++? 112212

33

12311()()()23112()()()()433111()()()()433p s p s p s p s p s p s p s p s p s p s p s ?=?+???

?

?=?+?+???

?

=?+?+???

112323

()8/29

()()()1()12/29()9/29p s p s p s p s p s p s =??

++=?=??=?

111121231321212223233131232333()()(/)()(/)()(/)8/29()()(/)()(/)()(/)12/29()()(/)()(/)()(/)9/29

p x p s p x s p s p x s p s p x s p x p s p x s p s p x s p s p x s p x p s p x s p s p x s p s p x s =++=??

=++=??=++=?

012()8/2912/299/29X P X ?????=????????

有一个马尔可夫信源，己知转移概率为p(el/el)=2/3，p(e2/e1)=1/3，p(e1/e2)=1，p(e2/e2)=0。试画出状态转移图，并求出信源熵。 (见课本2-8)

设信源符号X ∈｛0，1｝,编码器输出符号Y ∈｛0,1,2｝,规定失真函数为d(0,0)＝d(1,1)＝0；d(0,1)＝d(1,0)=1；d(0,2)＝d(1,2)＝0.5, 求失真矩阵d 。Dmax

111213212223(,),(,),(,)[](,),(,),(,)d x y d x y d x y d d x y d x y d x y ??== ???(0,0),(0,1),(0,2)(1,0),(1,1),(1,2)d d d d d d ??

???

0,1,0.51,0,0.5??= ??? Dmax=0.5

一个信源含有三个消息,概率分布为p1=0.2,p2=0.3,p3=0.5,失真函数矩阵为

??

???

?????=102230024][d 求:Dmax,Dmin, R(Dmax),R(Dmin)

在给定的失真函数矩阵中,对每一个x i 找一个最小的d ij 然后求

0min )(min ==∑ij y i

i d x p D j

R(Dmax)=0,

R(Dmin)=R(0)=Hmax(x)=-[0.2log0.2+0.3log0.3+0.5log0.5]

设输入输出符号X=Y={0，1}，输入概率分布为p(x)={1/3,2/3}，失真矩阵为11122122(,),(,)0,1(,),(,)1,0d x y d x y d d x y d x y ????

== ? ???

?? 求Dmax 。Dmin

max 1,2 (1)

min

n

i ij

j m

i D p d

===∑

1112211122221,2

min(,)j p d p d p d p d ==++

1,2

min(1/302/31;1/312/30)j ==?+??+?

1,2min(2/3;1/3)j ==1

3= Dmin=0

画出表格中所对应编码的码树。

max

1,2 (1)

min

(0.240.52;20.230.3;0.320.51)

r

i ij

j s

i D p d

====?+??+??+?∑

画出表格中所对应的两种编码方案的码树。

设有离散无记忆信源

123456

111111

448888

x x x x x x

X

P

??

????

=

????

??

??

（1）编出平均码长最小的哈夫曼码；

（2）计算其平均码长；

解：（1）利用霍夫曼编码方法，从而得到

123456

x x x x x x

、、、、、平均码长最小的霍夫曼码为：10、11、00、01、010、011。

（2）该霍夫曼码的平均码长为：

5

1

111119

()222232

448884

i i

i

L p s l

=

==?+?+?+?+??=

∑

设有离散无记忆信源?

?

?

?

?

?

=

?

?

?

?

?

?

05

.0

05

.0

05

.0

05

.0

1.0

1.0

2.0

4.0

8

7

6

5

4

3

2

1

s

s

s

s

s

s

s

s

P

S

（1）编出平均码长最小的哈夫曼码；

（2）计算其平均码长

解：（1）利用霍夫曼编码方法，从而得到s

1

s

2

s

3

s

4

s

5

s

6

s

7

s

8

平均码长最小的霍夫曼码为： 00、11、100、101、0100、0101、0110、0111 （2）该霍夫曼码的平均码长为：

6.2

4

05

.0

4

3

1.0

2

2

2.0

2

4.0

)

(

8

1

=

?

?

+

?

?

+

?

+

?

=

=

-

=

∑i

i

i

l

s

p

L

设信源共7个符号消息,其数学模型如下

1234567

()0.20.190.180.170.150.10.01

X x x x x x x x

P X

??

??

=??

??

????

利用哈夫曼编码方法进行信源编码，画出其过程。

信道转移矩阵为P ????

?

???

??=316131616161313

1P 求该信道的信道容量 。 该信道是准对称信道，可以分解为三个互不相交的子集，分别为

??????????=??????????=??????????=6161,3131,31616131321

P P P 3

/13/22/16/13/12

/16/13/1321321======+=M M M N N N

信道转移矩阵为P ????

?

???

??=3131616

16161313

1P 求该信道的信道容量 。

解：由信道转移矩阵可知，矩阵的第二行是第一行的置换，每一列都是第一列的置换，所以信道是对称的，所以信道容量为

),,,(log 21s p p p H s C -=

)6

1

,61,31,31(4log H -=

082.0=比特∕符号

信道转移矩阵为P ??????----=q p q p

p q

q p P 11 求该信道的信道容量 。 解：从该信道转移矩阵可以看出，该信道是一个准对称信道，可以分解为

??????----=q p p p q p P 111 ??????=q q P 2

q

M q M q N q N 2,1,12121=-==-=

由准对称离散信道的信道容量计算公式

若已知信道矩阵1001000

10010010P ??

???

?

??=????????

，根据该信道矩阵画出信道图。

画出二元纯对称删除信道。

某二元离散无记忆信道的转移矩阵为?

?????--=p p p p

P 11求对信道进行二次扩展，扩展后的信道转移矩阵及信道容量。 ?

?

??

?

??????

?

??------------=222222

2

2)1()

1()

1()1()1()1()1()1()1()1()1()1(p p p p p p p p p p p p p p p p p p p p p p p p Q

由扩展信道的转移矩阵知，二次扩展信道是 对称信道，当输入序列等概率分布时可以达到信息容量C2，将扩展后的每种序列排列认 为是一个符号，二次扩展信道就等价于四元信道，四元对称信道的信道容量为

)),1(),1(,)1((4log 222p p p p p p H C ----=

)),1(),1(,)1((222p p p p p p H ----= 比特/序列

假设信道的输入、输出符号数相等，都等于r,且信道条件转移矩阵为

111111111

p p p r r p p p r r p p p r r ?

?-??

--?

???

-??

--??????-?

?

?--?

求信道容量 。 解:显然该信道是对称的，信道容量为

log (1,

,,)1

1

p p C r H p r r =---- log (1)log(1)(1)log

11

p p

r p p r r r =+--+--- log ()log(1)r H p p r =---

设有单符号离散信道，信道矩阵为??

??

?

?????=0.4 0.3 0.30.5 0.3 0.20.2 0.3 5.0P 求下面译码函数(规则)的pe 。

1 - q

a

1

b 1 b

2

a 2

b 3

1 - q

?????===2*33*

21*1)()()(:a b F a b F a b F A ??

???===3*32*21*1)()()(:a b F a b F a b F B

解：根据最大似然译码准则可选取译码函数A,在输入等概率分布时可使pe 最小。

∑∑=≠=s

j i i j e a b p p 1*

)|(31

=(1/3)(0.2+0.3+0.3+0.3+0.2+0.4)=0.567 若选择B:

'

e p =(1/3)(0.2+0.3+0.3+0.3+0.2+0.5)=0.600

分别写出循环码（7，4）对应于序列0100和1001的码字。 对0100：

3223210()m x m x m x m x m x =+++=…….（3分）

232542()()()(1)c x m x g x x x x x x x ==++=++…….（2分）

得0110100…….（1分） 对1001

3()1m x x =+653()1c x x x x =+++…….（5分）

得 1101001…….（1分）。