信息论考试卷及答案汇总

考试科目名称：信息论

一. 单选（每空2分，共20分）

1.信道编码的目的是（C ），加密编码的目的是（D ）。A．保证无失真传输

B．压缩信源的冗余度，提高通信有效性

C．提高信息传输的可靠性

D．提高通信系统的安全性

2.下列各量不一定为正值的是（D ）

A．信源熵

B．自信息量

C．信宿熵

D．互信息量

3.下列各图所示信道是有噪无损信道的是（B ）

A．

B．

页11 共页1 第

C．．D

A ）下表中符合等长编码的是（4.

页11 共页2 第

）之间存在关系正确X/Y）及条件熵H（XY）与熵H（X5.联合熵H（）A 的是（

）／XX）＋H（YA．H（XY）＝H（Y）H（X／）＋B．H（XY）＝H（X X））＋H（Y．H（XY）＝H（C ）=H（YX）和Y相互独立，H（Y．若DX，0位的二进制数，该数的每一位可从等概率出现的二进制码元（6.一个n ） C ）

中任取一个，这个1n位的二进制数的自信息量为（n2．A1 bit B．n bit

C．n D．2比H = log27 = 4.7626个英文字母和空格，其最大信源熵为7.已知发送0符号；/= 4.03比特特/符号；在字母发送概率不等时，其信源熵为H1

符号；以此类推，比特= 3.32/考虑字母之间相关性时，其信源熵为H2

）符号。问若用一般传送方式，冗余度为（B =1.5 极限熵H 比特/∞0.32 A．0.68

B．页11 共页3 第

C．0.63

D．0.37

8.某对称离散信道的信道矩阵为，信道容量为（B ）1111C?log4?2H(,,,) A．33661111C?log4?H(,,,) B．

33661111C?log2?H(,,,) C．336611C?log2?H(,) D．369.下面不属于最佳变长编码的是（ D ）

A．香农编码和哈夫曼编码

B．费诺编码和哈夫曼编码

C．费诺编码和香农编码

D．算术编码和游程编码

二. 综合（共80分）

1.（10分）试写出信源编码的分类，并叙述各种分类编码的概念和特性。{

非分组码码奇异码{

分组码{

非唯一可译码

非奇异码{

非即时码唯一可译码5分）（即时码（非延长码）

（1分）将信源消息分成若干组，即符号序列xi，

xi＝(xi1xi2…xil…xiL)，

页11 共页4 第

xilA={a1，a2 ，…，ai，…，an}

每个符号序列xi依照固定码表映射成一个码字yi，

yi＝(yi1yi2…yil…yiL)，

，b2，…，bi，…，bm}

这样的码称为分组码，有时也叫块码。只有分组码才有对应的码表，而非分组码中则不存在码表。

（1分）奇异码和非奇异码

若信源符号和码字是一一对应的，则该码为非奇异码。反之为奇异码。（1.5分）唯一可译码

任意有限长的码元序列，只能被唯一地分割成一个个的码字，便称为唯一可译码

（1.5分）即时码：只要收到符号就表示该码字已完整，可以立即译码。

即时码又称为非延长码，任意一个码字都不是其它码字的前缀部分，有时叫做异前缀码。

2.（15分）有一个二元二阶马尔可夫信源,其信源符号集为{0，1}，已知符号条件概率：

p(0|00) = 1/2 p(1|00)=1/2

p(0|01) = 1/3 p(1|01)=2/3

p(0|10) = 1/4 p(1|10)=3/4

p(0|11) = 1/5 p(1|11)=4/5

求：

（1）.信源全部状态及状态转移概率；

（2）.画出完整的二阶马尔可夫信源状态转移图；

（3）.求平稳分布概率。

解：

（1）.符号条件概率矩阵

页11 共页5 第

)(1a(0)a 21)(00s21/1/2??1??)(01s332/1/??2?)|(asp ij??)10(s443/1/3??11)s(541/5/ ??4状态转移概率矩阵ssss4132s021/21/0??1??s3//32001??2? s)p(s|ij??s04/3/4013 5（分）??s51//5400??4

5分）.（2）（平稳分布概率（3）.11?W?WW??13142?31?W??WW?21342?WWp???11jiij?W??WW i ?42?WW??W?44253?1W?W?WW??42314366???W,?WW,W,（分）542137353535

43253

914613116?)p()sp(s|a)?p(a?????????ii113354352535735页页第6 11 共

?p(a|s)p(s)??????)ap(????i22i2353354355735i

i1326364426

3.（20分）具有符号集的二元信源，信源发生概率

为：}uu,U?{101??p?p,0p,p(u)?1)p(u?。Z信道如图所示，接收符号集

102q(v|u)?1,q(v|u)?1?q}v,V?{v。发出符，转移概率为：110010号与接收符号的失

真：d(u,v)?d(u,v)?0,d(u,v)?d(u,v)?1。11010100—；计算平均失真（1）.D为什么

值时可达到该的最大值是什么？当qR(D)）.率失真函数（2—是多大？最大值？此时平均失真D为什么值时可达到该q率失真函数R(D)的最小值是什么？当（3）.

—最小值？此时平均失真是多大？D 画出R(D)-D曲线。（4）.

解：

1??0p1?p,))p(u?p,p(u?；）（1.已知信源符号概率10210???u)]q[(v|转移概率矩阵；??ij q1q???10???v)],[d(u；失真矩阵??ji01??页11 共页7 第

0p??[p(u,v)]?；联合概率矩阵??ji(1?p)q(1?p)(1?q)??—。5分）

（?q)1?pq1?)?0?(?(?0?1?1?p)q?1(1?p)(pv(vD?(pu,)du,)??0jjiiij（2）.

maxR(D)=R(Dmin)=H(X)=-plogp-(1-p)log(1-p)；

当q=0时，Dmin=0，即得到maxR(D)；

—D分）（5。=0 ；minR(D)=R(Dmax)=0（3）.01???u)]q(v|[，可使得到q=1时，转移概率矩阵当??ij01??minR(D)；