南邮DSP期末复习要点

南邮DSP期末复习要点
南邮DSP期末复习要点

三种block diagram realization forms

1. Direct Form

P271 Fig 7.1.2; p272 式(7.1.8)----algorithm

Example7.1.1

2. Canonical Form

P278 Fig 7.2.4; p279 式(7.2.5)----algorithm

Example7.2.1

3. Cascade Form

P283 Fig 7.3.1; p284 式(7.3.3)----algorithm

Quantization Effects (7.6节)

1)P310 7.6节第一段

Three types of quantization effects

a) the quantization of input and output signal

b) roundoff errors in the internal compution

c) coefficient quantization

2)P310 7.6第二段和第三段

系数量化对不同实现结构的不同影响

作业:7.1 7.4 7.9

第八章

1. Digital Waveform Generator

正弦波形发生器

P321: 式(8.1.1); Fig8.1.1; algorithm

式(8.1.2); Fig8.1.2; algorithm

P324: Fig8.1.4

周期波形发生器

P327: 式(8.1.10); Fig8.1.7; Fig8.1.8 algorithm

注:连续周期信号采样后仍是周期序列的条件:DT T D =,式(8.1.8)

2.Noise Reduction

Example 8.3.1------8.3.4, 作业8.31

小知识点:(1)Example 8.3.5: FIR 滤波器的递归实现

式(8.3.19)所表示的滤波器本质上是一个FIR 滤波器

(2)Example 8.3.6:z z -→ lowpass filte r →highpass filter

第十章

1)lowpass, bandpass filter 的d(k)会推导,须记住,式(10.1.1)

2) 作业10.18:写出h(n)

画)(ωH 的图,不同窗长和不同窗型)(ωH 的差别在图上表现出来。

用语言描述不同窗长和不同窗型)(ωH 的差别:transition width and ripple size

3) p549 1,2,3小点

4) 作业10.1的结论要记住(证明也要求掌握)

1))(z f s →映射所满足的条件:

P575 第二段话:a useful ……be stable and causal:

Fig 11.1.2

2) Example 11.2.1 ;Example 11.2.2(不要看书上的解答,要看ppt 上的解答)

3)High-order filter

两道作业题11.11和11.12;

Example 11.6.3 ;Example 11.6.4(不要看书上的解答,要看ppt 上的解答)

期中考试前

重点是第五章和第六章

第一章:

1)已知采样频率s f ,antialiasing filter 的 截止频率(cutoff frequency )

2) 求a f 和)(t x a

3) 圆盘转动:作业1.1

第二章:

数据量的问题:时长为L T 的信号,采样频率为s f ,每个采样量化为B 个bits. 总的bits 为B f T s L ??

第三章:

1) 判断 linearity and time-invariance 作业

2)作业3.2(a), 3.3(a)

3) p121 3.4(c), 3.5

第四章:

1)矩阵表示:矩阵维数

第五章:

1)ROC: 作业5.2(b), 5.3(b)

2) inverse z-transform

第六章:

1)所有作业

2)例题Example 6.4.1(P251) , 两个极点

3)DC gain:10)()(===z z H H ωω

AC gain: 1

)()(-===z z H H πωω 4)p233 式(6.3.2) 的应用

第五章的inverse z-transform 和第六章的画 magnitude response (作业6.1和6.5)以及第七章的画 block diagram 结合在一起考。

信息论期末总结

信息论期末总结

● 消息中包含信息,消息是信息的载体。 信息:信息是对事物运动状态或存在方 式的不确定性的描述。 ● 通信的过程就是消除不确定性的过程。 ● 信息与概率的关系: ● 事件发生的概率越大,该事件包含的信息量 越小; ● 如果一个事件发生的概率为1,那么它包含 的信息量为0; ● 两个相互独立事件所提供的信息量应等于 它们各自提供的信息量之和。 ● 某个消息的不确定性(含有的信息量)可以表示为: ● 信源的平均不确定性: ● 信源发出的消息的统计特性 ? 离散信源、连续信源、波形信源 ? 有记忆信源和无记忆信源 1()log log ()() i i i I x p x p x ==-∑=-=q i i i x p x p X H 1)(log )()(

?平稳信源和非平稳信源 ●编码器的功能:将消息变成适合信道传输的 信号 ●编码器包括:(1)信源编码器(2)信道编 码器(3)调制器 ●信源编码器:去除信源消息中的冗余度,提 高传输的有效性 ●信道编码器:将信源编码后的符号加上冗余 符号,提高传输的可靠性。 ●调制器: 功能:将信道编码后的符号变成适合信道传输的信号 目的:提高传输效率 ●信道的统计特性 无噪声信道、有噪声信道 离散信道、连续信道、波形信道 有记忆信道和无记忆信道 恒参信道(平稳信道)和随参信道(非平稳信道)单用户信道和多用户信道 ●信道传输信息的最高速率:信道容量 ●译码器的功能:从接收到的信号中恢复消 息。

包括:(1)解调器(2)信道译码器(3)信源译 码器 ● 提高有效性: (数据压缩) 信源编码:无失真信源编码和限失真信源编码 ● 提高可靠性: (可靠传输) 信道编码 ● 香农第一定理: 如果编码后的信源序列的 编码信息率不小于信源的熵,那么一定存在 一种无失真信源编码方法;否则,不存在这 样的一种无失真信源编码方法。 ● 香农第二定理:如果信道的信息传输 率小于信道容量,那么总可以找到一种编码 方式,使得当编码序列足够长时传输差错任 意小;否则,不存在使差错任意小的信道编 码方式。 ● 香农第三定理:对于任意的失真 度 ,只要码字足够长,那么总可以找 到一种编码方法,使编码后的编码信息 率 ,而码的平均失真 度 。 ● 公理性条件: (1) 如果p (x 1) < p (x 2),则I (x 1) > I (x 2), I (xi )0D ≥()R D ≥d D ≤

信息论基础及答案

《信息论基础》试卷第1页 《信息论基础》试卷答案 一、填空题(共25分,每空1分) 1、连续信源的绝对熵为 无穷大。(或()()lg lim lg p x p x dx +∞-∞ ?→∞ --?? ) 2、离散无记忆信源在进行无失真变长信源编码时,编码效率最大可以达到 1 。 3、无记忆信源是指 信源先后发生的符号彼此统计独立 。 4、离散无记忆信源在进行无失真变长编码时,码字长度是变化的。根据信源符号的统计特性,对概率大的符号用 短 码,对概率小的符号用 长 码,这样平均码长就可以降低,从而提高 有效性(传输速率或编码效率) 。 5、为了提高系统的有效性可以采用 信源编码 ,为了提高系统的可靠性可以采用 信道编码 。 6、八进制信源的最小熵为 0 ,最大熵为 3bit/符号 。 7、若连续信源输出信号的平均功率为1瓦特,则输出信号幅度的概率密度函数为 高斯分布(或()0,1x N 2 2 x - )时,信源具有最大熵,其值为 0.6155hart(或 1.625bit 或 1lg 22 e π)。 8、即时码是指 任一码字都不是其它码字的前缀 。 9、无失真信源编码定理指出平均码长的理论极限值为 信源熵(或H r (S)或()lg H s r ),此 时编码效率为 1 ,编码后的信息传输率为 lg r bit/码元 。 10、一个事件发生的概率为0.125,则自信息量为 3bit/符号 。 11、信源的剩余度主要来自两个方面,一是 信源符号间的相关性 ,二是 信源符号概率分布的不均匀性 。 12、m 阶马尔可夫信源的记忆长度为 m+1 ,信源可以有 q m 个不同的状态。 13、同时扔出一对均匀的骰子,当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特,当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。 14.在下面空格中选择填入的数学符号“=,≥,≤,>”或“<” H(XY) = H(Y)+H(X ∣Y) ≤ H(Y)+H(X)

信息论基础》试卷(期末A卷

《信息论基础》答案 一、填空题(本大题共10小空,每小空1分,共20分) 1.按信源发出符号所对应的随机变量之间的无统计依赖关系,可将离散信源分为有记忆信源和无记忆信源两大类。 2.一个八进制信源的最大熵为3bit/符号 3.有一信源X ,其概率分布为1 23x x x X 1 11P 244?? ?? ? =?? ????? ,其信源剩余度为94.64%;若对该信源进行十次扩展,则每十个符号的平均信息量是 15bit 。 4.若一连续消息通过放大器,该放大器输出的最大瞬间电压为b ,最小瞬时电压为a 。若消息从放大器中输出,则该信源的绝对熵是∞;其能在每个自由度熵的最大熵是log (b-a )bit/自由度;若放大器的最高频率为F ,则单位时间内输出的最大信息量是 2Flog (b-a )bit/s. 5. 若某一 信源X ,其平均功率受限为16w ,其概率密度函数是高斯分布时,差熵的最大值为 1 log32e 2 π;与其熵相等的非高斯分布信源的功率为16w ≥ 6、信源编码的主要目的是提高有效性,信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限制为信源熵(或H(S)/logr= H r (S))。 8、当R=C 或(信道剩余度为0)时,信源与信道达到匹配。 9、根据是否允许失真,信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,,=≥≤?”或“?” (1)当X 和Y 相互独立时,H (XY )=H(X)+H(X/Y)。 (2)假设信道输入用X 表示,信道输出用Y 表示。在无噪有损信道中,H(X/Y)> 0, H(Y/X)=0,I(X;Y)

信息论期末复习

第二章 信源熵 一、自信息量 1. 定义:一个随机事件发生某一结果后所带来的信息量称为自信息量,简称自信息。定 义为其发生概率对数的负值。若随机事件发生i a 的概率为)(i a p ,那么它的自信 息量为:)(log )(2i i a p a I -= (bit ) 2. 性质:在事件发生前,)(i a I 表示该事件发生的不确定性。 在事件发生后,)(i a I 表示事件发生所提供的信息量。 二、信源熵 1. 定义: 已知单符号离散无记忆信源的数学模型 我们定义信源各个离散消息的自信息量的数学期望为信源的平均信息量,一般称为信 源的平均信息量: )(log )(])(1 [log )]([)( 21 2 i n i i i i a p a p a p E a I E X H ∑=-=== 2. 信源熵与平均自信息量之间的区别 两者在数值上是相等的,但含义不同。信源熵表征信源的平均不确定度,平均自信息量是消除不确定度所需要的信息的度量。信源一定,不管它是否输出离散消息,只要这些离散消息具有一定的概率特性,必有信源的熵值,该熵值在总体平均的意义上才有意义,因而是一个确定值, 。在离散信源的情况下,信源熵的值是有限的。而信息量只有当信源输出离散消息并被接收后,才有意义,这就是给予接收者的信息度量。 3. 最大离散熵定理:信源X 中包含n 个不同离散消息时,信源熵H(X)有: n X H 2log )(≤ 当且仅当X 中各个消息出现的概率全相等时,上式取等号。 4. 扩展信源的信源熵:N 次扩展信源的信源熵:)()(X NH X H N = )(,),(,),(),( , , , , ,)( 2121? ?????=??????n i n i a p a p a p a p a a a a X P X ΛΛΛΛ

信息论期末复习

第二章 信源熵 一、自信息量 1. 定义:一个随机事件发生某一结果后所带来的信息量称为自信息量,简称自信息。定 义为其发生概率对数的负值。若随机事件发生i a 的概率为)(i a p ,那么它的自信 息量为:)(log )(2i i a p a I -= (bit ) 2. 性质:在事件发生前,)(i a I 表示该事件发生的不确定性。 在事件发生后,)(i a I 表示事件发生所提供的信息量。 二、信源熵 1. 定义: 已知单符号离散无记忆信源的数学模型 我们定义信源各个离散消息的自信息量的数学期望为信源的平均信息量,一般称为信 源的平均信息量: )(log )(])(1[log )]([)( 212i n i i i i a p a p a p E a I E X H ∑=-=== 2. 信源熵与平均自信息量之间的区别 两者在数值上是相等的,但含义不同。信源熵表征信源的平均不确定度,平均自信息量是消除不确定度所需要的信息的度量。信源一定,不管它是否输出离散消息,只要这些离散消息具有一定的概率特性,必有信源的熵值,该熵值在总体平均的意义上才有意义,因而是一个确定值, 。在离散信源的情况下,信源熵的值是有限的。而信息量只有当信源输出离散消息并被接收后,才有意义,这就是给予接收者的信息度量。 3. 最大离散熵定理:信源X 中包含n 个不同离散消息时,信源熵H(X)有: n X H 2log )(≤ 当且仅当X 中各个消息出现的概率全相等时,上式取等号。 4. 扩展信源的信源熵:N 次扩展信源的信源熵:)()(X NH X H N = )(,),(,),(),( , , , , ,)( 2121? ?????=??????n i n i a p a p a p a p a a a a X P X

信息论与编码期末考试题----学生复习用

《信息论基础》参考答案 一、填空题 1、信源编码的主要目的是提高有效性,信道编码的主要目的是提高可靠性。 2、信源的剩余度主要来自两个方面,一是信源符号间的相关性,二是信源符号的统计不均匀性。 3、三进制信源的最小熵为0,最大熵为32log bit/符号。 4、无失真信源编码的平均码长最小理论极限制为信源熵(或H(S)/logr= H r (S))。 5、当R=C 或(信道剩余度为0)时,信源与信道达到匹配。 6、根据信道特性是否随时间变化,信道可以分为恒参信道和随参信道。 7、根据是否允许失真,信源编码可分为无失真信源编码和限失真信源编码。 8、若连续信源输出信号的平均功率为2σ,则输出信号幅度的概率密度是高斯分布或正态分布或()22 212x f x e σπσ -= 时,信源 具有最大熵,其值为值21 log 22 e πσ。 9、在下面空格中选择填入数学符号“,,,=≥≤?”或“?” (1)当X 和Y 相互独立时,H (XY )=H(X)+H(X/Y)=H(Y)+H(X)。 (2)()() 1222H X X H X =≥()()12333 H X X X H X = (3)假设信道输入用X 表示,信道输出用Y 表示。在无噪有损信道中,H(X/Y)> 0, H(Y/X)=0,I(X;Y)

信息论期末复习

1、一个事件发生的概率和它提供的信息量有什么关系? 2、离散信源的概率如何分布,熵达到最大? 3、联合自信息量和条件自信息量也满足非负性吗? 4、信源熵12(,,...)q H p p p 是概率分布12,,...q p p p 的什么函数? 5、要做到几乎无失真信源编码,信息率必须满足什么条件? 6、加权熵的定义是什么?写出公式。 7、如何计算自信息量?自信息量的单位是唯一的吗?主要有哪几个单位? 8、联合自信息量()()()i j i j I x y I x I y =+在什么条件下成立? 9、掌握联合熵,条件熵和信源熵之间的关系。 10、什么是对无损信道?它有什么特点? 11、什么是对称信道?什么是准对称信道? 12、什么是信道容量? 13、要使离散对称信道的输出等概分布,输入分布应如何? 14、什么是信息率失真函数?自变量的范围如何确定?信息率的范围如何确定? 15、什么是平均失真度?给出平均失真度的定义。 16、什么是二元无记忆信源的扩展信源。 17、什么是信源编码?什么是信道编码? 18、设二元信源为120.40.6a a ??????,相应的失真矩阵为00αα?????? ,则最小失真度和最大失真度分别为多少? 19、信息价值率的定义是什么? 20、R(D)~D 曲线与信源概率分布有关吗?信源如何分布时R(D)最大? 21、怎么判断一组码字是否为唯一可译码? 22、在哈夫曼编码过程中,对缩减信源符号按概率由大到小的顺序重新排列时,应使合并后的新符号尽可能排在什么位置可使合并后的新符号重复编码次数减少,使短码得到充分利用。 课后习题(务必要看) 2.3 2.4 2.12 3.2 3.3 3.12 4.3 4.4 4.11 5.1 5.2 5.3

信息论基础试卷(期末A卷

重庆邮电大学2007/2008学年2学期 《信息论基础》试卷(期末)(A卷)(半开卷) 一、填空题(本大题共10小空,每小空1分,共20分) 1.按信源发出符号所对应的随机变量之间的无统计依赖关系,可将离散信源分为有记忆信源和无记忆信源两大类。 2.一个八进制信源的最大熵为3bit/符号 3.有一信源X,其概率分布为 123 x x x X 111 P 244 ?? ?? ? = ?? ? ?? ?? ,其信源剩余度为94.64%;若对该信源进行十次扩展, 则每十个符号的平均信息量是15bit。 4.若一连续消息通过放大器,该放大器输出的最大瞬间电压为b,最小瞬时电压为a。若消息从放大器中输出,则该信源的绝对熵是∞;其能在每个自由度熵的最大熵是log(b-a)bit/自由度;若放大器的最高频率为F,则单位时间内输出的最大信息量是2Flog(b-a)bit/s. 5. 若某一信源X,其平均功率受限为16w,其概率密度函数是高斯分布时,差熵的最大值为1 log32e 2 π;与 其熵相等的非高斯分布信源的功率为16w ≥ 6、信源编码的主要目的是提高有效性,信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限制为信源熵(或H(S)/logr= H r(S))。 8、当R=C或(信道剩余度为0)时,信源与信道达到匹配。 9、根据是否允许失真,信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,, =≥≤?”或“?” (1)当X和Y相互独立时,H(XY)=H(X)+H(X/Y)。 (2)假设信道输入用X表示,信道输出用Y表示。在无噪有损信道中,H(X/Y)> 0, H(Y/X)=0,I(X;Y)

信息论与编码期末考试题

(一) . 一、填空题 1、信源编码的主要目的是提高有效性,信道编码的主要目的是提高可靠性。 2、信源的剩余度主要来自两个方面,一是信源符号间的相关性,二是信源符号的统计不均匀性。 3、三进制信源的最小熵为0,最大熵为32log bit/符号。 4、无失真信源编码的平均码长最小理论极限制为信源熵(或H(S)/logr= H r (S))。 5、当R=C 或(信道剩余度为0)时,信源与信道达到匹配。 6、根据信道特性是否随时间变化,信道可以分为恒参信道和随参信道。 7、根据是否允许失真,信源编码可分为无失真信源编码和限失真信源编码。 8、若连续信源输出信号的平均功率为2σ,则输出信号幅度的概率密度是高斯分布或正态分布或()22 212x f x e σ πσ -=时,信源 具有最大熵,其值为值21 log 22e πσ。 9、在下面空格中选择填入数学符号“,,,=≥≤?”或“?” (1)当X 和Y 相互独立时,H (XY )=H(X)+H(X/Y)=H(Y)+H(X)。 (2)()() 1222 H X X H X = ≥() () 12333 H X X X H X = (3)假设信道输入用X 表示,信道输出用Y 表示。在无噪有损信道中,H(X/Y)> 0, H(Y/X)=0,I(X;Y)

信息论期末重点题

6.解释最小错误概率译码准则,最大似然译码准则和最小距离译码准则,说明三者的关答:最小错误概率译码准则下,将接收序列译为后验概率最大时所对应的码字。 最大似然译码准则下,将接收序列译为信道传递概率最大时所对应的码字。 最小距离译码准则下,将接收序列译为与其距离最小的码字。 三者关系为:输入为等概率分布时,最大似然译码准则等效于最小错误概率译码准则。在二元对称无记忆信道中,最小距离译码准则等效于最大似然译码准则。 1.设线性分组码的生成矩阵为,求: (1)此(n,k)码的n=? k=?,写出此(n,k)码的所有码字。 (2)求其对应的一致校验矩阵H。 (3)确定最小码距,问此码能纠几位错?列出其能纠错的所有错误图样和对应的伴随式。(4)若接收码字为000110,用伴随式法求译码结果。 1.答:1)n=6,k=3,由C=mG可得所有码字为: 000000,001011,010110,011101,100101,101110,110011,111000 2)此码是系统码,由G知,,则 3)由H可知,其任意2列线性无关,而有3列线性相关,故有,能纠一位错。 错误图样E 伴随式 100000 101 010000 110 001000 011 000100 100 000010 010 000001 001 4)由知E=010000,则 信息传输率为 则

6.设有一离散信道,其信道矩阵为,求: (1)最佳概率分布?(2)当,时,求平均互信息 信 道疑义度 (3 )输入为等概率分布时,试写出一译码规则,使平均译码错误率最小,并求此 答:1)是准对称信道,因此其最佳输入概率分布为。 2)当, 时,有 则 3)此时可用最大似然译码准则,译码规则为 且有 四(15分)设离散无记忆信道输入集合为X={0,1},输出集合为{0,E,1},信道转移概率 矩阵为0 103/41/81/811/81/83/4E ?????????? ,输入先验分布为Q(0)= 1/4,Q(1) =3/4。 (1) 求信道容量C 及其最佳分布。 (2) 求采用最佳译码准则下的译码规则,并计算平均错误概率。 (3) 设发送的消息只有两种0000和1111,若接收的序列为0E10,请根据最大似然 准则给出译码结果,并计算此时的错误概率。 五(15分)设二元(5,2)线性分组码的生成矩阵为

信息论期末考试试题

安徽大学2011—2012学年第1学期 《信息论》考试试卷(AB 合卷) 院/系 年级 专业 姓名 学号 一、填空题 1、接收端收到y 后,获得关于发送的符号是x 的信息量是 。 2、香农信息的定义 。 3、在已知事件z Z ∈的条件下,接收到y 后获得关于事件x 的条件互信息(;|)I x y z 的表达式为 。 4、通信系统模型主要分成五个部分分别为: 。 5、研究信息传输系统的目的就是要找到信息传输过程的共同规律,以提高信息传输的可靠性、有效性、 和 ,使信息传输系统达到最优化。 6、某信源S 共有32个信源符号,其实际熵H ∞=1.4比特/符号,则该信源剩余度为 。 7、信道固定的情况下,平均互信息(;)I X Y 是输入信源概率分布()P x 的 型凸函数。 信源固定的情况下,平均互信息(;)I X Y 是信道传递概率(|)P y x 的 型凸函数。 8、当信源与信道连接时,若信息传输率达到了信道容量,则称此信源与信道达到匹配。信道剩余度定义为 。 9、已知信源X 的熵H (X )=0.92比特/符号,则该信源的五次无记忆扩展信源X 5的信息熵 5()H X = 。

10、将∞H ,6H ,0H ,4H ,1H 从大到小排列为 。 11、根据香农第一定理,对于离散无记忆信源S ,用含r 个字母的码符号集对N 长信源符号序列进行变长编码,总能找到一种无失真的唯一可译码,使每个信源符号所需平均码长满足: 。 12、多项式剩余类环[](())q F x f x 是域的充要条件为 。 13、多项式剩余类环[](1)n q F x x -的任一理想的生成元()g x 与1n x -关系为 。 14、有限域12 2F 的全部子域为 。 15、国际标准书号(ISBN )由十位数字12345678910a a a a a a a a a a 组成(诸i a ∈11F ,满足: 10 1 0(mod11)i i ia =≡∑) ,其中前九位均为0-9,末位0-10,当末位为10时用X 表示。《Handbook of Applied Cryptography 》的书号为ISBN :7-121-01339- ,《Coding and Information Theory 》的书号为ISBN :7-5062-3392- 。 二、判断题 1、互信息(;)I x y 与平均互信息(;)I X Y 都具有非负性质。 ( ) 2、离散信源的信息熵是信源无失真数据压缩的极限值。 ( ) 3、对于无噪无损信道,其输入和输出有确定的一一对应关系。 ( ) 4、对于有噪无损信道,其输入和输出有确定的一一对应关系。 ( ) 5、设有噪信道的信道容量为C ,若信息传输率R C >,只要码长n 足够长,必存在一种信道编码和相应的译码规则,使译码平均错误概率E P 为任意小。反之,若R C <则不存在以R 传输信息而E P 为任意小的码。 ( ) 6、在任何信息传输系统中,最后获得的信息至多是信源所提供的信息。如果一旦在某一过程中丢失一些信息,以后的系统不管如何处理,如不触及到丢失信息过程的输入端,就不能再恢复已丢失的信息。 ( )

信息论与编码试卷及答案

一、(11’)填空题 (1)1948年,美国数学家香农发表了题为“通信的数学理论”的长篇论文,从而创立了信息论。 (2)必然事件的自信息是0 。 (3)离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。 (4)对于离散无记忆信源,当信源熵有最大值时,满足条件为__信源符号等概分布_。 (5)若一离散无记忆信 源的信源熵H(X) 等于2.5,对信源进 行等长的无失真二 进制编码,则编码 长度至少为 3 。 (6)对于香农编码、费诺编码和霍夫曼编码,编码方法惟一的是香农编码。(7)已知某线性分组码的最小汉明距离为3,那么这组码最多能检测出_2_______个码元错误,最多能纠正___1__个码元错误。 (8)设有一离散无记忆平稳信道,其信道容量为C,只要待传送的信息传输率R__小于___C(大于、小于或者等于), 则存在一种编码,当输入序列长度n足够大,使译码错误概率任意小。 (9)平均错误概率不仅与信道本身的统计特性有关,还与___译码规则____________和___编码方法___有关 二、(9')判断题 (1)信息就是一种消息。(?) (2)信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。(√) (3)概率大的事件自信息量大。(?) (4)互信息量可正、可负亦可为零。(√) (5)信源剩余度用来衡量信源的相关性程度,信源剩余度大说明信源符号间的依赖关系较小。 (?)

(6) 对于固定的信源分布,平均互信息量是信道传递概率的下凸函数。 ( √ ) (7) 非奇异码一定是唯一可译码,唯一可译码不一定是非奇异码。 ( ? ) (8) 信源变长编码的核心问题是寻找紧致码(或最佳码),霍夫曼编码方法构造的是最佳码。 ( √ ) (9)信息率失真函数R(D)是关于平均失真度D 的上凸函数. ( ? ) 三、(5')居住在某地区的女孩中有25%是大学生,在女大学生中有75%是身高1.6米以上的, 而女孩中身高1.6米以上的占总数的一半。 假如我们得知“身高1.6米以上的某女孩是大学生”的消息,问获得多少信息量? 解:设A 表示“大学生”这一事件,B 表示“身高1.60以上”这一事件,则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 (2分) 故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 (2分) I(A|B)=-log0.375=1.42bit (1分) 四、(5')证明:平均互信息量同信息熵之间满足 I(X;Y)=H(X)+H(Y)-H(XY) 证明: ()()() () ()()()() ()() Y X H X H y x p y x p x p y x p x p y x p y x p Y X I X X Y j i j i Y i j i X Y i j i j i -=??? ???---==∑∑∑∑∑∑log log log ; (2分) 同理 ()()() X Y H Y H Y X I -=; (1分) 则

信息论与编码期末考试题学生复习

《信息论基础》参考答案 一、填空题 1、信源编码的主要目的是提高有效性,信道编码的主要目的是提高可靠性。 2、信源的剩余度主要来自两个方面,一是信源符号间的相关性,二是信源符号的统计不均匀性。 3、三进制信源的最小熵为0,最大熵为32log bit/符号。 4、无失真信源编码的平均码长最小理论极限制为信源熵(或H(S)/logr= H r (S))。 5、当R=C 或(信道剩余度为0)时,信源与信道达到匹配。 6、根据信道特性是否随时间变化,信道可以分为恒参信道和随参信道。 7、根据是否允许失真,信源编码可分为无失真信源编码和限失真信源编码。 8、若连续信源输出信号的平均功率为 2 σ,则输出信号幅度的概率密度是高斯分布或正态分布或 ( )22 2x f x σ -= 时,信源具有最大 熵,其值为值21 log 22e πσ。 9、在下面空格中选择填入数学符号“,,,=≥≤?”或“?” (1)当X 和Y 相互独立时,H (XY )=H(X)+H(X/Y)=H(Y)+H(X)。 (2)()()1222 H X X H X =≥ ()() 12333 H X X X H X = (3)假设信道输入用X 表示,信道输出用Y 表示。在无噪有损信道中,H(X/Y)> 0, H(Y/X)=0,I(X;Y)

信息论与编码期末考试题(全套)

(一) 一、判断题共 10 小题,满分 20 分. 1. 当随机变量X 和Y 相互独立时,条件熵)|(Y X H 等于信源熵)(X H . ( ) 2. 由于构成同一空间的基底不是唯一的,所以不同的基 底或生成矩阵有可能生成同一码集. ( ) 3.一般情况下,用变长编码得到的平均码长比定长编码大得多. ( ) 4. 只要信息传输率大于信道容量,总存在一种信道编译 码,可以以所要求的任意小的误差概率实现可靠的通 信 ( ) 5. 各码字的长度符合克拉夫特不等式,是唯一可译码存在的充分和必要条件. ( ) 6. 连续信源和离散信源的熵都具有非负性. ( ) 7. 信源的消息通过信道传输后的误差或失真越大,信宿 收到消息后对信源存在的不确 定性就越小,获得的信息量就越小. 8. 汉明码是一种线性分组码. ( ) 9. 率失真函数的最小值是0 . ( ) 10.必然事件和不可能事件的自信息量都是0. ( ) 二、填空题共 6 小题,满分 20 分. 1 、 码 的 检 、 纠 错 能 力 取 决 于 . 2、信源编码的目的是 ;信道编码的目的是 . 3、把信息组原封不动地搬到码字前k 位的),(k n 码就叫做 . 4、香农信息论中的三大极限定理 是 、 、 . 5、设信道的输入与输出随机序列分别为X 和Y ,则 ),(),(Y X NI Y X I N N =成立的 条件 . 6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码, 编码方法惟一的是 . 7、某二元信源0 1()1/21/2X P X ????=??? ? ???? ,其失真矩阵00a D a ?? =???? ,则该信源的max D = . 三、本题共 4 小题,满分 50 分. 1、某信源发送端有2种符号i x )2,1(=i ,a x p =)(1;接收端有3种符号i y )3,2,1(=j ,转移概率矩阵为 1/21/201/21/41/4P ?? =???? . (1) 计算接收端的平均不确 定度()H Y ; (2) 计算由于噪声产生的不确定度(|)H Y X ; (3) 计算信道容量以及最佳入口分布. 2、一阶马尔可夫信源的状态转移图如右图所示, 信源X 的符号集为}2,1,0{. (1)求信源平稳后的概率分布; (2)求此信源的熵; (3)近似地认为此信源为无记忆时,符号的概率分布为平 稳分布.求近似信源的熵)(X H 并与H ∞进行比较. 3、设码符号为}2,1,0{=X ,信源空间为 ?? ????05.005.005.005.01.01.02.04.08765 4321s s s s s s s s 试构造一种三元紧致码. 4、设二元)4,7(线性分组码的生成矩阵为 ? ? ??? ???? ???=1000101010011100101100001011G . (1)给出该码的一致校验矩阵,写出所有的陪集首和与之相对应的伴随式; (2)若接收矢量)0001011(=v ,试计算出其对应的伴图2-13

信息论与编码期末试卷

课程名:信息论与编码课程号: 07276033学分: 4 一:填空题(每空2分,共40分) 1:掷一个正常的骰子,出现‘5’这一事件的自信息量为________,同时掷两个正常的骰子,‘点数之和为5’这一事件的自信息量为___________.(注明物理单位) 2:某信源包含16个不同的离散消息,则信源熵的最大值为___________,最小值为_____________. 3:信源X经过宥噪信道后,在接收端获得的平均信息量称为______________. 4:一个离散无记忆信源输出符号的概率分别为p(0)=0.5,p(1)=0.25,p(2)=0.25,则由60个符号构成的消息的平均自信息量为__________. 5:信源编码可提高信息传输的___有效___性,信道编码可提高信息传输的___可靠_性. 6:若某信道的信道矩阵为 ? ? ? ? ? ? ? ? ? ? ? ? 001 100 010 100 ,则该信道为具有____归并____性能的信道 7:根据香农第一定理(定长编码定理)若一个离散无记忆信源X的信源熵为H(X),对其n个符号进行二元无失真编码时,其码字的平均长度必须大于____________ 8:若某二元序列是一阶马尔科夫链,P(0/0)=0.8,P(1/1)=0.7,则‘0’游程长度为4的概率为____________,若游程序列为312314,则原始的二元序列为_________. 9:若循环码的生成多项式为 1 ) (2 3+ + =x x x g,则接收向量为(1111011)的伴随多项式为_______________ 有此卷,不作弊,拿高分

信息论与编码期末考试题----学生复习用 2

1、信源编码的主要目的是提高有效性,信道编码的主要目的是提高可靠性。 2、信源的剩余度主要来自两个方面,一是信源符号间的相关性,二是信源符号的统计不均匀性。 3、三进制信源的最小熵为0,最大熵为32log bit/符号。 4、无失真信源编码的平均码长最小理论极限制为信源熵(或H(S)/logr= H r (S))。 5、当R=C 或(信道剩余度为0)时,信源与信道达到匹配。 6、根据信道特性是否随时间变化,信道可以分为恒参信道和随参信道。 7、根据是否允许失真,信源编码可分为无失真信源编码和限失真信源编码。 8、若连续信源输出信号的平均功率为2σ,则输出信号幅度的概率密度是高斯分布或正态分布或()22 212x f x e σ πσ - =时,信源 具有最大熵,其值为值21 log 22e πσ。 9、在下面空格中选择填入数学符号“,,,=≥≤?”或“?” (1)当X 和Y 相互独立时,H (XY )=H(X)+H(X/Y)=H(Y)+H(X)。 (2)()() 1222 H X X H X = ≥()() 12333 H X X X H X = (3)假设信道输入用X 表示,信道输出用Y 表示。在无噪有损信道中,H(X/Y)> 0, H(Y/X)=0,I(X;Y)

最新《信息论》期末考试B卷答案

精品文档 北方民族大学试卷 课程代码: 01100622 课程: 信息理论及编码 B 卷答案 说明:此卷为《信息理论及编码》B 卷答案 一、概念简答题(每小题6分,共30分) 1、比较平均自信息(信源熵)与平均互信息的异同。 答:平均自信息为 ()()()1 log q i i i H X P a P a ==- ∑,表示信源的平均不确定度,也表示平 均每个信源消息所提供的信息量。………………………………………(3分) 平均互信息()()() () ,;log X Y y P x I X Y P xy P y = ∑。表示从Y 获得的关于每个X 的平均信息量, 也表示发X 前后Y 的平均不确定性减少的量,还表示通信前后整个系统不确定性减少的量。 ………………………………………(3分) 2、简述香农第一定理。 答:对于离散信源S 进行r 元编码,只要其满足 () _ log H s N N r L ≥ ,…………………(3分) 当N 足够长,总可以实现无失真编码。………………………………………(3分) 3、简述唯一可译变长码的判断方法? 答:将码C 中所有可能的尾随后缀组成一个集合F ,当且仅当集合F 中没有包含任一码字时,码C 为唯一可译变长码。构成集合F 的方法:…………………(2分) 首先,观察码C 中最短的码字是否是其他码字的前缀。若是,将其所有可能的尾随后缀排列出。而这些尾随后缀又可能是某些码字的前缀,再将由这些尾随后缀产生的新的尾随后缀列出。依此下去,直至没有一个尾随后缀是码字的前缀或没有新的尾随后缀产生为止。…………………(2分) 接着,按照上述步骤将次短的码字直至所有码字可能产生的尾随后缀全部列出,得到尾随后缀集合F 。…………………(2分) 4、简述最大离散熵定理。

信息论与编码期末复习(基本上涵盖了所有考点,有了这份资料,期末绝不会挂科)

信息论与编码期末复习(基本上涵盖了所有考点,有了这份资料,期末绝不会挂科) 1填空题 1、信息论研究的主要问题是如何提高信息传输系的性和性,对应这两个性能数字通讯系统 量化指标分别为和。 2、若给定离散概率空间[X,p(x)]表示的信源,则该信源中的信源消息(事件)x的自信息量可表 I(x)= ;该信源平均自信息量(即信源的熵)可表示为H(X)=E[I(x)]= 。 3、在离散联合概率空间[XY,P(xy)] 上随机变量I(xy) 的数学期望H(XY)= ,若集合X与集 合Y相互独立,则H(XY)= 。 4、若给定离散联合概率空间[XY,P(xy)],则x与y之间的互信息量I(x;y)= ;平均互信息量可用熵和条 件熵表示即I(X;Y)= = ,其中条件熵H(X|Y)通常称为熵,条件熵H(Y|X) 称为____________熵;若集合X与集合Y相互独立,则H(X|Y) = ,H(Y|X) = ,平均互信息量I(X;Y)= 。 5、离散信源的冗余度是R表示信源消息的可压缩____________,设信源符号集的最大熵为Ho,实际熵为H∞, 则冗余度R可表示为______________;信源编码目的就是通过减少或消除信源____________来提高信息传输效率,因此信源编码亦称__________性编码,而信道编码则称__________性编码。 6、对于连续随机变量,在峰值功率受限于P m的条件下,取得最大相对熵的最佳概率密度函数是一个恒值即 W opt(x)=_________,称W(x)为__________分布,这时最大相对熵H cmax=__________。 7、对于平均功率受限,均值不为零的一维连续随机变量的方差为定值时,其取得最大相熵的最佳概率密度函数为 正态分布,即W opt(x)= _________ ,最大相对熵H cmax=__________。 8、假设任一随机变量X与一正态分布随机变量具有相同的相对熵Hc,则其等效正态分布 的随机变量X的熵功率为P=;可以用信号平均功率和熵功率的相对差值_________来表示连续信源的冗余度。 9、离散无记忆信道的信息传输率就是,即R=I(X;Y),信道容量就是指最大的,即 C=。 10、在离散无记忆信道中的可逆矩阵信道是指信道转移矩阵P为时,即矩阵P-1存在,则有 可能用计算该信道容量C。 11、对于离散无记忆信道,若信息传输率达到了信道容量,我们称信源与信道达到,信道剩余度定义为: 信道剩余度=C;在无损信道中,信道容量C=(n为信道输入符号个数),无损信道的相对剩余度=,这表明无损信道可以通过编码减少剩余度,使信息传输率达到C;编码就是要将信源输出的消息编码成为新的码元符号来传输,而使新的码元符号的熵接近最大熵。这时信道剩余度接近于,信道得到充分利用,这就是香农无失真信源理论。 12、对于时间离散连续信道,在给定噪声功率下,干扰是最坏的情况,在干扰时, 信道容量最小,如果信道干扰统计特性未知时,把干扰看成是分布是比较安全的。 13、积信道的信道容量C=,和信道的信道容量C=,输入并接信道容量C满 足。 14、在信源编码中,按码字长度的不同,可将码分为码和码,按码字是否全部相同可分为 码和码,一般说,要实现无失真的编码,要求所编的码是可译码。 15、若q为信源符号的个数,r为码符号的个数,l为等长码的码长,则对信源进行等长唯一可译码编码,必须满 足的条件为q。 16、变长编码可使出现概率大的信源符号用较(长、短)码字表示,出现概率小的信源符号用较 (长、短)的码字表示;是指在译码时无需参考后续的码符号就能立即做出判断的一类码(即一个

相关文档
最新文档