第章离散信源题与答案

信息论与编码理论无失真信源编码历年考试解答

Equation Chapter 1 Section 1 第4章无失真信源编码 习题及其参考答案 4-1 有一信源，它有六个可能地输出，其概率分布如下表所示，表中给出了对应地码A、B、C、D、E和F （1）求这些码中哪些是唯一可译码； （2）求哪些码是及时码； （3）对所有唯一可译码求出其平均码长. 4-2 设信源.对此次能源进行m元唯一可译编码，其对应地码长为（l1,l2,…,l6）=(1,1,2,3,2,3)，求m值地最好下限.（提示：用kraft不等式） 4-3设信源为，编成这样地码：（000，001， 010，011，100，101，110，111）.求 （1）信源地符号熵； （2）这种码地编码效率； （3）相应地仙农码和费诺码. 4-4求概率分布为信源地二元霍夫曼编码.讨论此码对于概率分布为 地信源也是最佳二元码. 4-5有两个信源X和Y如下：

（1）用二元霍夫曼编码、仙农编码以及费诺编码对信源X和Y进行编码，并计算其平均码长和编码效率； （2）从X，Y两种不同信源来比较三种编码方法地优缺点. 4-6设二元霍夫曼码为（00，01，10，11）和（0，10，110，111），求出可以编得这样 霍夫曼码地信源地所有概率分布. 4-7设信源为，求其三元霍夫曼编码. 4-8若某一信源有N个符号，并且每个符号等概率出现，对这个信源进行二元霍夫曼编码，问当N=2i和N=2i+1（i是正整数）时，每个码值地长度是多少？平均码长是多少？ 4-9现有一幅已离散量化后地图像，图像地灰度量化分成8级，如下表所示.表中数字为相应像素上地灰度级. （1）不考虑图像地任何统计特性，对图像进行二元等长编码，这幅图像共需要多少个二元符号描述？ （2）若考虑图像地统计特性，求这幅图像地信源熵，并对每个灰度级进行二元霍夫曼编码，问平均每个像素需用多少二元符号表示. 4-10在MPEG中为了提高数据压缩比，采用了____方法. A．运动补偿与运行估计 B.减少时域冗余与空间冗余 C．帧内图像数据与帧间图像数据压缩 D.向前预测与向后预测 4-11 JPEG中使用了____熵编码方法.

第5章_无失真信源编码题与答案

第5章_无失真信源编 码题与答案 本页仅作为文档封面，使用时可以删除 This document is for reference only-rar21year.March

有一信源，它有6个可能的输出，其概率分布如题表所示，表中给出了对应的码 E D C B A ,,,, 和 F 。 (1) 求这些码中哪些是唯一可译码； (2) 求哪些是非延长码（即时码）； (3) 对所有唯一可译码求出其平均码长L 。 解： (1) 唯一可译码：A ，B ，C A 是等长码，码长3，每个码字各不相同，因此是唯一可译码。 B 是非即时码，前缀码，是唯一可译码。 C 是即时码，是唯一可译码。 D 是变长码，码长}4 ,4 ,4 ,3 ,2 ,1{，不是唯一可译码，因为不满足Kraft 不等式。 10625.132******** 321≥=??? ? ??+??? ??+??? ??+??? ??=∑-i l i r E 是变长码，码长}4 ,4 ,4 ,4 ,2 ,1{，满足Kraft 不等式，但是有相同的码字， 110053==W W ，不是唯一可译码。 1142121214 21≤=??? ? ??+??? ??+??? ??=∑-i l i r F 是变长码，码长}3 ,3 ,3 ,3 ,3 ,1{，不满足Kraft 不等式，不是唯一可译码。 1125.1521213 1≥=??? ? ??+??? ??=∑-i l i r (2) 非延长码：A ，C (3)

3125.1616 1 5161416131612411213 =?+?+?+?+?+?= ?===∑i i i C B A l p L L L

第5章_无失真信源编码 题与答案

有一信源，它有6个可能的输出，其概率分布如题表所示，表中给出了对应的码E D C B A ,,,, 和 F 。 (1) 求这些码中哪些是唯一可译码； * (2) 求哪些是非延长码（即时码）； (3) 对所有唯一可译码求出其平均码长L 。 解： (1) 唯一可译码：A ，B ，C A 是等长码，码长3，每个码字各不相同，因此是唯一可译码。 B 是非即时码，前缀码，是唯一可译码。 C 是即时码，是唯一可译码。 D 是变长码，码长}4 ,4 ,4 ,3 ,2 ,1{，不是唯一可译码，因为不满足Kraft 不等式。 10625.132******** 321≥=??? ? ??+??? ??+??? ??+??? ??=∑-i l i r ） E 是变长码，码长}4 ,4 ,4 ,4 ,2 ,1{，满足Kraft 不等式，但是有相同的码字，110053==W W ，不是唯一可译码。 1142121214 21≤=??? ? ??+??? ??+??? ??=∑-i l i r F 是变长码，码长}3 ,3 ,3 ,3 ,3 ,1{，不满足Kraft 不等式，不是唯一可译码。 1125.1521213 1≥=??? ? ??+??? ??=∑-i l i r

(2) 非延长码：A ，C (3) 3125 .16161 5161416131612411213 =?+?+?+?+?+?=?===∑i i i C B A l p L L L 设离散信源的概率空间为 % ???? ??=??????05.010.015.020.025.025.0654321 s s s s s s P S 对其采用香农编码，并求出平均码长和编码效率。 解： ()%7.897 .2423 .2)( 423.205.0log 05.0...25.0log 25.0log )(7 .2505.041.0315.032.0225.0225.0=== =?++?-=-==?+?+?+?+?+?=?=∑∑L S H bit p p S H l p L i i i i i i η 设无记忆二元信源，其概率995.0 ,005.021==p p 。信源输出100=N 的二元序列。在长为 100=N 的信源序列中只对含有3个或小于3个“1”的各信源序列构成一一对应的一组等长码。 (1) 求码字所需要的长度； (2) 考虑没有给予编码的信源序列出现的概率，该等长码引起的错误概率E p 是多少 } 解： (1)

第3章_离散信源(1)题与答案

3.1 设有一离散无记忆信源，其概率空间为 ??? ? ??=====??????8/14/1324/18/310)(4321x x x x X P X 该信源发出的信息序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)。 求： (1) 此消息的自信息量是多少？ (2) 此消息中平均每符号携带的信息量是多少？ 解： (1) 此消息总共有14个0、13个1、12个2、6个3，因此消息发出的概率是： 6 2514814183?? ? ?????? ?????? ??=p 此消息的信息量是：bit p I 811.87log =-= (2) 此消息中平均每符号携带的信息量是：bit n I 951.145/811.87/== 3.2 某一无记忆信源的符号集为{0, 1}，已知信源的概率空间为 ???? ??=??????4/34/110 )(X P X (1) 求信息符号的平均熵； (2) 由100个符号构成的序列，求某一特定序列（例如有m 个“0”和（100 - m ）个“1”）的自信息量的表达式； (3) 计算(2)中序列的熵。 解： (1) bit x p x p X H i i i 811.043log 4341log 41 )(log )()(=??? ??+-=-=∑ (2) bit m x p x I x p m i i m m m i 585.15.4143 log )(log )(4 34341)(100 100100 100100+=-=-==? ? ? ?????? ??=--- (3) bit X H X H 1.81811.0100)(100)(100=?== 3.5 某信源的消息符号集的概率分布和二进制代码如题表3.2所列。 题表 3.2

离散信源无失真信源编码

离散信源无失真信源编码 目的： 熟练掌握无失真信源编码的方法；熟练掌握Huffman 编码的平均码长和编码效率的 Huffman 编码的基本原理及特点： Huffman 编码是一种可变长编码算法，该方法完全依据字符出现概率来构造异字头的平均长度最短的码字，有时称之为最佳编码。Huffman 编码一般利用二叉树结构实现，其基本原理是频繁使用的数据用较短的代码代替，较少使用的数据用较长的代码代替，每个数据的代码各不相同。 Huffman 编码在信源符号表示平均所需要的比特数方面是最优的，而且也满足前缀条件（即唯一可译码）。 在编码效率方面，Huffman 编码是基于二叉树算法的特点以及性质。从书本的例题看出Huffman 编码方法得到的码是不唯一的。不同的排序准则以及不同的符号分配都会影响到最后的结果，虽然编码的效率相同，但是影响到了编码的质量。从课本上的例题可以看出，二叉树的层数较少的，编码质量较高（从码方差得出）。在编码的时候，要尽量避免二叉树的稀疏性给编码质量带来的影响。要减少二叉树的稀疏性就要提高二叉树的利用率，减少二叉树的层数。 Huffman 编码基本步骤，画出程序流程图： Huffman 编码步骤： （1）将信源符号按概率递减的次序排序 （2）将两个最小概率的分支分别标记为‘1’和‘0’，他们的结合点为两分支概率之和 （3）将上面的概率和看作一个新符号的概率。 （4）重新排列后，重复上面的步骤。 （5）从最后的节点开始读取，到要找的符号，路径的分支标号就是码字 流程图：

输入数据： 输入编码： 当输入为例题中数据时，输出为：当输入是习题中数据时，输出为： 讨论不同的Huffman 编码的平均码长如何变化，码字长度偏离平均码长对编码性能的影响。 答：不同的Huffman编码方法得到的平均码长是相同的，编码效率也相同。但是，不同的编码方法对码的质量会产生影响。通过求码方差可知，码方差越小，编码质量越高。从树的结构方面来看，就是树的层数较少的编码方法质量较高。

实验三 无失真信源编码

实验三 无失真信源编码 一、[实验目的] 1、理解香农第一定理指出平均码长与信源之间的关系； 2、加深理解香农编码具有的重要的理论意义。 3、掌握霍夫曼编码的原理； 4、掌握霍夫曼编码的方法和步骤； 二、[实验环境] windows XP,MATLAB 7 三、[实验原理] 香农第一定理： 设离散无记忆信源为 12 (1) (2)....()S s s sq P p s p s p sq ????=???????? 熵为H(S)，其N 次扩展信源为 12 (1) (2)....()N q S p p p q P αααααα????=???????? 熵为H(S N )。码符号集X=（x1,x2,…,xr ）。先对信源N S 进行编码，总可以找 到一种编码方法，构成惟一可以码，使S 中每个信源符号所需的平均码长满足： 1N L H S H S N N +>≥（）（）logr logr 当N →∞时 lim ()N r N L H S N →∞= N L 是平均码长 1 ()N q N i i i L p αλ==∑ i λ是i α对应的码字长度 四、[实验内容] 1、在给定离散无记忆信源 S P s1 s2 s3 s4 1/8 5/16 7/16 1/8 =

条件下，实现二进制霍夫曼编码，求最后得到的码字并算出编码效率。 五、[实验过程] 每个实验项目包括：1)设计思路2)实验中出现的问题及解决方法； 某一离散信源概率分布：p=[1/2,1/4,1/8,1/16,1/16] 求信源的熵，并对该信源进行二元哈夫曼编码，得到码字和平均码长以及编码效率。 Matlab程序： function [h,l]=huffman(p) p=[1/2 1/4 1/8 1/16 1/16]; if length(find(p<0))~=0, error('Not a prob.vector,there is negative component') end if abs (sum(p)-1)>10e-10 error('Input is not a prob.vector,the sun of the components is not equal to 1') end n=length(p); q=p; m=zeros(n-1,n); for i=1:n-1 [q,l]=sort(q); m(i,:)=[l(1:n-i+1),zeros(1,i-1)]; q=[q(1)+q(2),q(3:n),1]; end for i=1:n-1 c(i,:)=blanks(n*n); end c(n-1,n)='0'; c(n-1,2*n)='1'; for i=2:n-1

第二章信源信息熵

第二章信源与信息熵 主要内容：（1）信源的描述与分类；（2）离散信源熵和互信息；（3）离散序列信源的熵；（4）连续信源的熵和互信息；（5）冗余度。 重点：离散/连续信源熵和互信息。 难点：离散序列有记忆信源熵。 说明：本章内容主要针对信源，但是很多基本概念却是整个信息论的基础，所以安排了较多课时。由于求熵涉及一些概率论的基础知识，考虑到大四的同学可能对这部分知识已经遗忘，故适当复习部分概率论知识。较难的 2.1.2节马尔可夫信源部分放置在本章最后讲，便于同学理解。本章概念和定理较多，比较抽象，课堂教学时考虑多讲述一些例题，通过例题来巩固概念和消化定理。 作业： 2．1—2．7，2．10，2．12。 课时分配：10课时。 板书及讲解要点： 在信息论中，信源是发出消息的源，信源输出以符号形式出现的具体消息。如果符号是确定的而且预先是知道的，那么该消息就无信息而言。只有当符号的出现是随机的，预先无法确定，一旦出现某个符合就给观察者提供了信息。因此应该用随机变量或随机矢量来表示信源，运用概率论和随机过程的理论来研究信息，这就是香农信息论的基本点。 2．1 信源的描述与分类 在通信系统中收信者在未收到消息以前对信源发出什么消息是不确定的，是随机的，所以可用随机变量、随机序列或随机过程来描述信源输出的消息，或者说用一个样本空间及其概率测度——概率空间来描述信源。 信源：产生随机变量、随机序列和随机过程的源。 信源的基本特性：具有随机不确定性。 信源的分类 离散信源：文字、数据、电报——随机序列 连续信源：话音、图像——随机过程 离散信源：输出在时间和幅度上都是离散分布的消息。

消息数是有限的或可数的，且每次只输出其中一个消息，即两两不相容。 发出单个符号的无记忆信源 离散无记忆信源： 发出符号序列的无记忆信源 离散信源 离散有记忆信源： 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源 概率论基础： 无条件概率，条件概率和联合概率的性质和关系： （1） 非负性 0()()(/)(/)()1i j j i i j i j p x p y p y x p x y p x y ≤≤，，，， （2） 完备性 111 1 11 ()1,()1,(/)1, (/)1,()1 n m n i j i j i j i m m n j i i j j j i p x p y p x y p y x p x y ===========∑∑∑∑∑∑ 1 1 ()(),()()n m i j j i j i i j p x y p y p x y p x ====∑∑ （3） 联合概率 ()()(/)()(/)()()()(/)()(/)() i j i j i j i j i j i j j i j i j i p x y p x p y x p y p x y X Y p x y p x p y p y x p y p x y p x =====当与相互独立时，， （4） 贝叶斯公式 1 1 () () (/)(/)() () i j i j i j j i n m i j i j i j p x y p x y p x y p y x p x y p x y === = ∑∑， 2.1.1 无记忆信源： 例如扔骰子，每次试验结果必然是1～6点中的某一个面朝上。可以用一个离散型随机变量X 来描述这个信源输出的消息。

离散信源题与答案

设有一离散无记忆信源，其概率空间为 ??? ? ??=====??????8/14/1324/18/310)(4321x x x x X P X 该信源发出的信息序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)。 求： (1) 此消息的自信息量是多少？ (2) 此消息中平均每符号携带的信息量是多少？ 解： (1) 此消息总共有14个0、13个1、12个2、6个3，因此消息发出的概率是： 6 2514814183?? ? ?????? ?????? ??=p 此消息的信息量是：bit p I 811.87log =-= (2) 此消息中平均每符号携带的信息量是：bit n I 951.145/811.87/== 某一无记忆信源的符号集为{0, 1}，已知信源的概率空间为 ???? ??=??????4/34/110 )(X P X (1) 求信息符号的平均熵； (2) 由100个符号构成的序列，求某一特定序列（例如有m 个“0”和（100 - m ）个“1”）的自信息量的表达式； (3) 计算(2)中序列的熵。 解： (1) bit x p x p X H i i i 811.043log 4341log 41 )(log )()(=??? ??+-=-=∑ (2) bit m x p x I x p m i i m m m i 585.15.4143 log )(log )(4 34341)(100 100100 100100+=-=-==? ? ? ?????? ??=--- (3) bit X H X H 1.81811.0100)(100)(100=?== 某信源的消息符号集的概率分布和二进制代码如题表所列。 题表

英语信源汉语信源信息熵的研究

英语信源、汉语信源及其信息熵的研究 摘要 英语信源和汉语信源是两种不同的自然语信源，而信息熵反映了信源的记忆长度，信源的记忆长度越长，熵就越小。只有当记忆长度为0，即信源符号间彼此没有任何依赖关系且等概率分布时，信源熵达到最大值。也就是说，信源符号相关性越强，所提供的平均信息量就越小。所以，研究这两种信源的信息熵，就可以得出每种信源中符号的相关性，和提供的平均信息量，量化的来比较两种语言。 关键词 英语信源 汉语信源 信息熵 正文 一、英语信源及其信息熵 英语字母有26个，加上空格，共27个符号。根据熵的性质，信源的最大熵 02log 27 4.76(/)H bit symbol == 但实际上，英语中的字母并非等概率出现，字母之间还有严格的依赖关系。如果我们对英语书中27个符号出现的概率加以统计，可得： 27个英语字符出现的概率 符号 概率 符号 概率 符号 概率 空格 0.2 S 0.052 Y,M 0.012 E 0.105 H 0.047 G 0.011 T 0.072 D 0.035 B 0.0105 O 0.0654 L 0.029 V 0.008 A 0.063 C 0.023 K 0.003 N 0.059 F,U 0.0225 X 0.002

I 0.055 M 0.021 J,Q 0.001 R 0.054 P 0.0175 Z 0.001 如果不考虑上述符号之间的依赖关系，即近似地认为信源是离散无记忆信源，根据离散上的定义可得 27121()log () 4.03(/) i i i H p a p a bit symbol ==-=∑ 按上述表格中的概率分布，随机选择英语字母排列起来，得到一个信源输出序列： AI_NGAE_ITE_NNR_ASAEV_OTE_BAINTHA_HYROO_POER_SE TRYGAIETRWCO … 可见，这些字母完全是随机排列，毫无相关性，却不是英语单词，所以我们应该考虑字母的依赖性。 为了进一步逼近实际情况，可把婴语信源近似地看作1阶，2阶，…，∞阶马尔可夫信源，求得相应的熵 2 3.32(/)H bit symbol = 3 3.1(/)H bit symbol = 异推出，马尔可夫信源阶数越高，输出的序列越接近实际情况。当依赖关系延伸到无穷远时，信源输出就是真正的英语。所以我们求马尔可夫信源的极限熵 1.4(/)H bit symbol ∞= 二、汉语信源及其信息熵

第5章_无失真信源编码 题与答案资料

5.1 有一信源，它有6个可能的输出，其概率分布如题 5.1表所示，表中给出了对应的码 E D C B A ,,,, 和 F 。 (1) 求这些码中哪些是唯一可译码； (2) 求哪些是非延长码（即时码）； (3) 对所有唯一可译码求出其平均码长L 。 解： (1) 唯一可译码：A ，B ，C A 是等长码，码长3，每个码字各不相同，因此是唯一可译码。 B 是非即时码，前缀码，是唯一可译码。 C 是即时码，是唯一可译码。 D 是变长码，码长}4 ,4 ,4 ,3 ,2 ,1{，不是唯一可译码，因为不满足Kraft 不等式。 10625.132******** 321≥=??? ? ??+??? ??+??? ??+??? ??=∑-i l i r E 是变长码，码长}4 ,4 ,4 ,4 ,2 ,1{，满足Kraft 不等式，但是有相同的码字，110053==W W ，不是唯一可译码。 1142121214 21≤=??? ? ??+??? ??+??? ??=∑-i l i r F 是变长码，码长}3 ,3 ,3 ,3 ,3 ,1{，不满足Kraft 不等式，不是唯一可译码。 1125.1521213 1≥=??? ? ??+??? ??=∑-i l i r (2) 非延长码：A ，C (3) 3125.1616 1 5161416131612411213 =?+?+?+?+?+?= ?===∑i i i C B A l p L L L

5.7 设离散信源的概率空间为 ???? ??=??????05.010.015.020.025.025.0654321 s s s s s s P S 对其采用香农编码，并求出平均码长和编码效率。 解： ()%7.897 .2423 .2)( 423.205.0log 05.0...25.0log 25.0log )(7 .2505.041.0315.032.0225.0225.0=== =?++?-=-==?+?+?+?+?+?=?=∑∑L S H bit p p S H l p L i i i i i i η 5.8 设无记忆二元信源，其概率995.0 ,005.021==p p 。信源输出100=N 的二元序列。在长为100=N 的信源序列中只对含有3个或小于3个“1”的各信源序列构成一一对应的一组等长码。 (1) 求码字所需要的长度； (2) 考虑没有给予编码的信源序列出现的概率，该等长码引起的错误概率E p 是多少？ 解： (1) 码字中有0个“1”，码字的个数：10 100=C 码字中有1个“1”，码字的个数：1001100=C 码字中有2个“1”，码字的个数：49502100=C 码字中有3个“1”，码字的个数：1617003 100=C 18 35.17166751log log 166751 161700495010013100210011000100===≥≥=+++=+++=i r i l l q l q r C C C C q i

英语信源汉语信源信息熵的研究

英语信源、汉语信源及其信息熵的研究 摘要英语信源和汉语信源是两种不同的自然语信源，而信息熵反映了信源的记忆长度，信源的记忆长度越长，熵就越小。只有当记忆长度为0，即信源符号间彼此没有任何依赖关系且等概率分布时，信源 符号概率符号概率符号概率 空格0.2 S 0.052 Y,M 0.012 E 0.105 H 0.047 G 0.011 T 0.072 D 0.035 B 0.0105 O 0.0654 L 0.029 V 0.008 0.023 K 0.003 A 0.063 C N 0.059 F,U 0.0225 X 0.002 I 0.055 M 0.021 J,Q 0.001

R 0.054 P 0.0175 Z 0.001 如果不考虑上述符号之间的依赖关系，即近似地认为信源是离散无记忆信源，根据离散上的定义可得 27121()log () 4.03(/) i i i H p a p a bit symbol ==-=∑ 1.4(/)H bit symbol ∞= 二、汉语信源及其信息熵 对于英语，字符数少，可轻松的计算出英语信源的信息熵，但是对于汉语这个中文字符极其庞大的信源，科学家们做出了大量的统计

与计算。方法同上面的英语信源信息熵的计算，不过计算量增加了非常多。下面是截取的一些统计资料。 CCL 语料库-现代汉语总字频数：307,317,060 总字种数：9711 字频表： 的:11523375 一:4140344 是:3291508 了:3059837 在:2933070 人:2827726 不:2733842 国:2645758 有:2507415 中:2182025 他:2029395 这:1968713 我:1940875 和:1872750 大:1832977 （ZIPF'S LAW）核算，汉字的容量极限是12366个汉字，汉字的平均信息量是9.65比特 三、英语信源和汉语信源的比较 显而易见，汉语信源的信源熵远远大于英语信源的信息熵，说明

信息论与编码理论-第4章无失真信源编码-知识题解答-2007120

第4章无失真信源编码 习题及其参考答案 4-1 有一信源，它有六个可能的输出，其概率分布如下表所示，表中给出了对应的码A、B、C、D、E和F （1）求这些码中哪些是唯一可译码； （2）求哪些码是及时码； （3）对所有唯一可译码求出其平均码长l。 4-2 设信源 6 126 1 126 ()1 ()()() ()i i s s s X p s p s p s p s P X = ?? ?? == ?? ?? ???? ∑。对此次能源进行m元唯一 可译编码，其对应的码长为（l1,l2,…,l6）=(1,1,2,3,2,3)，求m值的最好下限。（提示：用kraft不等式）

4-3设信源为1 234567 811111111()2 4 8 16 3264128128s s s s s s s s X p X ?? ????=???? ??? ??? ，编成这样的码：（000，001，010，011，100，101，110，111）。求 （1）信源的符号熵； （2）这种码的编码效率； （3）相应的仙农码和费诺码。 4-4求概率分布为11122 (,,, ,)3551515 信源的二元霍夫曼编码。讨论此码对于概率分布为 11111 (,,,,)55555 的信源也是最佳二元码。 4-5有两个信源X 和Y 如下： 1 234567()0.200.190.180.170.150.100.01X s s s s s s s p X ????=???????? 1 23456789()0.490.140.140.070.070.040.020.020.01Y s s s s s s s s s p Y ????=???????? （1）用二元霍夫曼编码、仙农编码以及费诺编码对信源X 和Y 进行编码，并计算其平均码长和编码效率； （2）从X ，Y 两种不同信源来比较三种编码方法的优缺点。 4-6设二元霍夫曼码为（00，01，10，11）和（0，10，110，111），求出可以编得这样 霍夫曼码的信源的所有概率分布。 4-7设信源为1234 5678()0.40.20.10.10.050.050.050.05X s s s s s s s s p X ????=???????? ，求其三元霍夫曼编 码。 4-8若某一信源有N 个符号，并且每个符号等概率出现，对这个信源进行二元霍夫曼编码，问当 N =2i 和N =2i +1（i 是正整数）时，每个码值的长度是多少？平均码长是多少？ 4-9现有一幅已离散量化后的图像，图像的灰度量化分成8级，如下表所示。表中数字为相应像

信息论与编码理论-第4章无失真信源编码-习题解答-20071202

第4章 无失真信源编码 习题及其参考答案 4-1 有一信源，它有六个可能的输出，其概率分布如下表所示，表中给出了对应的码A 、B 、C 、D 、E 和F （1）求这些码中哪些是唯一可译码； （2）求哪些码是及时码； （3）对所有唯一可译码求出其平均码长l 。 4-2 设信源6 1 261 126()1() () ()()i i s s s X p s p s p s p s P X =????==???? ???? ∑。对此次能源进行m 元唯一 可译编码，其对应的码长为（l 1,l 2,…,l 6）=(1,1,2,3,2,3)，求m 值的最好下限。（提示：用kraft 不等式） 4-3设信源为1 234567 811111111()2 4 8 16 3264128128s s s s s s s s X p X ?? ????=???? ??? ??? ，编成这样的码：（000，001，010，011，100，101，110，111）。求 （1）信源的符号熵； （2）这种码的编码效率； （3）相应的仙农码和费诺码。 4-4求概率分布为11122 (, ,,,)3551515 信源的二元霍夫曼编码。讨论此码对于概率分布为11111 (,,,,)55555 的信源也是最佳二元码。 4-5有两个信源X 和Y 如下： 1 234567()0.200.190.180.170.150.100.01X s s s s s s s p X ????=???????? 123456789()0.490.140.140.070.070.040.020.020.01Y s s s s s s s s s p Y ????=????????

常见无失真信源编码算法及Matlab实现比较

毕业论文基本要求 1．毕业论文的撰写应结合专业学习，选取具有创新价值和实践意义的论题。 2．论文篇幅一般为8000字以上，最多不超过15000字。 3．论文应观点明确，中心突出，论据充分，数据可靠，层次分明，逻辑清楚，文字流畅，结构严谨。 4．论文字体规范按《本科生毕业论文写作规范》和“论文样板”执行。 5．论文应书写工整，标点正确，用用微机打印后，装订成册。

本科毕业论文（设计）诚信声明 本人郑重声明：所呈交的本科毕业论文（设计），是本人在指导老师的指导下，独立进行研究工作所取得的成果，成果不存在知识产权争议，除文中已经注明引用的内容外，本论文不含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 学生签名： 时间：年月日 关于论文（设计）使用授权的说明本人完全了解关于收集、保存、使用学位论文的规定，即： 1.按照学校要求提交学位论文的印刷本和电子版本； 2.学校有权保存学位论文的印刷本和电子版，并提供目录检索与阅览服务，在校园网上提供服务； 3.学校可以采用影印、缩印、数字化或其它复制手段保存论文； 本人同意上述规定。 学生签名： 时间：年月日

摘要 随着科学技术的发展，人类已经进入高速发展的信息时代。无论是在经济、政治、生活还是军事领域，信息的重要性已经不言而喻，有关信息的理论越来越受到重视。信息论与编码是信息、通讯、电子工程类专业的基础，对于理论研究和工程运用均有重要的指导作用。而无失真信源编码理论是信息论的理论基础，主要运用在离散信源或数字信号的研究，如文本、表格及工程图纸等信源，对其进行无失真地数据压缩，且完全能够无失真地可逆恢复。 本文首先在于讲述无失真信源编码的运用领域，研究无失真信源编码的意义。紧接着详细介绍了无失真信源编码中常见的三种编码方法及其Matlab实现过程，并将此三种方法进行对比。最后对此三种方法进行归纳总结，并举例说明其在日常生活中的运用。 在信息化、网络化、高科技化的特殊时代环境背景下，无失真信源编码的发展迎来了新的机遇与挑战，其应用领域越来越广，越来越普及，由此推进了编码方法的进一步深入研究。 [关键字]：Shanon编码；Fano编码；Huffman编码

汉语信源与英语信源及其信息熵的研究

汉语信源、英语信源及其信息熵的研究 【摘要】本文主要搜集资料，对目前在信息熵领域内对于汉语、英语这两大主流语言的信源进行信息熵研究的资料进行了阅读和整合，给出了基本研究方法及目前比较权威的几种语言的信息熵。 【关键字】信息熵 【正文】汉语信息产业基础建设的中心课题，就是要利用信息熵的基本原理和方法来提高中文的效率。 美国的信息产业能有今天的称雄世界的实力，能接连不断地产生新的技术产品，是跟坚实的基础建设分不开的。这个基础建设的基本依据，是信息科学技术的基本原理和方法：信息熵（ENTROPY ）。 第二次世界大战期间，美国为了提高信息储存和传递的效率，发明了多种新的编码方法，奠定了现代信息科学技术的基础。战争结束后，这些方法得到了飞跃发展。在这些方法当中，科学家香农和霍夫曼提出的信息熵和数据压缩的理论和方法最能代表现代信息学的基本概念。个人计算机和BBS 问世以后，信息熵和数据压缩技术迅速普及。现在，这种技术已经成为计算机和联网必不可少的组成部份。 信息熵的基本目的，是找出某种符号系统的信息量和多余度之间的关系，以便能用最小的成本和消耗来实现最高效率的数据储存、管理和传递。 从信息论的角度考虑, 自然语言理解可以看作是利用所获得信息消除句子中文字的不确定性过程. 统计语言模型是对自然语言的一种近似描述, 它是自然语言理解的核心. 应用语言模型就可以帮助人们实现对句子中所出现的语言成分的预测, 消除自然语言理解过程中的不确定性. 不同的语言模型其预测或者说消除不确定性的能力不同. 预测能力强的模型是人们所期望的, 因此, 对语言模型性能的评价就成了语言建模的一个很重要问题, 它能够指导人们建立更为有效的语言模型. 针对各种语言模型建立有效的评价指标, 是一个比较复杂和困难的问题, 目前还没有一个好的解决办法.不过从信息熵的角度对统计语言模型的复杂度度量方法进行定量化的推理与描述,可以得到一些有意义的结论. 从信息论角度考虑, 一种语言或其子集可以看作离散信源. 如果所考虑的语言的字符集V 的大小为V , 语言中的语句由这些字符任意构成, 各字符的出现与上下文无关, 且出现的概率相等, 则在某一时刻出现某一字符的随机试验结局就有V 种可能. 按照信息论中的编码理论, 要区别每个字符就需要log 2..V..比特的信息. 也就是说, 每个字符所含的信息量为log 2V , 记为H0.但实际的自然语言中, 语句中各语言符号的出现概率不可能相等. 若暂不考虑上下文相关性, 假设第i( i= 1, 2, ., V) 个字符出现的概率为Pi , 则信源输出的各字符的平均信息量为: H= - Pi log 2Pi V i=1 (1) 信息论中将式( 1) 称为熵. 熵表示了消息出现的不确定性的大小, 表现在

_离散信源题与答案

设有一离散无记忆信源，其概率空间为 该信源发出的信息序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)。求： (1) 此消息的自信息量是多少？ (2) 此消息中平均每符号携带的信息量是多少？ 解： (1) 此消息总共有14个0、13个1、12个2、6个3，因此消息发出的概率是： 此消息的信息量是：bit p I 811.87log =-= (2) 此消息中平均每符号携带的信息量是：bit n I 951.145/811.87/== 某一无记忆信源的符号集为{0, 1}，已知信源的概率空间为 (1) 求信息符号的平均熵； (2) 由100个符号构成的序列，求某一特定序列（例如有m 个“0”和（100 - m ）个“1”）的自信息量的表达式； (3) 计算(2)中序列的熵。 解： (1) (2) (3) 某信源的消息符号集的概率分布和二进制代码如题表所列。 题表 (1) (2) 求每个消息符号所需要的平均二进制码的个数或平均代码长度。进而用这一结果求码序列中的一个二进制码的熵； (3) 当消息是由符号序列组成时，各符号之间若相互独立，求其对应的二进制码序列中出现0和1的无条件概率0p 和1p ，求相邻码间的条件概率1/0p 、0/1p 、1/1p 、0/0p 。 解： (1) (2) (3) 设消息序列长为N ，则0u 、1u 、2u 、3u 的个数分别为8/ ,8/ ,4/ ,2/N N N N 个。 则0的个数为 8 708181412N N N N N =?+?+?+? 而1的个数为8738281402N N N N N =?+?+?+?