2.10常用信源编码
2.10常用信源编码
信源编码也称为有效性编码，通过编码的方式，压缩信源的冗余度，从而提高了了通信的有效性。
2.10.1山农—费诺编码
山农—费诺编码是一种常见的信源编码，其编码的步骤如下：
(1)将信源的符号按其概率从大到小排列。
(2)将这一列符号分成尽可能概率接近或相同的两组。
(3)上面一组符号编为0，下面一组符号编为1，或反之。
(4)已分的组再按（2）、（3）步骤重复做，直至不能再分组。
(5)自左至右写出各码字。
[例2.10.1]有一单符号离散无记忆信源X如下，要求进行山农—费诺编码
因为信源有8个符号，其理论最大熵为lb8=3比特/符号，而实际熵为2.55比特/符号，如采用三位二进制等长编码，则效率η=2.55/3 = 85%，或者说采用定长编码效率较低。如采用山农—费诺编码，则效率会提高不少。
2.10.2哈夫曼编码
哈夫曼编码是效率比较高的又一种无失真信源编码，二进制哈夫曼编码步骤如下：
(1) 把信源符号按概率从大到小排成一列；
(2) 把概率最小的两个分成一组，上面一个编为0，下面一个编为1，并将这两个符号的概率加起来，其结果再和尚未处理过的符号重新按大小排序；
(3) 重复步骤2，直到所有信源符号都处理完。
(4) 从右向左依据编码路径返回，就得到各码字。
[例2.10.2]同前例,编码过程见下图2.10.2：（PPT 001第四章）
第五节香农编码
?
设离散无记忆信源
?
二进制香农码的编码步骤如下：?将信源符号按概率从大到小的顺序排列，为方便起见，令p (x 1)≥p (x 2)≥…≥p (x n )?令p (x 0)=0，用p a (x j )，j =i +1表示第i 个码字的累加概率，则：
?确定满足下列不等式的整数k i ，并令k i 为第i 个码字的长度?－log 2p (x n )≤k i <－log 2p (x n )+1
?
将p a (x j ) 用二进制表示，并取小数点后k i 位作为符号x i 的编码。
1
()(),1,2,,j a j i i p x p x j n
-==
=∑
121
12,,,,,,()1
(),
(),
,
(),
,
()()n
i n
i i i n x x x x X p x p x p x p x p x P X =????==?
???????∑
2.10.3冗余位编码
冗余的信息完全可以不全部传送（压缩掉），从而提高了传输效率。 1．L —D 编码
现在来讨论一种由林绪（Lynch ）和达维生（Davission ）分别独立提出的冗余位编码法，称为L —D 编码。
例如有一二元序列，其中的一串000100000001000共二进制15位，其余的也可分割成15位一串，称为一帧。现在研究压缩冗余的方法。显然对该帧可确切描述为：
（1） 帧长为15。
（2）共有两个1。
（3）第一个1在第4位。
（4）第二个1在第12位。
可简写为：
N=15,Q=2,n1=4,n2=12
其中N为帧长，Q表示帧中1的个数，n1,n2表示1的位置.
再来分析包括这些信息至少要二进制多少位，显然1的个数可能为0—15个共16种情况，需要的二进制符号数为4，而1的位置的可能性应为N中取Q的组合数。
需要用二进制的位数为 6.7，取最小整数7位。
于是共需4+7=11位二进制，可见有15—11=4位冗余可压缩掉。Q很好处理，直接用4位二进制数表示即可。难点是n1,n2，如何把它们综合起来，成为一个7位的二进制数，而在译码时又能从这一个7位的二进制数中唯一地求出n1,n2来。
解题步骤P110-P111
根据上例可归纳出L —D 码编码方法： (1) 将冗余序列截成N 位二进制的一帧。 (2) 根据1的数目写出Q ，根据1的位置写出n 1。
(3) 根据公式求出T 。
(4) 根据公式A 求压缩后的二进制位数，前一项表示1的数目，后一项表示所有1的位置。
(5) 用二进制表示QT 。 L —D 译码方法
(1)用尝试的方法从K=N-1起，根据下式求出K ，进而求出n Q ;
(2)再令Q
K C T T -=1，从L=K-1起求适合下式
的L ，进而求出n Q-1;
(3)重复（2）直至n Q-1= n 1。
(4)根据Q ,n 恢复出原冗余位序列。
例1? ：
??
????pi u =
??
???
??????
?8/18
/14
/12/14321u u u u
消息U 概率p i 编码C U 1 1/2 0 0 1 0
U 2 1/4 0 10 1/2 1
U 3 1/8 0 110 1/4 1
U41/8 1 111
编码规则：
1)将信源消息U按概率大小排序（由大至小）。
2) 从最小两个概率开始编码，并赋予一定规则，如下支路小概率为“1”，上支路大概率为“0”。若两支路概率相等，仍为下支为“1”上支为“0”。
3) 将已编码两支路概率合并，重新排队，编码。
4) 重复步骤3）直至合并概率归一时为止。
5) 从概率归一端沿树图路线逆行至对应消息编码，如U3为“110”。
例2.
U
1U
2
U
3
U
4
U
5
U
6
U
7
U
= i P 0.20 , 0.19 , 0.18 , 0.17 , 0.15 , 0.10 ,
0.01
U i P 编码
1U 0.20 0.61
10
1.0
2U 0.19 0 0.39
11
3
U
0.18 0.19 0.20 0 0.26 1
000
0.39 4
U
0.17 0.18 0 0.19 1
001
0.35
5U 0.15 0 0.17 1 010
6U 0.10 0 0.26 0110
0.11 1
7
U
0.01 1
0111
例3.
U
1U
2
U
3
U
4
U
5
U
=
i P
0.4 , 0.1 , 0.2 , 0.2 , 0.1
U
P编码C
i
U0.4 0 1
1.0
U0.2 0.4 1 01
U0.2 000 4
U0.1 0010 2
U0.1 0011 5
U
P编码C
i
U0.4 0.6 00
1.0
U0.4 10
U11 4
U010 2
U011 5
可见，编成的码C 和C’不一样，这说明哈夫曼编码并不唯一，这是由于哈夫曼编码是与信源统计特性相匹配的编码，而不是某个信源固定特性相匹配，不唯一性是明显的，但是只要在编码和译码过程中遵守同一规则，译码是唯一的。虽然C和C’不一样，但是两
者都是哈夫曼编码，并且码长相等。
Kc’=0.4×1+0.2×2+0.2×3+2×0.1×4=2.2
Kc =0.4×2+0.2×2×2+0.1×3×2=2.2
但是，若从二阶矩来看，即方差来看，C’的方差大，C 的方差小，所以C优于C’
下面讨论哈夫曼编码应用中的一些问题：
1)首先讨论误差扩散：哈夫曼编码是一种无失真信源最佳编码，但是在实际信道中是有失真的。噪声的引入必然要破坏长码结构，而且是变长码，错误不但影响受干扰位，还要进一步扩散。目前对扩散还没有很有效的方法，工程上克服方法有两种：一是限制哈夫曼码仅能应用于优质信道（<=10-6）以限制扩散的可能性；二是采用定期清洗，防止扩散区域增大。但是它是靠牺牲有效性换取的。
2)其次是速率匹配问题：由于绝大多数信源是不等概率的，由它编成的码长度与速率是可变的。然而实际信道则要求其输入端速率是固定的。所以信源与信道之间还存在一个速率匹配问题。在工程上解决这一问题的方法是在两者之间加一个类似与水库的缓存器，它变速入，恒速出，以解决两者速率的匹配。
3)第三是与信源统计特性匹配的问题。其中：
1）、小消息（符号）集信源不易匹配可采用信源消息集不断扩展的方法来解决，但是太复杂。
2）、信源统计特性未知时，怎么办？可采用所谓通用编码的方法来解决。
2．游程编码
例如01000111101100000,其中连在一起的0段称为0游程，同样连在一起的1段称为1游程， 由1000111101100000可编码成一个游程序列1134125，一般游程越长，压缩越有效。接下来可以用其它方法例如多元哈夫曼编码进一步消除冗余，提高效率。 [思考题] 已知12个球中有一个球的重量与其它球不同，其它球均等重。问用无砝码的天平至少须几次才能找出此球？
解：天平有3种状态，即平衡，左重，左轻，所以每称一次消除的不确定性为log3，12个球中的不等重球（可较轻，也可较重）的不确定性为：24
log 2
112
1log
=?- 因
为 3log3＞log24
∴3次测量可以找出该球 具体称法略。
[例一]一副充分洗乱了的牌（含52张牌），
试问：
(1) 任一特定排列所给出的信息量是多少？ (2) 若从中抽取13张牌，所给出的点数都不
相同能得到多少信息量？
(1)任意排列共有!525252
=P 种，则任一排列
的自信息量为：
!
52log !
521
log
=-。
(2)应将点数相同花色不同的牌看作一类，则任意抽取的13张牌应在13类中分别进行。其概率为：
C C C
C
C
13
52
14
144148
152
....，
∴ 信息量C C C C C 13
52
1
4
1
441
481
52....log
-=
。
[例二] 已知随机变量X 和Y 的联合概率分
布满足：6
1
)()(,3
2)(,4
1)()(,2
1)(32132
1
=
==
===b p b p b p a p a p a p 试求能使H(XY)取最大值的联合概率分布。
H(X Y) ≤ H(X) + H(Y) 等号在X 、Y 独立时取得
∴P(1
1
b a ) = 31 P(2
1
b a ) = 121 P(3
1
b a ) = 12
1
P(1
2
b a ) = 61 P(2
2
b a ) = 241 P(3
2
b a ) = 24
1
P(1
3
b a ) = 61 P(2
3
b a ) = 241 P(3
3
b a ) = 24
1 满足 H(XY) 取最大值
[例三]求证：
I(X;Y;Z)=H(XYZ)-H(X)-H(Y)-H(Z)+I(X;Y)+I(Y;Z)+I(Z;X)
右式，原式成立
故左式而等式右边
=---=-+-+-+---=---=-+--=+--=-=)
|()|()|()()|()()|()()|()()
()()()()
|()|()|()()()()|()|()()|()|()|()()
|;();();;(X Z H Z Y H Y X H XYZ H X Z H Z H Z Y H Y H Y X H X H Z H Y H X H XYZ H X Z H Z Y H Y X H XYZ H XZ H XYZ H Z Y H Y X H X H XZ Y H Z Y H Y X H X H Z Y X I Y X I Z Y X I
[例4]令X 为掷钱币直至其正面第一次朝上所需的次数，求H(X)
P(X=n) = 2
1
)21
(1
n ?- = n
)
21
(
H(X) = ∑
∞
=--1n n 1n )2
1log()21(21 = ∑
n
)
21
(n = 2 bit
[例5]一个无记忆信源有四种符号0，1，2，3。已知81
414183)3(,)2(,)1(,)0(====p p p p 。
试求由6000个符号构成的消息所含的信息量。
解：先计算一个符号所含的平均自信息量，即信源熵H
H=∑
=-3
)
(log )(i i P i p =1.9056bit
无记忆信源由6000个符号构成的符号序列消息bit
X H X
H 11434)(6000)(6000
==
[例6]发出二重符号序列消息的信源熵为
),(2
X H 而一阶马尔可夫信源的信源熵为),(X X H 试比较这两者的大小，并说明原因。
解：根据公式)()()(X Y H X H XY H +=，当Y 和X
为同一集合时，有)()()()(2
X X H X H X H XX H +==，各种熵和条件熵均为非负值，当且仅当X 中只含有一个确定性事件时才出现H （X ）=0。当X 中含有二个或二个以上事件时，有H （X ）
＞0，及H （X 2
）＞0，H （X|X ）＞0，因为H
（X ）＞0所以H （X 2
）＞H （X|X ）
说明，在一般情况下，发二重符号序列的信
源的信源熵H （X 2
）大于一阶马尔可夫过程的信源熵H （X|X ）
[例7]有一个马尔可夫信源，已知32
11)(=x x p ，
3112)(=x x p ，
1)(21=x x p ，0)(2
2
=x x p ，试画出该信源的概率转移图，并求出信源熵。 解：该信源的概率转移图为：
1/3
○ ○
2/3 (x 1) 1 (x 2)
在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2 的概率)(1
x p 和)(2
x p
立方程：)()()(1111x p x x p x p =
+)()(221x p x x p
=
)()(213
2x p x p +
)()()(1122x p x x p x p =+)()(112x p x x p
=)(0)(2131
x p x p +
)()(21x p x p +=1
得
4
31)(=x p
4
12)(=
x p
马尔可夫信源熵H = ∑∑-I
j
i j i j
i
x x p x x
p x p )(log )()(
得 H=0.689bit/符号
本章作业与练习
1． 某大学设置五个学院，每个学院的学生数分别为
学院： 数学 物理 外语 外贸 医学 人数： 300 400 500 600 200
问“某学生王某是外语学院学生”这一消息提供的信息量是多少？
2． 某电子厂共能生产A 、B 、C 、D 四种仪器，其中A 因技术落后停产了，B 占全部产量的20%，C 占30%，D 占50%。有两个消息“现在完成1台仪器B ”，和“现在完成1台仪器C ”，试确定哪一种消息提供的信息量大些？其中有什么规律? 3． 试求
（1）在一付标准的扑克牌中抽出一张（每张牌均认为是不同的）的平均信息量。 （2）若扑克牌仅按它的等级鉴定而不问它
的花色(大、小王属同一等级)，重复上述计算。
4．某地的天气预报为：晴（占4/8），多云（占2/8），雨（占1/8），雪（占1/8）, 冰雹（占0/8）而当地老农对天气的预测只能做到：晴（占7/8），雨（占1/8）试求两者对天气预报各自提供的平均信息量。
5．有一二元数字通信系统，传送“0”和“1”的概率分别为1/4和3/4。为了可靠地传输这一消息，重复传输3次，试求剩余度为多少，如果采用重复传输4次的方案呢？这样做是否合理？
6．有一个生产A、B、C、D四种消息的信源其出现的概率相等，通过某一通信系统传输时，B和C无误，A以1/4概率传为A，以1/4概率误传为B、C、D，而D以1/2概率正确传输，以1/2概率误传为C，试求其可疑度？收到的信号中哪一个最可靠？其散布度为多少？7．有一以“点”和“划”构成的老式电报系统，“点”的长度为30毫秒，“划”的长度为150毫秒，“点”和“划”出现的概率分别为0.8和0.2，试求信息速率为多少？“点”、“划”出现的概率相等时，信息速率为多少？是否“点”、“划”出现的概率相等时信息速率一定最高？是否和理论相矛盾？为什么？
8．有一传输“0”和“1”的二元数字通信系统，以1 000码元/秒的速率传输，传送“0”和“1”的概率分别为：
p(0)=1/3 p(1)=2/3
由于信道有噪声，误码率为p e=0.2*10-2，试求接收的信息速率？
9．设有6个消息，其出现概率分别为
A B C D E F
1/16 1/16 2/163/164/16 5/16
将它们分别进行山农编码和霍夫曼编码，并比较编码效率。是否在任何情况下山农编码比霍夫曼编码效率都低？
10．连续信源变量x的取值为正，其平均值为，试求信源熵最大时的概率分布密度函数以及最大熵。
11．已知一个平均功率受限的连续信号，通过带宽W=1MHz的高斯白噪声信道，试求（1）若信噪比为10，信道容量为多少？（2）若信道容量不变，信噪比降为5，信道带宽应为多少？
（3）其中有什么规律可总结？
14．设有一个信源，它产生0，1序列的信息，它在任意时间而且不论以前发生过什么符号，均按，的概率发出符号
（1）试问这个信源是否是平稳的？
（2）试计算，及；
（3）试计算并写出信源中可能有的所有符号。
15．黑白电视消息只有黑色(B)和白色(W)两种，即信源X=(B,W)，设黑色出现的概率为P(B)=0.3，白色出现的概率P(W)=0.7。（1）假设图上黑白消息出现前后没有相关性，求熵H(X)；
（2）假设消息前后有相关性，其依赖关系为p(W/W)=0.9，p(B/W)=0.1，p(W/B)=0.2，p(B/B)=0.8，求此一阶马尔可夫信源的熵H 2(X)；
（3）分别求上述两种信源的剩余度，比较H(X)和H 2(X)的大小，并说明其物理意义。
16．设信源 通过一干扰信道，接收符号为信道传递矩阵为。 求；
（1）信源中符号 和分别含有的自信息量。 （2）收到消息 后，获得的关于 的信息量。 （3）信源和信宿的信息熵。 （4）信道疑义度和噪声熵。
（5）接收到信息后获得的平均互信息量。
17．设二元对称信道的传递矩阵为
??
?
???3/23
/13/13/2
（1）若p(0)=3/4，p(1)=1/4，求H(X)，H(X/Y)，H(Y/X)和I(X;Y)；
（2）求该信道的信道容量及其达到信道容量时的输入概率分布。 18．若X ，Y ，Z 是三个随机变量，试证明 （1）； （2）； （3），当且仅当是马氏链时等式成立。
19．若三个离散随机变量，有如下关系：，其中X 和Y 相互独立。 试证明
20．有一个二元对称信道，其信道矩阵为
??
?
?
??98.002
.002.098.0 设该信源以1500符号/秒的速度传输输入符
号。现有一消息序列共有14000个二元符号，并设其符号等概分布，问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传递完？
21．有一冗余位序列，N=15，码字为001000000010000，试将其编成L —D 码。
第二章习题解答
1.
总人数为：300+400+500+600+200=2000人 是外语学院学生的概率为：
5000.252000
=
该消息提供的信息量：
2log 0.252I =-=比特/消息。
2.
因为()0.2,()0.3p B p C ==
()()p B p C <
以及消息提供的信息量与其出现概率倒数的对数成正比，所以B C I I >，即”现在完成一台仪器B ”提供的信息量大于”现在完成一台仪器C ”提供的信息量。 规律：
(1)出现概率为零的消息可略去。
(2)概率小的消息出现时提供的信息量大于概率大的消息出现时提供的信息量。 3.
(1)2log 54 5.76I == 比特/每张牌 (2),1,2,A K ???出现的概率为：
40.07454
=
王出现的概率为：
信源编码的基本原理及其应用..
信源编码的基本原理及其应用 课程名称通信原理Ⅱ 专业通信工程 班级******* 学号****** 学生姓名***** 论文成绩 指导教师***** ******
信源编码的基本原理及其应用 信息论的理论定义是由当代伟大的数学家美国贝尔实验室杰出的科学家香农在他1948 年的著名论文《通信的数学理论》所定义的，它为信息论奠定了理论基础。后来其他科学家，如哈特莱、维纳、朗格等人又对信息理论作出了更加深入的探讨。使得信息论到现在形成了一套比较完整的理论体系。 信息通过信道传输到信宿的过程即为通信，通信中的基本问题是如何快速、准确地传送信息。要做到既不失真又快速地通信，需要解决两个问题：一是不失真或允许一定的失真条件下，如何提高信息传输速度（如何用尽可能少的符号来传送信源信息）；二是在信道受到干扰的情况下，如何增加信号的抗干扰能力，同时又使得信息传输率最大（如何尽可能地提高信息传输的可靠性）。这样就对信源的编码有了要求，如何通过对信源的编码来实现呢？ 通常对于一个数字通信系统而言，信源编码位于从信源到信宿的整个传输链路中的第一个环节，其基本目地就是压缩信源产生的冗余信息，降低传递这些不必要的信息的开销，从而提高整个传输链路的有效性。在这个过程中，对冗余信息的界定和处理是信源编码的核心问题，那么首先需要对这些冗余信息的来源进行分析，接下来才能够根据这些冗余信息的不同特点设计和采取相应的压缩处理技术进行高效的信源编码。简言之，信息的冗余来自两个主要的方面：首先是信源的相关性和记忆性。这类降低信源相关性和记忆性编码的典型例子有预测编码、变换编码等；其次是信宿对信源失真具有一定的容忍程度。这类编码的直接应用有很大一部分是在对模拟信源的量化上，或连续信源的限失真编码。可以把信源编码看成是在有效性和传递性的信息完整性（质量）之间的一种折中有段。 信源编码的基本原理： 信息论的创始人香农将信源输出的平均信息量定义为单消息（符号）离散信源的信息熵： 香农称信源输出的一个符号所含的平均信息量为 为信源的信息熵。 通信原理中对信源研究的内容包括3个方面： (1)信源的建模 信源输出信号的数学描述已有成熟的理论——随机过程，一般的随机过程理∑=-=L i i i x p x p x H 12) (log )()()(x H
马尔可夫过程在信源编码中的应用
河南城建学院 马尔科夫过程在信源编码中的应用 信 息 论 基 础 姓名：王坤 专业名称：电子信息工程 专业班级：0934121 指导老师：贺伟 所在院系：电气与信息工程学院 2014年12月20日
摘要 首先主要讲述了马尔科夫过程，对马尔科夫过程进行了简介，介绍了马尔科夫过程的数学描述方法并对马尔科夫过程的发展历史进行了简述。 在第二章节对马尔科夫过程在信源编码中的应用进行了简单的论述及讲解。信息论中的编码主要包括信源编码和信道编码。信源编码的主要目的是提高有效性，通过压缩每个信源符号的平均比特数或降低信源的码率来提高编码效率；信道编码的主要目标是提高信息传输的可靠性，在信息传输率不超过信道容量的前提下，尽可能增加信源冗余度以减小错误译码概率。研究编码问题是为了设计出使通信系统优化的编译码设备 随机过程是与时间相关的随机变量，在确定的时刻它是随机变量。随机过程的具体取值称作其样本函数，所有样本函数构成的集合称作随机过程的样本函数空间，所有样本函数空间及其统计特性即构成了随机过程。
目录 1引言 (1) 2马尔科夫过程 (2) 3马尔科夫过程在信源编码中的应用 (4) 4参考文献 (13)
1 引言 随着现代科学技术的发展，特别是移动通信技术的发展，信息的传输在社会科学进步的地位越来越重要。因此如何更加高效的传输信息成了现代科技研究的重要目标。马尔可夫过程是一类非常重要的随机过程。很多在应用中出现的马氏过程模型的研究受到越来越多的重视。在现实世界中，有很多过程都是马尔可夫过程，马尔可夫过程在研究质点的随机运动、自动控制、通信技术、生物工程等领域中有着广泛的应用。我们可以通过对马尔可夫过程的研究来分析马尔可夫信源的特性。由于 研究马尔科夫过程在信源编码中的作用，可以利用马尔科夫模型减少信息传输的冗余，提高信息传输的效率。 马尔可夫信源是一类有限长度记忆的非平稳离散信源，信源输出的消息是非平稳的随机序列，它们的各维概率分布可能会随时间的平移而改变。由于马尔可夫信源的相关性及可压缩性，它已成为信息领域的热点问题。
信源编码与信道编码解析
信源编码与信道编码解析 摘要：衡量一个通信系统性能优劣的基本因素是有效性和可靠性，有效性是指信道传输信息的速度快慢，可靠性是指信道传输信息的准确程度。在数字通信系统中，信源编码是为了提高有效性，信道编码是为了提高可靠性，而在一个通信系统中，有效性和可靠性是互相矛盾的，也是可以互换的。我们可以用降低有效性的办法提高可靠性，也可以用用降低可靠性的办法提高有效性。本文对信源编码和信道编码的概念，作用，编码方式和类型进行了解析,以便于更好的理解数字通信系统的各个环节。 关键字：信源编码信道编码 Abstract: the measure of a communication system the basic factor is quality performance efficiency and reliability, effectiveness refers to channel to transfer information machine speed, reliability is to point to the accuracy of the information transmission channel. In digital communication system, the source coding is in order to improve the effectiveness, channel coding is in order to improve the reliability, and in a communication system, effectiveness and reliability is contradictory, is also can be interchanged. We can use to reduce the availability of improving the reliability, also can use to improve the effectiveness of reduces reliability. In this paper, the source coding and channel coding concept, function, coding mode and the types of analysis, in order to better understand all aspects of digital communication systems. Key words: the source coding channel coding 中图分类号：TN911.21 文献标识码：A 文章编号： 1引言 数字通信系统： 信源是把消息转化成电信号的设备，例如话筒、键盘、磁带等。 信源编码的基本部分是压缩编码。它用于减小数字信号的冗余度，提高数字信号的有效性，如果是模拟信源，则它还包括数模转换功能，在某些系统中，信源编码还包括加密功能。
信息论无失真信源编码
信息，例如霍夫曼编码。它相对简单，是 本章的重点。 信息有一定的差别，例如JPEG 、MPEG ■无失真信源编码：解码之后可以得到原始 jlll ■有失真信源编码：解码之后的信息与原始 jlll
■其中X 称为码符号集，X 中的元素“称为码元或者 码符 号。输岀符号叱?称为码字，植字的集合C 称 为代码组或者码。码字比?的长度厶称为码字长度, 简称码长。 ■要实现无失真编码，编码器的映射必须是一一对 应、可 逆的。 码的分类 5.1编码器 编码器 C=(W1,W2,…,W 几 ■信源编码器表示为: X=(QK2,…对 ■例如: S=(ACD) r A B C D C=(OOJOJl)r 00,01,10,11 r X=(o ，l) S=(A ，CQ) AB C D C=(0,001,lip * 0,01,001,111 X=(0J)
■根据码长 □固定长度码（定长码）：所有码字的长度相同。 □可变长度码（变长码）：码字长短不一。 ■码字是否相同 □非奇异码：所有码字都不相同。 □奇异码：存在相同的码字。
5.2分组码 ■象稱蛊轟凋11映射 ■通常在接收端收到的码字之间并没有明显的间隔, 表现为皿叫…巴的形式，把这种形式称为g阶扩展码。例如前面的两个例子，ACD编码成另 001011/0001111的形式，均为3阶扩展码。 ■码字之间缺少间隔，给译码造成了一定的困难□定长码：不存在困难，001011必定译码成为ACD □变长码：存在困难，0001111可以译码成为ACD(0 001 111),也可以译码成为AABD(0 0 01 lll)o
信源编码和信源解码
信源编码和信源解码 字、符号、图形、图像、音频、视频、动画等各种数据本身的编码通常称为信源编码，信源编码标准是信息领域的基础性标准。无论是数字电视、激光视盘机，还是多媒体通信和各种视听消费电子产品，都需要音视频信源编码这个基础性标准。 大家用电脑打字一定很熟悉，当你用WORD编辑软件把文章（DOC文件）写完，存好盘后，再用PCTOOLS工具软件把你的DOC文件打开，你一定能看到你想象不到的东西，内容全是一些16进制的数字，这些数字叫代码，它与文章中的字符一一对应。现在我们换一种方法，用小画板软件来写同样内容的文章。你又会发现，用小画板软件写出来的BMP文件，占的内存（文件容量）是DOC文件的好几十倍，你知道这是为什么？原来WORD编辑软件使用的是字库和代码技术，而小画板软件使用的是点阵技术，即文字是由一些与坐标位置决定的点来组成，没有使用字库，因此，两者在工作效率上相差几十倍。[信源]->[信源编码]->[信道编码]->[信道传输+噪声]->[信道解码]->[信源解码]->[信宿] 目前模拟信号电视机图像信号处理技术就很类似小画板软件使用的点阵技术，而全数字电视机的图像信号处理技术就很类似WORD编辑软件使用的字库和代码技术。实际上这种代码传输技术在图文电视中很早就已用过，在图文电视机中一般都安装有一个带有图文字库的译码器，对方发送图文信号的时候只需发送图文代码信息，这样可以大大地提高数据传输效率。 对于电视机，显示内容是活动图像信息，它哪来的“字库”或“图库”呢？这个就是电视图像特有的“相关性”技术问题。原来在电视图像信号中，90%以上的图像信息是互相相关的，我们在模拟电视机中使用的Y/C（亮度信号/彩色信号）分离技术，就是利用两行图像信号的相关性，来进行Y/C分离。如果它们之间内容不相关，Y/C信号则无法进行分离。全数字信号电视也一样，如果图像内容不相关，则图像信号压缩也就要免谈。如果图像内容有相关性，那么上一幅图像的内容就相当于下一幅图像的“图形库”，或一幅图像中的某部分就是另一部分的“图形库”，因此，下一幅图像或图像中某一个与另一个相关的部分，在发送信号时，只需发送一个“代码”，而传送一个“代码”要比送一个“图形库”效率高很多，显示时也只需把内容从“图形库”中取出即可，这就是MPEG图像压缩的原理。 利用电视信号的相关性，可以进行图像信号压缩，这个原理大家已经明白，但要找出图像相关性的内容来，那就不是一件很容易的事情，这个技术真的是太复杂了。为了容易理解电视图像的相关性，我们不妨设想做一些试验，把图像平均分成几大块，然后每一块，每一块的进行比较，如果有相同的，我们就定义它们有相关性；如果没有相同的，我们继续细分下去，把每大块又分成几小块，一直比较下去，最后会发现，块分得越细，相同块的数目就越多，但分得太细需要的代码也增多，所以并不是分得越细越好。我们在看VCD的时候经常发现，如果VCD读光盘数据出错，就会在图像中看到“马赛克”，这些“马赛克”就是图像分区时的最小单位，或把数码相片进行放大，也可以看到类似“马赛克”的小区，这就是数码图像的最小“图形库”，每个小“图形库”都要对应一个“代码”。 在单幅图像中找出相关性的几率并不是很大的，所以对单幅图像的压缩率并不很大，这个通过观察数码相片的容量就很容易明白，如果把寻找相关性的范围扩大到两幅图像，你就会发现，具有相关性的内容太多了，这是因为运动物体对于人的眼睛感觉器官来说，是很慢
《信息论与信源编码》实验报告
《信息论与信源编码》实验报告 1、实验目的 (1) 理解信源编码的基本原理； (2) 熟练掌握Huffman编码的方法； (3) 理解无失真信源编码和限失真编码方法在实际图像信源编码应用中的差异。 2、实验设备与软件 (1) PC计算机系统 (2) VC++6.0语言编程环境 (3) 基于VC++6.0的图像处理实验基本程序框架imageprocessing_S (4) 常用图像浏览编辑软件Acdsee和数据压缩软件winrar。 (5) 实验所需要的bmp格式图像（灰度图象若干幅） 3、实验内容与步骤 (1) 针对“图像1.bmp”、“图像2.bmp”和“图像3.bmp”进行灰度频率统计（即计算图像灰度直方图），在此基础上添加函数代码构造Huffman码表，针对图像数据进行Huffman编码，观察和分析不同图像信源的编码效率和压缩比。 (2) 利用图像处理软件Acdsee将“图像1.bmp”、“图像2.bmp”和“图像 3.bmp”转换为质量因子为10、50、90的JPG格式图像（共生成9幅JPG图像），比较图像格式转换前后数据量的差异，比较不同品质因素对图像质量的影响； (3) 数据压缩软件winrar将“图像1.bmp”、“图像2.bmp”和“图像3.bmp”分别生成压缩包文件，观察和分析压缩前后数据量的差异； (4) 针对任意一幅图像，比较原始BMP图像数据量、Huffman编码后的数据量（不含码表）、品质因素分别为10、50、90时的JPG文件数据量和rar压缩包的数据量，分析不同编码方案下图像数据量变化的原因。 4、实验结果及分析 (1)在VC环境下，添加代码构造Huffman编码表，对比试验结果如下： a.图像1.bmp：
无失真信源编码
第3章无失真信源编码 教学内容包括：信源编码概述、定长编码、变长编码常用的信源编码 3．1信源编码概述 讲课内容： 1、信源编码及分类 2、信源编码定义 3、信源编码基础 1、给出编码译码示意图 2、编码：信源编码、信道编码。 信源 = 信息 + 冗余 信源编码：针对信源的编码，能更加有效地传输、存储信息。编码后尽可能减少所需信息的损失，提高编码后携带信息的效率。 3、信源编码的主要任务 a、减少冗余 b、提高编码效率 4、信源编码的基本途径 a、解除相关性
b 、概率均匀化 4、信源编码的两个基本定理 a 、无失真编码定理（可逆编码的基础、只适用于离散信源） b 、限失真编码定理（连续信源） 5、信源编码的分类 a 、冗余度压缩编码，可逆压缩，经编译码后可以无失真地恢复。 统计特性：Huffman 编码，算术编码Arithmetic Coding b 、熵压缩编码，不可逆压缩 压缩超过一定限度，必然带来失真 允许的失真越大，压缩的比例越大 译码时能按一定的失真容许度恢复，保留尽可能多的信息 本章讨论离散信源无失真编码，包括定长、变长无失真编码定理和编码方法，以及几种实用的无失真信源编码，如香农编码、费诺编码、哈夫曼编码等。 6、信源编码的定义 首先给出信源编码的定义， 信源编码就是从信源符号到码符号的一种映射f ，它把信源输出的符号u i 变换成码元序列w i 。 f ：u i ——>w i ，i =1，2，…，q 译码是从码符号到信源符号的映射。若要实现无失真编码，这种映射必须是一一对应的、可逆的。 给出马元、码字、马块、二元编码的概念
结合P34例3.1.1给出编码的分类如下： 给出平均码长的定义和公式。 结合P34例3.1.1进行二进制信源的简单编码，并计算平均码长。 3．2克拉夫特（Kraft）不等式 讲课内容： 1、变长码的码字分离技术 2、即时码的引入和码树表示方法 3、即时码与克拉夫特不等式 1、变长码的码字分离技术 a、同步信号 b、可分离码字 2、即时码和码树表示法 即时码是一种实时的惟一可译码，这类码无需另加同步信息，就能在接收端被分离出来。在信源编码和数据压缩中，这类编码无论在理论还是在实际中都有很大意义，对较简单的信源，可以很方便地用码树法直接且直观地构造出可以分离码（异前缀码）。
第10讲 信源编码的性能指标
第10讲 信源编码的性能指标 1. 无失真信源编码的冗余度压缩原理 为了压缩冗余度，必须改造信源输出符号的统计特性。一方面要尽量提高任一时刻输出符号的概率分布的均匀性，另一方面要尽量消除前后输出符号的统计相关性。因此，无失真信源编码的实质是将信源尽可能地改造为均匀分布的无记忆信源。这种信源的通信效率是最大的。改造后的新信源是由原信源和编码器共同组成的，称为编码后的信源。设f 是信源S 的一个编码，X 是编码后的信源，则三者之间的关系表示如下 f S X ??→ 信源编码f 所用的码元可以与信源S 的符号不同，一般是某个信道的输入符号。 从数据处理这个角度来看，编码f 是一个数据处理器，输入信源S 的数据，输出信源X 的数据。从通信的角度看，编码f 是一个信道，输入信源S 的数据，输出信源X 的数据。 无失真信源编码的目的是无损压缩，即用尽可能少的数据表示数据中的所有信息，不能破坏数据原有信息。这相当于提高信息传输效率，使之接近于1。因此，度量无失真编码的压缩性能可以看编码后信息传输效率，称为编码效率。编码效率越接近于1，无损压缩性能越好。下面介绍信源编码的5个性能指标，包括平均码长、码率、编码效率、编码冗余度和压缩率。 2. 平均码长 平均码长是信源编码的一个关键的性能指标。在已知信源熵的前提下，根据平均码长，可以计算出无损压缩编码的码率和编码效率。 定义2.1 设f 是一个N-分组码，各码字的码长分别记为,1i l i q ≤≤，对应的N 长分组的概率为i p ，则f 的平均码长定义为 11(/ q i i i L p l N ==∑码元信源) 注：在有的教材中，当平均码长的单位转化为“比特/信源”时，称为编码速率。本课程用不到这个概念。 讨论：用平均码长估计编码后的数据长度 设S 是一个离散无记忆信源，:f S C →是信源S 的一个编码，其平均码长为L 。令12n s s s s =?是一个信源序列。假设用f 对该数据进行编码，试估计编码后码元序列的长度。 对于信源数据12n s s s s =?，我们令L i 表示信源符号s i 所对应的码字f (s i )的长度，则编码后的数据长度为12+++n L L L 。我们把L i 视为随机变量，则对于任何i ，我们有[]i E L L =。 因为S 是离散无记忆的，所以{L i }是独立同分布随机序列。根据辛钦大数定理，我们有
WCDMA技术的信源编码和信道编码
WCDMA技术的信源编码和信道编码 WCDMA网络是全球商用时间最长，技术成熟、可演进性最好的，全球第一个3G商用网络就是采用WCDMA制式。我国采用了全球广泛应用的WCDMA 3G技术，目前已全面支持HSDPA/HSUPA，网络下载理论最高速率达到14.4Mbps。2G无线宽带的最高下载速度约为150Kbps，我国的WCDMA网络速度几乎是2G网络速度的100倍。支持业务最广泛，基于WCDMA成熟的网络和业务支撑平台，其所能实现的3G业务非常丰富。无线上网卡、手机上网、手机音乐、手机电视、手机搜索、可视电话、即时通讯、手机邮箱、手机报等业务应用可为用户的工作、生活带来更多的便利和美妙享受。终端种类最多，截至2008年底，支持WCDMA商用终端的款式数量超过2000款，全球主要手机厂商都推出了为数众多的WCDMA手机。国内覆盖广泛，截至2009年9月28日，联通3G网络已成功在中国大陆285个地市完成覆盖并正式商用，新覆盖的城镇数量还在不断增长中，联通3G网络和业务已经覆盖了中国绝大部分的人口和地域。开通国家最广，可漫游的国家和地区最多，截至2008年底，全球已有115个国家开通了264个WCDMA网络，占全球3G商用网络的71.3%。截至2009年9月28日，中国联通已与全球215个国家的395个运营商开通了。 WCDMA的优势明显，技术成熟，在WCDMA物理层来看，信源编码和信道编码是WCDMA技术的基础，信源编码是采用语音编码技术，AMR语音编码技术是由基于变速率多模式语音编码技术发展而来，主要原理在于：语音编码器模型由一系列能提供多种编码输出速率与合成质量的声码器构成AMR支持八种速率。鉴于不同信源比特对合成语音质量的影响不同AMR 语音编码器输出的话音比特在传输之前需要按照它们的主观重要性来排序分类，分别采用不同保护程度的信道编码对其进行编码保护。 信源编码AMR模式自适应选择编码器模式以更加智能的方式解决信源和信道编码的速率匹配问题，使得无线资源的配置和利用更加灵活和高效。实际的语音编码速率取决于信道条件，它是信道质量的函数。而这部分工作是解码器根据信道质量的测量参数协助基站来完成，选择编码模式，决定编码速率。原则上在信道质量差时采用低速率编码器，就能分配给信道编码更多的比特冗余位来实现纠错，实现更可靠的差错控制。在信道质量好、误比特率较低时采用高速率编码器，能够提高语音质量。在自适应过程中，基站是主要部分，决定上下行链路采用的速率模式。 信源编码AMR编码器原理，WCDMA系统的AMR声码器共有八种编码模式，它们的输出比特速率不同。为了降低成本和复杂度，八种模式都采用代数码本激励线性预测技术，它们编码的语音特征参量和参量提取方法相同，不同的是参量的量化码本和量化比特数。AMR语音编码器根据实现功能大致可分为LPC分析、基音搜索、代数码本搜索三大部分。其中LPC分析完成的主要功能是获得10阶LPC滤波器的-.个系数，并将它们转化为线谱对参数，并对LSF进行量化；基音搜索包括了开环基音分析和闭环基音分析两部分，以获得基音延迟和基音增益这两个参数；代数码本搜索则是为了获得代数码本索引和代数码本增益，还包括了码本增益的量化。
信息论基础与编码(第五章)
5-1 有一信源，它有六种可能的输出，其概率分布如下表所示，表中给出了对应的六种编码12345C C C C C 、、、、和6C 。 （1） 求这些码中哪些是唯一可译码； （2） 求哪些是非延长码（即时码）； （3） 对所有唯一可译码求出其平均码长。 解：（1(2)1,3,6是即时码。 5-2证明若存在一个码长为12,,,q l l l ???的唯一可译码，则一定存在具有相同码长的即时码。 证明：由定理可知若存在一个码长为的唯一可译码，则必定满足kraft 不等式 1。由定理4可知若码长满足kraft 不等式，则一定存在这样码长的即时码。 所以若存在码长的唯一可译码，则一定存在具有相同码长P （y=0）的即时码。 5-3设信源1 2 61 26()s s s S p p p P s ??? ????=???? ??? ????，6 1 1i i p ==∑。将此信源编码成为r 元唯一可译变长码（即码符号集12{,,,}r X x x x =???），其对应的码长为（126,,,l l l ???）=（1，1，2，3，2，3），求r 值的最小下限。 解：要将此信源编码成为 r 元唯一可译变长码，其码字对应的码长 （l 1 ,l 2 ,l 3, l 4,l 5, l 6）=(1,1,2,3,2,3) 必须满足克拉夫特不等式，即 13232116 1 ≤+++++=------=-∑r r r r r r r i li Lq L L ,,2,1 ∑=-q i l i r 1 ≤4?Lq L L ,,2,1
所以要满足 12 223 2≤++r r r ，其中 r 是大于或等于1的正整数。 可见，当r=1时，不能满足Kraft 不等式。 当r=2, 18 2 4222>++，不能满足Kraft 。 当r=3, 127 26 2729232<=++，满足Kraft 。 所以，求得r 的最大值下限值等于3。 5-4设某城市有805门公务电话和60000门居民电话。作为系统工程师，你需要为这些用户分配电话号码。所有号码均是十进制数，且不考虑电话系统中0、1不可用在号码首位的限制。（提示：用异前缀码概念） （1）如果要求所有公务电话号码为3位长，所有居民电话号码等长，求居民号码长度1L 的最小值； （2）设城市分为A 、B 两个区，其中A 区有9000门电话，B 区有51000门电话。现进一步要求A 区的电话号码比B 区的短1位，试求A 区号码长度2L 的最小值。 解：(a) 805门电话要占用1000个3位数中的805个，即要占用首位为0～ 7的所有数字及以8为首的5个数字。因为要求居民电话号码等长， 以9为首的数字5位长可定义10 000个号码，6位长可定义100 000 个号码。所以min L 16=。 或由Craft 不等式，有 805106000010131?+?≤--L 解 得 L 1103 180******** 5488≥--?=-log .， 即 min L 16= (b) 在(a)的基础上，将80为首的数字用于最后5个公务电话，81～86 为首的6位数用于B 区51 000个号码，以9为首的5位数用于A 区9 000 个号码。所以，min L 25=。或由 Draft 不等式，有 80510 900010510001013 122?+?+?≤---+L L () 或 80510 900051000101013 12?++??≤---()L 解得L 210 3 18051090005100 4859≥--?+=-log . 即min L 25= 5-5求概率分布为)152,152,51,51,31(的信源的二元霍夫曼码。讨论此码对于概率分布为 )5 1 ,51,51,51,51(的信源也是最佳二元码。
信源编码
信源编码技术 为什么要进行信源编码 通信系统就是将产生的信息传输到目的地。信源有各种不同的形式，
如广播的信源是语音或音乐，电视的信源是活动图像，这些信源的输 出都是模拟信号，称为模拟信源。计算机和存储器件（磁盘或光盘） 输出的是离散信号，称为数字信源。在数字系统中传输的都是数字信 息，不论是模拟信源还是离散信源其输出都必须转化为可以传输的数 字信息，这种转化通常是由信源编码器来完成的。 信源编码在移动通信中也称语音编码。 ? 信源编码的作用是用信道能传输的符号来表示信源发出的信息，在不 失真或一定失真的条件下用尽可能少的符号传送信源消息，提高信息 传输率。信源编码（如语音）对数字传输非常重要，而且对无线通信
来说显得尤其重要。
PDF created with pdfFactory Pro trial version https://www.360docs.net/doc/7214829554.html,
?
随着数字电话和数据通信容量日益增长的迫切要求，而又 不希望明显降低传送话音信号的质量，除了提高通信带宽之外， 对话音信号进行压缩是提高通信容量的重要措施。
?在移动通信中，稀少而又昂贵的无线信道更一定要和必 须要对传输的各种信号源进行压缩，以提高通信容量。
PDF created with pdfFactory Pro trial version https://www.360docs.net/doc/7214829554.html,
模拟信源（语音）编码的种类
波形编码、参量编码、混合编码 一般来说，波形编码器的话音质量高，但数据率也很高；参量编码器的数据 率很低，产生的合成话音的音质有待提高；混合编码器同时使用参量编译码技 术和波形编译码技术，数据率和音质介于它们之间。 （1）波形编码 波形编码比较简单，编码前采样定理对模拟语音信号进行量化，然后进行 幅度量化，再进行二进制编码。解码器作数／模变换后再由低通滤波器恢复出现 原始的模拟语音波形，这就是最简单的脉冲编码调制（PCM），也称为线性 PCM。可以通过非线性量化，前后样值的差分、自适应预测等方法实现数据压 缩。波形编码的目标是让解码器恢复出的模拟信号在波形上尽量与编码前原始波 形相一致，也即失真要最小。波形编码的方法简单，数码率较高，在64kbit/s至 32kbit/s之间音质优良，当数码率低于32kbit/s的时候音质明显降低，16 kbit/s时 音质非常差。
PDF created with pdfFactory Pro trial version https://www.360docs.net/doc/7214829554.html,
数字通信中的信源编码和信道编码
数字通信中的信源编码和信道编码 摘要：如今社会已经步入信息时代，在各种信息技术中，信息的传输及通信起着支撑作用。而对于信息的传输，数字通信已经成为重要的手段。本论文根据当今现代通信技术的发展，对信源编码和信道编码进行了概述性的介绍. 关键词：数字通信；通信系统；信源编码；信道编码 Abstract：Now it is an information society. In the all of information technologies, transmission and communication of information take an important effect. For the transmission of information, Digital communication has been an important means. In this thesis we will present an overview of source coding and channel coding dep ending on the development of today’s communication technologies. Key Words：digital communication; communication system; source coding; channel coding 1.前言 通常所谓的―编码‖包括信源编码和信道编码。编码是数字通信的必要手段。使用数字信号进行传输有许多优点, 如不易受噪声干扰, 容易进行各种复杂处理, 便于存贮, 易集成化等。编码的目的就是为了优化通信系统。一般通信系统的性能指标主要是有效性和可靠性。所谓优化，就是使这些指标达到最佳。除了经济性外，这些指标正是信息论研究的对象。按照不同的编码目的，编码可主要分为信源编码和信道编码。在本文中对此做一个简单的介绍。 2.数字通信系统 通信的任务是由一整套技术设备和传输媒介所构成的总体——通信系统来完成的。电子通信根据信道上传输信号的种类可分为模拟通信和数字通信。最简单的数字通信系统模型由信源、信道和信宿三个基本部分组成。实际的数字通信系统模型要比简单的数字通信系统模型复杂得多。数字通信系统设备多种多样，综合各种数字通信系统，其构成如图2-l所示。 图2-1 数字通信系统模型 信源编码是以提高通信有效性为目的的编码。通常通过压缩信源的冗余度来实现。采用的一般方法是压缩每个信源符号的平均比特数或信源的码率。 信道，通俗地说是指以传输媒质为基础的信号通路。具体地说，信道是指由有线或无线电线路提供的信号通路。信道的作用是传输信号，它提供一段频带让信号通过，同时又给信号加以限制和损害。 信道编码是以提高信息传输的可靠性为目的的编码。通常通过增加信源的冗余度来实现。采用的一般方法是增大码率或带宽。与信源编码正好相反。在计算机科学领域，信道编码
关于相关信源的码率界限及其编码的评述
关于相关信源的码率界限及其编码的评述 摘要 随着多媒体移动通信技术的快速发展，人们对信息可靠且有效的传输需求日益增长，但是由于受到无线带宽资源和多径衰落等因素的影响，很难实现高速可靠的数据传输。要解决这一矛盾我们必须采用全新的通信理论及技术。本文从信息论的角度对相关信源编码的相关理论进行了介绍，包括单符号信源编码的理论基础，相关信源的编码理论和码率界限和其编码。 关键字：信源编码，相关信源编码，分布式信源编码，Slepian-Wolf编码理论， Abstract With the development of multimedia mobile communication technologies, the demand for reliable and efficient transmission of information is growing. However, due to the impact of limited wireless bandwidth resources, multipath fading and other factors, it is difficult to achieve high-speed and reliable data transmission. To solve this problem we must adopt some new communication theories and technologies.This article makes an introduction to the related theories of correlated source coding fromthe perspective of information-theoretic security, including the basic theory of single symbol source coding and correlated source coding. KEYWORD：Source Coding，Correlated Source Coding，Distributed Source Coding，CodingTheory of Slepian-Wolf 1.引言 信源编码是一种以提高通信有效性为目的而对信源符号进行的变换，或者说为了减少或消除信源冗余度而进行的信源符号变换。具体说，就是针对信源输出符号序列的统计特性来寻找某种方法，把信源输出符号序列变换为最短的码字序列，使后者的各码元所载荷的平均信息量最大，同时又能保证无失真地恢复原来的符号序列。信源编码的作用之一是设法减少码元数目和降低码元速率，即通常所说的数据压缩；作用之二是将信源的模拟信号转化成数字信号，以实现模拟信号的数字化传输。最原始的信源编码就是莫尔斯电码，另外还有ASCII码和电报码都是信源编码。但现代通信应用中常见的信源编码方式有：Huffman编码、算术编码、L-Z编码，这三种都是无损编码，另外还有一些有损的编码方式。信源编码的目标就是使信源减少冗余，更加有效、经济地传输，最常见的应用形式就是压缩。 而相关信源编码与传统信源编码不同。它一般采用信道码编码技术得以实现，因而可以看作是一种联合信源-信道编码技术。虽然分布式编码理论早在二十多年前就已经提出，但Slepian-Wolf理论[1]和Wyner-Ziv理论[2]只给出了信源编码的理论根据，并没有给出一种具体的实现方法，因此这方面的进展并不显著。直到
信息论基础及答案
《信息论基础》试卷答案 、填空题(共 25分，每空1分) 1、连续信源的绝对熵为 无穷大。(或 p x lg p x dx lim Ig ) 2、 离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 _J ____ 。 3、 无记忆信源是指 信源先后发生的符号彼此统计独立 ___________________________ 。 4、 离散无记忆信源在进行无失真变长编码时，码字长度是变化的。根据信源符号的统 计特性，对概率大的符号用 短 码，对概率小的符号用 长 码，这样平均码长就可 以降低，从而提高 有效性(传输速率或编码效率) ___________________ 。 5、 为了提高系统的 —系统的可靠性可 以采用 信道编码 _______________ 。 6、 八进制信源的最小熵为 ，最大熵为 3bit/ 符号 ____________________ 。 7、 若连续信源输出信号的平均功率为 1瓦特，贝U 输出信号幅度的概率密度函数为 2|g2 e ）。 H s 9、 无失真信源编码定理指出平均码长的理论极限值为 信源熵(或H(S)或 ),此 lg r 时编码效率为_J ____ ，编码后的信息传输率为 lg r bit/ 码元 。 10、 _________________________________________________________ 一个事件发生的概率为，则自信息量为 3bit/ 符号 ________________________________________ 。 11、 信源的剩余度主要来自两个方面，一是 信源符号间的相关性 ______________ ，二 是信源符号概率分布的不均匀性 。 12、 m 阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q m ___________ 个不同 的状态。 13、 同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为 2”所获得的信息量 为Ig36= __________ 比特，当得知“面朝上点数之和为 8”所获得的信息量为 lg36/5= 比特。 14、 在下面空格中选择填入的数学符号“ =,>,<, >”或 “ <” H(XY) = H(Y)+H(X I Y) W H(Y)+H(X) 高斯分布 （或 x: N 0,1 或 ,r eT )时，信源具有最大熵，其值为 (或或 8、即时码是指 任一码字都不是其它码字的前缀
2.10常用信源编码
2.10常用信源编码 信源编码也称为有效性编码，通过编码的方式，压缩信源的冗余度，从而提高了了通信的有效性。 2.10.1山农—费诺编码 山农—费诺编码是一种常见的信源编码，其编码的步骤如下： (1)将信源的符号按其概率从大到小排列。 (2)将这一列符号分成尽可能概率接近或相同的两组。 (3)上面一组符号编为0，下面一组符号编为1，或反之。 (4)已分的组再按（2）、（3）步骤重复做，直至不能再分组。 (5)自左至右写出各码字。 [例2.10.1]有一单符号离散无记忆信源X如下，要求进行山农—费诺编码
因为信源有8个符号，其理论最大熵为lb8=3比特/符号，而实际熵为2.55比特/符号，如采用三位二进制等长编码，则效率η=2.55/3 = 85%，或者说采用定长编码效率较低。如采用山农—费诺编码，则效率会提高不少。 2.10.2哈夫曼编码 哈夫曼编码是效率比较高的又一种无失真信源编码，二进制哈夫曼编码步骤如下： (1) 把信源符号按概率从大到小排成一列； (2) 把概率最小的两个分成一组，上面一个编为0，下面一个编为1，并将这两个符号的概率加起来，其结果再和尚未处理过的符号重新按大小排序； (3) 重复步骤2，直到所有信源符号都处理完。 (4) 从右向左依据编码路径返回，就得到各码字。 [例2.10.2]同前例,编码过程见下图2.10.2：（PPT 001第四章）
第五节香农编码 ? 设离散无记忆信源 ? 二进制香农码的编码步骤如下：?将信源符号按概率从大到小的顺序排列，为方便起见，令p (x 1)≥p (x 2)≥…≥p (x n )?令p (x 0)=0，用p a (x j )，j =i +1表示第i 个码字的累加概率，则： ?确定满足下列不等式的整数k i ，并令k i 为第i 个码字的长度?－log 2p (x n )≤k i <－log 2p (x n )+1 ? 将p a (x j ) 用二进制表示，并取小数点后k i 位作为符号x i 的编码。 1 ()(),1,2,,j a j i i p x p x j n -== =∑ 121 12,,,,,,()1 (), (), , (), , ()()n i n i i i n x x x x X p x p x p x p x p x P X =????==? ???????∑ 2.10.3冗余位编码 冗余的信息完全可以不全部传送（压缩掉），从而提高了传输效率。 1．L —D 编码 现在来讨论一种由林绪（Lynch ）和达维生（Davission ）分别独立提出的冗余位编码法，称为L —D 编码。 例如有一二元序列，其中的一串000100000001000共二进制15位，其余的也可分割成15位一串，称为一帧。现在研究压缩冗余的方法。显然对该帧可确切描述为： （1） 帧长为15。
信息论基础理论及应用
信息论形成的背景与基础 人们对于信息的认识和利用，可以追溯到古代的通讯实践可以说是传递信息的原始方式。随着社会生产的发展，科学技术的进步，人们对传递信息的要求急剧增加。到了20世纪20年代，如何提高传递信息的能力和可靠性已成为普遍重视的课题。美国科学家N.奈奎斯特、德国K.屈普夫米勒、前苏联A.H.科尔莫戈罗夫和英国R.A.赛希尔等人，从不同角度研究信息，为建立信息论做出了很大贡献。 信息论是在人们长期的通信工程实践中，由通信技术和概率论、随机过程和数理统计相结合而逐步发展起来的一门学科。信息论的奠基人是美国伟大的数学家、贝尔实验室杰出的科学家 C.E.香农(被称为是“信息论之父”)，他在1948年发表了著名的论文《通信的数学理论》，1949年发表《噪声中的通信》，为信息论奠定了理论基础。20世纪70年代以后，随着数学计算机的广泛应用和社会信息化的迅速发展，信息论正逐渐突破香农狭义信息论的范围，发展为一门不仅研究语法信息，而且研究语义信息和语用信息的科学。近半个世纪以来，以通信理论为核心的经典信息论，正以信息技术为物化手段，向高精尖方向迅猛发展，并以神奇般的力量把人类社会推入了信息时代。信息是关于事物的运动状态和规律，而信息论的产生与发展过程，就是立足于这个基本性质。随着信息理论的迅猛发展和信息概念的不断深化，信息论所涉及的内容早已超越了狭义的通信工程范畴，进入了信息科学领域。
信息论定义及概述 信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。核心问题是信息传输的有效性和可靠性以及两者间的关系。它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。基于这一理论产生了数据压缩技术、纠错技术等各种应用技术，这些技术提高了数据传输和存储的效率。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系 信息论作为一门科学理论，发端于通信工程。它的研究范围极为广阔，一般把信息论分成三种不同类型： 狭义信息论。狭义信息论主要总结了Shannon的研究成果，因此又称为Shannon信息论。在信息可以度量的基础上，研究如何有效、可靠地传递信息。有效、可靠地传递信息必然贯穿于通信系统从信源到信宿的各个部分，狭义信息论研究的是收、发端联合优化的问题，而重点在各种编码。它是通信中客观存在的问题的理论提升。 一般信息论。研究从广义的通信引出的基础理论问题：Shannon 信息论；Wiener的微弱信号检测理论。微弱信号检测又称最佳接收研究是为了确保信息传输的可靠性，研究如何从噪声和干扰中接收信道传输的信号的理论。主要研究两个方面的问题：从噪声中去判决有用