信源编码的基本原理及其应用解析

信源编码的基本原理及其应用

课程名称通信原理Ⅱ

专业通信工程

班级*******

学号******

学生姓名*****

论文成绩

指导教师*****

******

信源编码的基本原理及其应用

信息论的理论定义是由当代伟大的数学家美国贝尔实验室杰出的科学家香农在他1948 年的著名论文《通信的数学理论》所定义的，它为信息论奠定了理论基础。后来其他科学家，如哈特莱、维纳、朗格等人又对信息理论作出了更加深入的探讨。使得信息论到现在形成了一套比较完整的理论体系。

信息通过信道传输到信宿的过程即为通信，通信中的基本问题是如何快速、准确地传送信息。要做到既不失真又快速地通信，需要解决两个问题：一是不失真或允许一定的失真条件下，如何提高信息传输速度（如何用尽可能少的符号来传送信源信息）；二是在信道受到干扰的情况下，如何增加信号的抗干扰能力，同时又使得信息传输率最大（如何尽可能地提高信息传输的可靠性）。这样就对信源的编码有了要求，如何通过对信源的编码来实现呢？

通常对于一个数字通信系统而言，信源编码位于从信源到信宿的整个传输链路中的第一个环节，其基本目地就是压缩信源产生的冗余信息，降低传递这些不必要的信息的开销，从而提高整个传输链路的有效性。在这个过程中，对冗余信息的界定和处理是信源编码的核心问题，那么首先需要对这些冗余信息的来源进行分析，接下来才能够根据这些冗余信息的不同特点设计和采取相应的压缩处理技术进行高效的信源编码。简言之，信息的冗余来自两个主要的方面：首先是信源的相关性和记忆性。这类降低信源相关性和记忆性编码的典型例子有预测编码、变换编码等；其次是信宿对信源失真具有一定的容忍程度。这类编码的直接应用有很大一部分是在对模拟信源的量化上，或连续信源的限失真编码。可以把信源编码看成是在有效性和传递性的信息完整性（质量）之间的一种折中有段。 信源编码的基本原理：

信息论的创始人香农将信源输出的平均信息量定义为单消息（符号）离散信源的信息熵：

香农称信源输出的一个符号所含的平均信息量为 为信源的信息熵。 通信原理中对信源研究的内容包括3个方面：

(1)信源的建模

信源输出信号的数学描述已有成熟的理论——随机过程，一般的随机过程理∑=-=L

i i i x p x p x H 12)

(log )()()(x H

论并不涉及和讨论信号中所携带的信息，而通信原理所关心的中心内容则是信号中携带的信息。发射器发送1和发送0的概率是不相等的，因此需要讨论发送1和发送0的不同概率。

(2)信源输出信号中携带信息的效率的计算

在通信原理中，信源输出信号所携带信息的效率是用熵率或冗余度来表示的。

(3)信源输出信息的有效表示

一般地，信源输出信号中携带信息的效率并不很高，如何用适当的信号有效地表示信源输出的信息是人们感兴趣的问题，这就是信源编码的问题。

信源编码的方式：

一、模数转化：脉冲编码调制和增量编码调制PCM/DM

二、离散无记忆信源编码DMS ，包括有Huffman 编码和等长编码

三、线性预测编码LPC ，将信源等效地视为在一个适当输入信号激励下的线性系统输出。用线性系统的参数及伴随的输入激励信号进行编码。

一、脉冲编码调制

1.1低通信号的抽样定理——Nyquist 抽样定理（均匀采样定理）

一个带限于（0，fm ）Hz 内的连续时间信号f(t)，如果以Ts ≤1/2fm 秒的时间间隔进行抽样，则f(t)将由得到的抽样值f(kTt)完全确定。

Nyquist 抽样速率： Nyquist 最大时间间隔： 低通信号的抽样示意图：

m

s f f 2=m

s f T 21

=

1.2量化：

1.2.1均匀量化

在整个输入信号的幅度范围内各量化分级间隔相等的量化方式即为均匀量化。

其原理图为：

在满足信噪比要求的输入信号取值范围内进行均匀量化时，信号动态范围将受到较大的限制。因此均匀量化的缺陷十分明显。

1.2.2非均匀量化

为克服均匀量化的缺点，使小信号的量化台阶减小，大信号的量化台阶增大，而形成的量化方式为非均匀量化。即根据信号的不同区间确定间隔。

（1）方法：压扩处理，在发送端进行压缩，在接收端进行扩张。

（2）非均匀量化框图：

1.2.3优点

（1）当输入量化器的信号具有非均匀的概率密度时，非均匀量化器的输出端可以得到较高的平均信噪比；

（2）非均匀量化时，量化噪声功率的均方根值基本与信号抽样值成正比，从而改善了小信号的信噪比；可以做到在不增大量化级数N的条件下，使信号在较宽的动态范围内的(S/Nq)dB达到指标的要求。

1.3非均匀量化的生活中应用：A律13折线压扩技术（我国现在使用）

目前应用较多的是以数字电路方式实现的A律特性折线近似。

具体实现：

1.对x轴在0～1(归一化)范围内以1/2递减规律分成8个不均匀段，其分段点是1/2，1/4，1/8，1/16，1/32，1/64和1/128；

2.对y轴在0～1(归一化)范围内以均匀分段方式分成8个均匀段，其分段点是1/8，2/8，3/8，4/8，5/8，6/8，7/8和1。

3.将x轴和y轴对应的分段线在x-y平面上的相交点相连接的折线就是有8个线段的折线。

1.4DM增量编码调制

DM：把过去的信号样值作为预测值的单纯预测编码的方式。40年代提出的，是脉冲编码的一种特殊形式，是模拟信号数字化的另一种基本方法。它的编码设备比较简单。

二、离散无记忆信源编码DMS

在DMS编码中，我们给每个符号赋予一定长度的代码表示。因此假设，信源

的输出来自一个由有限个符号组成的集合，

表示符号出现的概率，则：

由此可以看出，在赋予一定长度的代码时，每个符号的二进制代码平均长度最短不应小于信源的熵。

我们对信源编码的要求是：不仅要使传递编码序列的信息速率尽量变小，还要从该编码序列能无失真的恢复出源信号的输出符号即能正确的进行反变换或者译码，称此信源编码为无失真离散信源编码。

2.1等长编码：

信源编码原理图为：

等长编码又称为均匀编码，即不管符号出现的概率如何，每个符号都用N 位二进制代码表示。码长为：

编码效率为：

它表示信源的平均每个符号的信息熵

与信源平均每个符号的编码长度R 之比值。

若信源编码器用不同长度的符号来表示信源的输出符号，则称为变长编码。 变长编码的思路是根据信源输出符号出现概率的不同来选择码字，出现概率大的用短码表示，出现概率小的用长码，使平均编码长度K 最短，因而可提高编码效率。变长编码可以无失真编码，无差错编码。使用变长编码可以达到相当高的编码效率。一般，变长码所要求的信源消息序列长度L 比等长编码的小得多。 其特点是：

1.当L 为2的整数次幂且等概出现时，编码效率为100%；

2.当符号等概出现，但L 不是2的整数次幂时，编码效率下降，符号平均信息量)(i x p ∑=≤-=L

i i i L

x p x p x H 122log )(log )()(??1log log 22+=L L N 或R

x H )(=η)(x H

与码长N 之间最多可相差1比特；

3.L 较小时，编码效率较低，因此，可以采用扩展编码的方法，即将连续J 个符号进行统一编码，则：

L J N 2log ≥取整??1log 2+=L J N

即：

也就是说，每个符号所增加的1比特下降到1/J 比特，编码效率增加。

2.2哈夫曼编码

在信源编码的变长编码中哈夫曼编码（Huffman ）是无前缀的变长编码，它没有一个码字是其他码字的前缀，以确保唯一可以码。它能够提供信源熵的编码序列，其编码效率高，且能无失真的编译码。

哈夫曼编码步骤：

（1）将信源消息符号按其出现的概率大小依次排列P 1 ≥ P 2 ≥ ??? ≥ P n 。

（2）取两个概率最小的字母分别配以0和1两个码元，并将这两个概率相 加作为一个新的字母的概率，与未分配的二进制符号的字母重新排队。

（3）对重排后的两个概率最小符号重复步骤（2）的过程。

（4）不断继续上述过程，直到最后两个符号配以0和1为止。

（5）从最后一级开始，向前返回得到各个信源符号所对应的码元序列，即 相应的码字

平均编码效率：

哈夫曼编码的主要特点：

1.哈夫曼编码构造的码字不唯一；

2.哈夫曼编码是变长编码，硬件实现比较困难；

3.采用哈夫曼编码，要传送编码表，占用传送时间；

4.哈夫曼编码是变长编码，出错时难以识别；

哈夫曼编码方法不唯一，因为编码时的0和1是任意给的，另外在两个符号有相同概率时的编码过程不唯一，造成编码结果不同，但平均码长相同。其次：??J

L J N N 1log 2+==N

x H )(=η