信息论与编码

第一章

1、信息,信号,消息的区别

信息：是事物运动状态或存在方式的不确定性的描述 消息是信息的载体，信号是消息的运载工具。

2、1948年以“通信的数学理论”（A mathematical theory of communication ）为题公开发表，标志着信息论的正式诞生。 信息论创始人：C.E.Shannon(香农)

第二章

1、自信息量：一个随机事件发生某一结果后所带来的信息量称为自信息量，简称自信息。

单位：比特(2为底)、奈特、笛特（哈特）

2、自信息量的性质 （1） 是非负值

（2） =1时， =0， =1说明该事件是必然事件。 （3） =0时， = ， =0说明该事件是不可能事件。 （4） 是 的单调递减函数。

3、信源熵：各离散消息自信息量的数学期望，即信源的平均信息量。

)(log )(])(1

[log )]([)( 21

2i n

i i i i a p a p a p E a I E X H ∑=-===

单位：比特/符号。（底数不同，单位不同） 信源的信息熵；香农熵；无条件熵；熵函数；熵。 4、信源熵与信息量的比较

（书14页例2.2.2）

()log () 2.1.3 i i I a p a =-（）

5、信源熵的意义（含义）:

（1）信源熵H(X)表示信源输出后，离散消息所提供的平均信息量。 （2）信源熵H(X)表示信源输出前，信源的平均不确定度。 （3）信源熵H(X)反映了变量X 的随机性。 6、条件熵：

（书15页 例2.2.3） 7、联合熵：

8、信源熵,条件熵,联合熵三者之间的关系:

H(XY)= H(X)＋H(Y/X) H(XY)= H(Y)＋H(X/Y)

条件熵小于无条件熵，H(Y/X)≤H(Y)。当且仅当y 和x 相互独立p(y/x)=p(y)，H(Y/X)=H(Y)。

两个条件下的条件熵小于一个条件下的条件熵H(Z/X,Y)≤H(Z/Y)。当且仅当p(z/x,y)=p(z/y)时取等号。

联合熵小于信源熵之和， H(YX)≤H(Y)+H(X)

当两个集合相互独立时得联合熵的最大值 H(XY)max =H(X)+H(Y) 9、信息熵的基本性质:（1）非负性；（2）确定性；（3）对称性；（4）扩展性 （5）可加性 ( H(XY) = H(X)+ H(Y) X 和Y 独立 H （XY ）=H （X ）+ H （Y/X ）

H （XY ）=H （Y ）+ H （X/Y ） )

（6）（重点）极值性(最大离散熵定理):信源中包含n 个不同离散消息时，信源熵H(X)有

当且仅当X 中各个消息出现的概率全相等时，上式取等号。

（7）条件熵不大于无条件熵；（8）上凸性

10、多符号的离散无记忆信源就是把单符号进行N 次扩展, 扩展N 次后，每个符号的宽度为N

11

(|)[(|)]()(|)

n

m

i j i j i j i j H X Y E I a b p a b I a b ====∑∑11

()()()n

m

i j i j i j H XY p a b I a b ===∑∑11

()log () (2.2.10)

n m

i j i j i j p a b p a b ===-∑∑2()log (2.2.12)

H X n ≤12()(,,

,)

N i i i i p p a a a α=()()()log ()

N

N i i X

H X H X p p αα==-∑

序列信息的熵为

)()(X NH X H N =

（书22页 例2.3.1 ）

11、信源的冗余度 0

0011H H H H H ∞

∞-=-

=-=ηξ 极限熵 实际上是一个条件熵

对离散信源，信源符号等概率分布时熵最大，其平均自信息量记为: H 0＝log q 由于信源符号间的依赖关系使信源的熵减小，使下式成立：

∞+≥≥≥≥≥≥=H H H H H q m ......log 1210

信源符号之间依赖关系越强，每个符导提供的平均信息量越小。 为此，引入信源的冗余度来衡量信源的相关程度(有时也称为多余度)。 课后习题： 2.6、无条件概率、条件概率、联合概率之间的关系（11页）

第三章

1、通信系统的模型：（33页 图3.1.1）

2、信源编码的目的是提高有效性，信道编码的目的是提高可靠性

3、信源编码的分类：（第三个、第四个比较重要） (1) 二元码和r 元码

(2) 基本源编码和N 次扩展源编码 (3) 无失真编码 和有失真编码

数学上称为非奇异码和奇异码，若信源符号和码字是一一对应的，则该码为非奇异码。反之为奇异码。

(4)惟一可译码和非惟一可译码

唯一可译和非唯一可译：若任意一串有限长的码符号序列只能被惟一地译成所对应的信源符号序列，则此码称为惟一可译码（或称单义可译码）。否则就称为非惟一可译码或非单义可译码。 (5) 定长码和变长码

4、唯一可译码可分为即时码和延时码

??

? ??=-∞→∞12

1

lim N N

N X X

X X H H

即时码：如果一个码的任何一个码字都不是其他码字的前缀，则称该码为前缀码、异前置码、异字头码、逗点码，也称为即时码 克拉夫特不等式

r 元长度为li 的异前置码存在的充要条件是

Kraft 不等式是惟一可译码存在的充要条件，

必要性表现在如果码是惟一可译码，则必定满足Kraft 不等式;

充分性表现在如果满足Kraft 不等式，则这种码长的惟一可译码一定存在，但并不表示所有满足Kraft 不等式的码一定是惟一可译码。

因此，克拉夫特不等式是惟一可译码存在的充要条件，而不是惟一可译码的充要条件。

如果一个码是即时码，它一定满足克拉夫特不等式 如果一个码满足这个不等式，它不一定是即时码 奇异码与唯一可译之间的关系：奇异码一定非唯一可译

唯一可译码与非奇异之间的关系：唯一可译码一定是非奇异码，但非奇异码不一定唯一可译

5、香农第一定理：无失真变长信源编码定理，即香农第一定理。

11i n

l i r -=≤∑

6、香农编码（书38页）

7、费诺编码（书39页）

8、赫夫曼编码（书40页）

9、这三种码中编码方法唯一的是：香农码

费诺码是最理想化的编码

第四章

1、互信息量关于它的定义有三个：

定义1：我们将从b j 中获取有关a i 的信息量称为互信息量

定义2：

将互信息表达式展开得：

)(log )(log );( j i i j i b a p a p b a I +-= 同样道理，我们可以定义a i 对b j 的互信息量为

)( )()

()

(log );( i j j j i j i j a b I b I b p a b p a b I -==

(2.1.9) ),,2,1;,,2,1( m j n i ==

定义3

通信后流经信道的信息量，等于通信前后不定度的差

)

(1

log )()(1log j i j i b a p b p a p -=

),,2,1;,,2,1( )

()()

(log

m j n i b p a p b a p j i j i ===

()

(;)log ()

i j i j

i p a b I a b p a = ()()

i i j I a I a =-(;)()()

i j i j i j I a b I a b I a b '''=-

2、互信息量的性质： （1）对称性

（2）当X 和Y 相互独立时，互信息为0 （3）互信息量可为正值或负值

3、平均互信息量（重点）

平均互信息量的定义（三个）及其物理意义（53页） 关于式子的证明过程（式子之间的转换，很重要） 4、平均互信息的性质： （1）非负性 （2）极值性

（3）对称性

（4）凸函数性（最重要）

定理1 对于固定的信道，平均互信息I(X;Y)是信源概率分布p(x)的上凸函数 定理2 对于固定的信源，平均互信息I(X;Y)信道传递概率分布p(y|x)的下凸函数 （5）数据处理定理

5、各种熵之间的关系（62页 表4.1.1）

6、信道容量：信道中最大的传输速率，C ，

单位：比特/信道符号

单位时间的信道容量，比特/秒

信道容量的计算

7、怎么样去判断信道： 第一类：离散无噪信道

(;)(;)

i j j i I a b I b a =(;)()

I X Y H X ≤(;)()

I Y X H Y ≤()()

1

max max (;)

p ai p ai C R I X Y t ==[]

[]

()

()()

max (;)

max ()() max ()()i i i p a p a p a C I X Y H X H X H Y H Y X ==-=-

（1） 一一对应的无噪信道

X 、Y 一一对应,此时H(X/Y)=0，H(Y/X)=0，

=log n (p(ai)=1/n 即等概)

（2）具有扩展功能的无噪信道

一个输入对应多个输出，此时，H(X/Y)=0，H(Y/X) 0，且 H(X)

H(X) = log n (p(ai)=1/n 即等概)

（3）具有归并性的无噪信道

多个输入变成一个输出，H(X/Y) ≠ 0，H(Y/X) = 0， C =

H(Y) = log m

第二类：对称信道：如果信道转移矩阵满足下列性质： (1) 每行都是第一行的某种置换; (2) 每列都是第一列的某种置换。 则称该信道为对称信道。 （1）对称信道的信道容量：

（2） 准对称信道：如果信道转移矩阵按列可以划分为几个互不相交的对称信道的子

集，则称该信道为准对称信道。 准对称信道的信道容量（重点）：

比特/符号 （书69页 例4.2.1）

第五章

1、线性分组码差错控制的方式：向前纠错方式（FEC ）、反馈重传方式（ARQ ）、混合纠错方式（HEC ）。

2、香农第二定理：若有一离散无记忆平稳信道，其容量为C ，输入序列长度为L ，只要待传送的信息率RC 时，任何编码的P e 必大于零；当L → 时，P e →1。

3、线性分组码：通过预定的线性运算将长为 k 位的信息码组变换成 n 长的码字 ( n >k )。由 2k 个信息码组所编成的 2k 个码字集合，称为线性分组码。

码矢：一个 n 长的码字可以用矢量来表示C = (C n －1,C n －2,…,C 1,C 0 )所以码字又称为码矢。

12()

max (,)log (,,...,)

i m p a C I X Y m H q q q ==-2

(1)log(1)(1)log 11C q q q q q

=--+-=--

( n , k ) 线性码：信息位长为 k ，码长为 n 的线性码

编码效率/编码速率/码率：R =k /n 。它说明了信道的利用效率，R 是衡量码性能的一个重要参数。

4、线性分组码的特点（性质）：

① 在码集中存在全0码字 ② 满足封闭性

定理：线性分组码的最小距离等于最小非零码字重量。 ① 汉明重量：码字中非0码的个数。

② 最小汉明重量：码集中非0码字汉明重量的最小值。

③ 汉明距离：两个等长码C 和C’中，对应位码元不同的取值个数。 ④ 最小汉明距离（码距）：码集中所有码字距离的最小值。 5、线性分组码的编码（书88页）

6、（重点）线性分组码的译码（91页 例5.2.4）

7、检纠错能力的定理：若纠错码的最小码距为 ，那么如下三个结论的任何一个结论独立成立：

（1）可以检测出任意小于等于 个差错； （2）可以纠正任意小于等于

个差错； （3）可以检测出任意小于等于l 同时纠正小于等于t 个差错，其中l 和t 满足

8、循环码（书95页） 循环移位特性

0min ()d w c