信息论与编码第3章

第三章信道与信道容量（第七讲）

（2课时）

主要内容：（1）信道分类与表示参数（2）离散单个符号信道及其容量

重点：无干扰离散信道、对称DMC信道、准对称DMC信道、一般DMC信道。

难点：无干扰离散信道、对称DMC信道、准对称DMC信道、一般DMC信道。

作业：3、1， 3、2。

说明：信道是构成信息流通系统的重要部分，其任务是以信号形式传输和存储信息。在物理信道一定的情况下，人们总是希望传输的信息越多越好。这不仅与物理信道本身的特性有关，还与载荷信息的信号形式和信源输出信号的统计特性有关。本章主要讨论在什么条件下，通过信道的信息量最大，即所谓的信道容量问题。本章概念和定理也较多，较为抽象，课堂教学时考虑多讲述一些例题，着重阐明定理和公式的物理意义，对较为繁琐的推倒过程做了部分省略。

3．1 信道的分类和表示参数

信道中存在的干扰使输出信号与输入信号之间没有固定的函数关系，只有统计依赖的关系。因此可以通过研究分析输入输出信号的统计特性来研究信道。

首先来看下一般信道的数学模型，这里我们采用了一种“黑箱”法来操作。通信系统模型，在信道编码器和信道解码器之间相隔着许多其他部件，如调制解调、放大、滤波、均衡等器件,以及各种物理信道。信道遭受各类噪声的干扰，使有用信息遭受损伤。从信道编码的角度，我们对信号在信道中具体如何传输的物理过程并不感兴趣，而仅对传输的结果感兴趣：送人什么信号,得到什么信号，如何从得到的信号中恢复出送入的信号，差错概率是多少。故将中间部分全部用信道来抽象。可得到下图表示的一般信道模型。

图3－1 信道模型

3．1．1 信道的分类

（1）根据输入输出随机信号的特点分类

离散信道：输入、输出随机变量都取离散值。

连续信道：输入、输出随机变量都取连续值。

半离散/半连续信道：输入变量取离散值而输出变量取连续值，或反之。

据输入输出随机变量个数的多少分类

单符号信道：输入和输出端都只用一个随机变量来表示。 多符号信道：输入和输出端用随机变量序列/随机矢量来表示。 根据输入输出个数分类

单用户信道：只有一个输入和输出的信道。 多用户信道：有多个输入和输出的信道。 根据信道上有无干扰分类 有干扰信道 无干扰信道

根据信道有无记忆特性分类 有记忆信道， 无记忆信道。

根据输入和输出之间有无反馈 有反馈信道

无反馈信道。实际信道的带宽总是有限的，所以输入和输出信号总可以分解成随机序列来研究。一个实际信道可同时具有多种属性。

最简单的信道是单符号离散信道。 3．1．2 信道参数

分四部分来讲述。

1．二进制离散信道模型

二进制离散信道模型由一个允许输入值的集合 X ＝{0,1} 和可能输出值的集合Y={0,1}，以及一组表示输入、输出关系的条件概率（转移概率）组成。最简单的二进制离散信道是二进制对称信道（binary symmetric channel,BSC ）。如图3－2所示。它是一种无记忆信道。转移概率为：

(0/1)(1/0)(1/1)(0/0)1p Y X p Y X p

p Y X p Y X p ======?

?======-?

图3－2 二进制对称信道 2．离散无记忆信道

假设信道编码器的输入是n 元符号，即输入符号集由n 个元素X={x 1，x 2，…，x n }构成，而检测器的输出是m 元符号即信道输出符号集由m 个元素Y ＝{y 1,y 2，…，y m }构成，且信道和调制过程是无记忆的，那么信道模型黑箱的输入一输出特性可以用一组共nm 个条件概率来描述(/)(/)j i j i p Y y X x p y x ==≡。式中，i=1，2，…，n ；j=1，2，…，m ，；这样的信道称为离散无记忆信道（DMC ）。

1-p

1

p

p

1

1

1122111

(,,,/,

,)(/)n

n n n n k k k k k p Y y Y y Y y X x X x p Y y X x =========∏

(/)j i p y x 构成的矩阵为P 矩阵（信道矩阵），如下：

如果信道转移概率矩阵的每一行中只包含一个“1”，其余元素均为“0”，说明信道无干扰，叫无扰离散信道。

在信道输入为x i 的条件下，由于干扰的存在，信道输出不是一个固定值而是概率各异的一组值，这种信道就叫有扰离散信道。

3．离散输入连续输出信道

假设信道输入符号选自一个有限的、离散的输入字符集X={x 1，x 2，…， x n }，而

信道输出未经量化（m －）∞），这时的译码器输出可以是实轴上的任意值，即y={－∞，∞}。这样的信道模型为离散时间无记忆信道。

这类信道中最重要的一种是加性高斯白噪声（AWGN ）信道，对它而言Y=X ＋G ，式中G 是一个零均值、方差为2

σ的高斯随机变量，X=x i ，i=1，2，…，n 。当 X 给定后，Y 是一个均值为x i 、方差2

σ为的高斯随机变量。

22

()/21(/)

i y x i p y x e

σ

--=

波形信道是这样一种信道模型：其输入是模拟波形，

其输出也是模拟波形。假设输入该信道的是带限信号x （t ），相应的输出是y （t ），那么

y （t ）=x （t ）＋n （t ）

这里n （t ）代表加性噪声过程的一个样本函数。 说明：

a.设计和分析离散信道编、解码器的性能，从工程角度出发，最常用的是DMC 信道模型或其简化形式BSC 信道模型；

b.若分析性能的理论极限，则多选用离散输入、连续输出信道模型；

c.如果我们是想要设计和分析数字调制器和解调器的性能，则可采用波形信道模型。 本书的主题是编、解码，因此主要使用DMC 信道模型。 3.2离散单个符号信道及其容量

信道模型：见3－1图，图中，输入X ∈{x 1,x 2,…,x i ,…,x n }，输出Y ∈

{y 1,y 2,…,y j ,…,y m }。如果信源熵为H (X )，希望在信道输出端接收的信息量就是H (X )，由于干扰的存在，一般只能接收到I (X ;Y )。

信道的信息传输率：就是平均互信息 R =I (X ;Y )。

输出端Y 往往只能获得关于输入X 的部分信息，这是由于平均互信息性质决定的：I (X ;Y )≤H (X )。

I (X ;Y )是信源无条件概率p (x i )和信道转移概率p (y j /x i )的二元函数，当信道特性p (y j /x i )固定后，I (X ;Y )随信源概率分布p (x i )的变化而变化。调整p (x i )，在接收端就

能获得不同的信息量。由平均互信息的性质已知，I(X;Y)是p(x i)的上凸函数，因此总能找到一种概率分布p(x i)（即某一种信源），使信道所能传送的信息率为最大。

信道容量C ：在信道中最大的信息传输速率，单位是比特/信道符号

()

()

max max (;)

(/)i i p x p x C R I X Y ==比特信道符号

单位时间的信道容量C t ：若信道平均传输一个符号需要t 秒钟，则单位时间的信道容量为：

1()

max (;)

(/)i t t p x C I X Y =比特秒

3.2.1 无干扰离散信道

介绍三种信道：

1．具有一一对应关系的无噪信道

对应的信道矩阵是:

10000

001010

00010001001000

00

11000????

????????????????????

????????

因为信道矩阵中所有元素均是“1”或“0”，X 和Y 有确定的对应关系： 已知X 后Y 没有不确定性，噪声熵 H (Y /X )=0；

反之，收到Y 后，X 也不存在不确定性，信道疑义度 H (X /Y )=0; 故有 I (X ;Y )=H (X )=H (Y )。

当信源呈等概率分布时，具有一一对应确定关系的无噪信道达到信道容量: 2．具有扩展性能的无噪信道

1121314252627383(/)

(/)(/)00000

000(/)

(/)(/)

0000

(/)

(/)p y x p y x p y x p y x p y x p y x p y x p y x ??

????

???

?

虽然信道矩阵中的元素不全是“1”或“0”，但由于每列中只有一个非零元素：已知Y 后，

X 不再有任何不确定度，信道疑义度 H (X /Y )=0，

I (X ;Y )= H (X ) -H (X /Y )= H (X ) 。

例如，输出端收到y 2后可以确定输入端发送的是x 1，收到y 7后可以确定输入端发送的是x 3，等等。

信道容量为：

2()

()

max (;)max ()log i i p x p x C I X Y H X n

===

与一一对应信道不同的是，此时输入端符号熵小于输出端符号熵，H (X ) < H (Y )。 3．具有归并性能的无噪信道

1001000

10010001P ??

??????=????????

信道矩阵中的元素非“0”即“1”，每行仅有一个非零元素，但每列的非零元素个数大于1：已知某一个x i 后，对应的y j 完全确定，信道噪声熵H (Y /X )=0。

但是收到某一个y j 后，对应的x i 不完全确定，信道疑义度 H (X /Y )≠0。 信道容量为：2()

()

max (;)max ()log i i p x p x C I X Y H Y m ===

结论：无噪信道的信道容量C 只决定于信道的输入符号数n ，或输出符号数m ，与信源无关。

3.2.2 对称DMC 信道

如果转移概率矩阵P 的每一行都是第一行的置换(包含同样元素)，称该矩阵是输

入对称的；如果转移概率矩阵的每一列都是第一列的置换(包含同样元素)，称该矩阵是输出对称的；如果输入、输出都对称，则称该DMC 为对称的DMC 信道。

对应对称的DMC 信道，当输入呈等概分布时，信道到达信道容量，为：

1

log (/)log log m

i ij ij

j C m H Y x m p p ==-=+

∑

其中 第二项为矩阵任一行元素的信息熵。 例题3－1：已知P 矩阵，求C 。解：

1/31/31/61/61/61/61/31/31111

4(,,,)0.082/3366

P C lb H bit ??=??

??=-=则符号

二进制信道的C 值：

log 2(,1)1()

p P p C H p p H p ??=????

=--=-1-p 1-p 则 3．2．3 准对称DMC 信道

如果注意概率矩阵P 是输入对称而输出不对称，则称为准对称DMC 信道。

例如：

[][][]1111

2488111142881111

88

241211118842P P P ??=????

????

==??

??????行具有对称性，列不具有对称性，但把矩阵的前

两列和后两列分成互不相交的子集，构成两个子矩阵两个子矩阵都是对称矩阵。

它的信道容量求解较为复杂。 3．2．4 一般DMC 信道

为使 I （X;Y ）最大化以便求取DMC 容量，输入概率集{ p （x i ）}必须满足的充分

和必要条件是:

I （x i ;Y ）＝C , 对于所有满足p （x i ）＞0条件的i

I （x i ;Y ）≤C , 对于所有满足p （x i ）=0 条件的i 即是每个概率非零的输入符号对Y 提供相同的平均互信息。

第三章 信道与信道容量（第八讲）

（2课时）

主要内容：（1）离散序列信道及其容量（2）连续信道及其容量 重点：离散序列信道及其容量。

难点：连续单符号加性信道、多维无记忆加性连续信道、限时限频限功率的加性高斯白噪声信道。

特别提示：运用

3．3 离散序列信道及其容量

定义：多符号离散信源X =X 1X 2…X L 在L 个不同时刻分别通过单符号离散信道{X

P (Y /X ) Y }，则在输出端出现相应的随机序列Y =Y 1Y 2…Y L ，这样形成一个新的信道称为

离散序列信道。 由于新信道相当于单符号离散信道在L 个不同时刻连续运用了L 次，所以也称为单符号离散信道{X P (Y /X ) Y }的L 次扩展。

离散序列信道模型

如下图所示，设信源矢量X 的每一个随机变量X l ( l=1,2,…,L)均取自并取遍于

信道的输入符号集{a 1,a 2,…,a n } ，则信源共有n L 个不同的元素a i (i =1,2,…,n L )。则输出矢量Y 由L 个符号组成的输出序列Y =Y 1Y 2… Y L ，它的每一个随机变量Y l 均取自并取遍于信道的输出符号集{b 1,b 2,…,b m }。

1

1

2

1,2

212(,,...,)

{,(,,...)

(...,,...,)

,}L l L

l m n Y Y Y Y b b X X

X X b a a a Y X ====

对于无记忆离散序列信道，其信道转移概率为： 平均互信息 I(X;Y)=H(Y)－H(Y /X) 例题3－7，p55，BSC 二次扩展信道

由题图可知其转移概率：

()()2(00/00)0/0(0/0)(1)(01/00)0/0(1/0)(1)

p p p p p p p p p ==-==-

对应的转移概率矩阵：

22222222(1)(1)

(1)(1)

(1)(1)(1)(1)(1)(1)

(1)

(1)p p p p p p p p p p p p P p p p p p p p

p p p p p ??

---?

?

---?

?

=??---??

---????

是一个对称DMC 信道，当输入序列等概分布时，容量为：

222log 4[(1),(1),(1),)]C H p p p p p p =----

3．4 连续信道及其容量 3．4．1 连续单符号加性信道

输入和输出随机变量都取值于连续集合的信道。其传递特性用条件转移概率密度

函数p (y /x )表示，用{X p (y /x ) Y }。

连续随机变量之间的平均互信息满足非负性，并可以证明，它是信源概率密度函数

p (y /x )的上凸函数。

连续信道的信道容量C ：信源X 等于某一概率密度函数p 0(x )时，信道平均互信息的最大值，即{}()

max (;)p x C I X Y =。

一般连续信道的容量并不容易计算，当信道为加性信道时，情况要简单一些。下图为连续加性信道模型：

噪声为连续随机变量N ，且与X 相互统计独立的信道。这种信道的噪声对输入的干扰作用表现为噪声和输入线性叠加，即Y =X +N 。加性连续信道的条件熵等于其噪声熵说明

H c (Y /X )＝H c (N )。

加性连续信道的信道容量：

加性噪声N 和信源X 相互统计独立，X 的概率密度函数p (x )的变动不会引起噪声熵

H c (N )的改变，所以加性信道的容量C 就是选择p (x ) ，使输出熵H c (Y )达到最大值，

即：{}()

max ()()c c p x C H Y H N =-。

高斯加性信道的容量：

高斯噪声为N ，均值为0，方差为σ2 ，噪声功率为P ；概率密度函数为p n (N)=N(0, σ2 ), 噪声的连续熵为2122

()log 2c H N e πσ＝。

所以，高斯加性连续信道的容量等于：

{}{}2

122

()

()

max ()()max ()log 2c c c p x p x C H Y H N H Y e πσ=--＝ 根据最大连续熵定理，要使H c (Y )达到最大，Y 必须是一个均值为0、方差为σ2

Y ＝P 的高斯随机变量。

若限定输入平均功率S ，噪声平均功率P N =σ2，对高斯加性信道，输出Y 的功率P 也限定了，P ＝S ＋P N ，因为 p Y (y)=N(0,P)，p n (N)=N(0, σ2

)，所以有： p x (x)=N(0,S)，即输入X 满足正态分布时，H c (Y )达到最大值，达到信道容量。

{}22

112222()

211222222222max ()log 2()log 2log 2P log 21S 1S log ()log (1)22c X Y p x H Y e eP C e e πσσπππσ

σσσ

=+==-+==+因此，高斯加性信道的信道容量为

实际系统中噪声不是高斯型的，但若为加性的，如果均值为0，平均功率为2

σ，则信道容量存在下面的上下界：

实际非高斯噪声信道的容量要大于高斯噪声信道的容量，所以在处理实际问题时，通过计算高斯噪声信道容量来保守地估计容量。3．4．2 多维无记忆加性连续信道

当每个单元时刻的高斯噪声都是同分布时，即：2

σl n =N(0,),则有信道容量

21L C log(1)

/2L l S bit L σ

=+∑＝（维）。

当且仅当输入矢量X 各分量统计独立，且各分量都服从l x =N(0,S)时，信息传输率达到最大。

当每个单元时刻的高斯噪声均值为零，但是方差不同且为2

l σ时，若输入信 号的总平均功率受限，约束条件为：

2

21

1

1

[][]L L L

l

l

l l l l E X E X P P ======∑∑∑则此时各单元时刻的信号平均功率应该合理分配，才

能使得信道容量最大。从而转换为求极大值得问题。在噪声平均功率过于大，甚至超过输出平均功率时，可以不给于功率，即不发送信号；