信息论与编码理论-第3章信道容量-习题解答-071102

第3章信道容量

习题解答

2/3 1/3

3-1设二进制对称信道的转移概率矩阵为

1/3 2/3

解：⑴若 P 佝)3/4, P(a 2)1/4 ,求 H(X),H( Y),H(X| Y), H (Y|X)和 l(X; Y)。

H(X)=

p(ajog p?)

| log (扌) i=1

4 4

3 p(b 1)=p(a 1)p(b 1|a 1)+p(a 2)pQ |a>)=-

4 3 p(b 2)=p(a 1)p( b 2|a 1)+p(a 2)p(b 2|a 2)=-

4

2 3 1 3 1 4 1 4 1 3 2 3 7 12 H(Y)= : p(bjMggp 三如右)

152l og(15

2) 0.9799(bit/ 符号) 2 H(Y|X)= P (a j ,b j )log p(b j |aj i,j 2 2

3叫)

2

p (b j |a i )log p(b j |a i ) j 1 1 -log(—) 0.9183(bit/符号)

3 3

l(X;Y )=H( Y) H(Y1X)=0.9799 0.9183 0.0616(bit/ 符号) H(X| Y)二

H(X) I(X;Y)=0.8113 0.0616 0.7497(bit / 符号) (2)求该信道的信道容量及其达到信道容量时的输入概率分布。 二进制对称信息的信道容量 H(P )= -p log( p) -(1- p)log(1- p) 1 1 2 2 C=1-H(P)=1+ -log(丄)+2log(

-)=0.0817(bit/ 3 3 3 3 符)

BSC 信道达到信道容量时，输入为等概率分布，即: 注意单位

｛，

｝

1log(1

) 0.8113(bit /符

号)

p(a 1) p(b 2 |a 1)

(1 p) (1 2)

p(a 2) p(b 2 |a 2)

p(a i )p(b j | a i )log p(b j |a i )

i ,j 1

1)log(1 1) 1log( 1)]

2)log(1 2) 2 log( 2)]

(1 p) H( 2)

2) H ( ) 的变化曲线，是一个上凸函数，当输入等概率分布时达到信道 容

量。

C max{I(X;Y)} max{ H (Y ) H(Y |X)} m p(a x)x{ H [ p (1

由于函数H (￡ )是

3-4设BSC 信道的转移概率矩阵为 Q 1 1 1

212

1)写出信息熵H(Y)和条件熵H(Y |X)的关于H( 1)和H( 2)表达式，其中 H( ) log (1 )log(1 )。 2)根据 H ( ) 的变化曲线，定性分析信道的容道容量， 并说明当 1 2

的

信道容量。 解：(1)设输入信号的概率颁布是 {p,1-p} p(b 1) p(a 1) p(b 1 |a 1

)

p (1

1) (1 p) 2

p(a 2) p(b 1 |a 2)

H(Y)

[p [p 1 H[p

p(b 1)log

p(b 1) (1 (1 (1

1) p) 1) 2

(1 (1 (1 p(b 2)log 2 ]log[ p 2)]log[ p 1 p) 2]

p) p(b 2)

(1 1) (1 (1 p) (1 p) 2 ]

2)]

p(b 2) H(Y|X)

p [(1 (1 p)[(1

p H( 1) 1) (1 p)

2] p H( 1) (1 p) H ( 2)}

f ( 1 (1 ) 2) f( 1) (1 ) f( 2)

个凸函数，有一个性质：

可知：C 假设1

2

时此信道是一个二元对称信道，转移概率分布为：

信道容量:

1 2

C 1- log -(1- )log(1-) 1-H()

3-10电视图像由30万个像素组成，对于适当的对比度，一个像素可取

10

个可辨别的亮度电平，假设各个像素的10个亮度电平都以等概率出现，实 时传送电视图像每秒发送30帧图像。为了获得满意的图像质量，要求信号 与噪声的平均功率比值为30dB ,试计算在这些条件下传送电视的视频信号 所需的带宽。 解：

P (

x%

I (X) log10 3.32bit/像素 1秒内可以传送的信息量为：

3.3219bit/ 像素 30 10000像 素 30=2.9897 107

bit

S

),已知:10log 10(—) 30dB N N

Blog(1 103)可得：B 2.9995 106

HZ

3-11 一通信系统通过波形信道传送信息，信道受双边功率谱密度 N o /2 0.5 10 8 W / Hz 的加性高斯白噪声的干扰，信息传输速率 R 24 kbit/s ，信号功率 P 1W 。

1）若信道带宽无约束，求信道容量； 解：带限的加性高斯白噪声波形信道的

信道容量为

C Blog(1 S 3

—103

N 2.9897 107

1

4.5074 104

b ps Wlog(1 旦)105

log(1

NW P

S )

NW

SNR

N o W

Ps' 0.3667 10

5

信号功率的变化为

0.3667即: 4.3654dB

108

0.3667 10 3

w

10log 10 P

^' 10log P s 0.3667 10 3

10 ■

34.3569dB

C limC t

lim-P s NW 旦)

w

w

N 。P S

NW

邑 loge 1.4427 108

bit/s N 。

2）若信道的频率范围为0到3KHz 求信道容量和系统的频带利用率 R/W

（bps/Hz ）（注: W 为系统带宽）；对同样的频带利用率，保证系统可靠传输 所需的最小E b /N o 是多少dB

3）若信道带宽变为 比为多少dB 信号功率要变化多数dB

W 100KHZ

无带宽约束时:

W=3KHZ

在最大信息速率条件下，每传输 1比特信息所需的信号能量记为 E b

C W log(1

P S NW

)Wlog(1

SNR)

3000 log(1 1 108

3000) 4.5074 104b ps

R W E b 24kbit/s 3KHz P S

8bp s/Hz

N 。

N 0C 1 10 8 4.5074 104 33.4

7d B

100KHz 欲保持与2）相同的信道容量，则此时的信噪

3

第4章无失真信源编码

习题参考答案

A 、

B 、

C E 编码是唯一可译码。

A 、C E 码是及时码。 唯一可译码的平均码长如下：

4-3： (1)

(3)仙农编码:

4-1:

(1) ⑵ ⑶

1A

P(S i )l i

1 (2

16 16 16 码元/信源符号

l

B

P(S i )l i

1 16

1 16

1 16

1 16

6 2.125码元/信源符

l

C

P(S i )l i

16

16

16

1 —6 2.125码元/信源符

16

1E

P(S i )l i

16 16

16)

2码元/信源符号

8

H(X)=- p(x i )logp(x

i=1

1 1 1 1 1 =--log ----- l og ---- log

2 2 4 4 8 1 1 1 , -—log —-——log 64 64 128

=1 — bit / 符 64

i

)

1 128 1 1 1 1, 1 ---- log ------ log —

8 16 16 32 32 1 ,

-——log

16 32 1

128 (2)平均码长:

_ 6

l P(s)l i

i 1

1 1 8 16 32

1

—)3码元/信源符号 64 128 128 所以编码效率:

H(X) l

0.6615

4-5:

(1)霍夫曼编码：

对X的霍夫曼编码如下:

码元/信源符

信源符号

平均码长:

l 0.49 1 0.14 3 2 0.07 4 2 0.04 4 0.02 5 0.02 6 0.01 6 2.23

符号

S

概率

P

（S i ）

字

S I

r

r

f

4

10 2 9

/

1

11 2 S3

/

1

000 3 a

1

001 3 a

r 1

010 3 S3

丿

1

1

0110 4 &

0111

4

2 0.19 2 0.18

3 0.17 3 0.15 3 0.1

4 0.01 4 2.72 码元 /

l 0.2 H(X)

P i log P i 2.61码元/符号

H(X) r

2.61 2.72 0.9596

Y 的二元霍夫曼编码: