第四章习题答案

第4章习题

4-1 对信源??

????=??????01.010.015.017.018.019.02.0s s s s s s s P S 7654321

进行二元编码，编码

方案为

（1）计算平均码长L ； （2）编码后信息传输率R ； （3）编码信息率R '； （4）编码效率η。 解：（1）()14.3L

s p L i

q

1

i i

=?=

∑=（码元/信源符号）

（2）()61.2S H =（比特/信源符号）

()831.014

.361

.2L S ===

H R （bit/码元） （3）logr L R ='=（ bit/信源符号） （4）831.0R R

max

==

η 或者()831.0R S H ='

=

η 4-2 设离散无记忆信源的概率空间为???

?

????=??????414

3

s s S 21

P ，若对信源采取等长二元编码，要求编码效率96.0=η，允许译码错误概率5

10-≤δ，试计算需要的信源序列长度N 为多少

解：信源熵为

()81103

4

log 434log 41S .Η=+=

（bit/符号） 自信息量的方差

()()()[]

2

2

i q

1

i i 2

S H logp p S -=∑=σ4715.0811.041log 4143log 4322

2=-??

?

??+??? ??= 因为编码效率96.0=η，由

()()ε

+=

S S H H η

可得

()3379.0811.096

.004

.0S H 1=?=

-=

η

η

ε 可得

()7

5

2221013.410

3379.04715.0S N ?=?=≥-δεσ 所以，信源序列长度达到7

1013.4?以上，才能实现给定的要求，因此等长编码没有实际的意义，一般统计编码都是采用不等长编码。

4-6设离散无记忆信源的概率空间为??

?

?

??=??????1.09.0s s S 21P ，对信源进行N 次扩展，采用霍

夫曼编码。当N=1，2，∞时的平均码长和编码效率为多少

解：

（1）N=1时，将1s 编成0，2s 编成1，则

1L 1=

又因为信源熵

()469.0))logp(s p(s S H q

1

i i i =-=∑=bit/符号

所以

()469.0L S H 1

1==

η （2）N=2时，编码过程如下

2S

概

率

霍夫曼编码

11s s 1 21s s 01 12s s 000 2

2s s

001

所以

()=+?+?+?=0.090.0130.0920.811L 2

则

645.02

L 2

= 所以

()==

0.645

X H 2η （3）N=∞时，由香农第一定理可知，必然存在唯一可译码，使

()S H N L lim

r N

N =∞→

而霍夫曼编码为最佳码，即平均码长最短的码，故

()()469.0S H S H N L lim

r N

N ===∞→

即

1lim N N =∞

→η

4-7已知信源共7个符号消息，其概率空间为

()??

????=??????01.010.015.017.018.019.02.0s s s s s s s x P S 7654321

试进行香农编码。并计算编码后的信息传输率和编码效率。

解：下面以消息5s 为例来介绍香农编码。

计算()74.215.log0og 5=-=-p l ，取整数3L 5=作为5s 的码长。计算

4321s ,s ,s ,s 的累加概率，有

74.017.018.019.02.0p P 4

1

k k 5=+++==∑=

将变换成二进制小数()()2101011110.074.0=，取小数点后面三位101作为5s 的代码。

信源熵： ()61.2))logp(s

p(s S H q

1

i i

i

=-

=∑=bit/符号

平均码长： ()i

q

1

i i

L

s p L ∑=?=14.3=码元/符号

信息传输率()831.014

.361

.2L S ===H R 编码效率：()

831.014

.361

.2L

S ==

=___

H η 4-8 已知信源

??

????=??????0.150.20.20.225.0s s s s s P S 54321

用霍夫曼编码法编成二进制变长码，计算平均码长和编码效率。 解：

平均码长： ()i

q

1

i i

L

s p L ∑=?= 2.363*35.02*65.0=+=码元/符号

信息传输率()L

S H R = 编码效率：()

___

H ηL

S =

4-11已知信源

??

????=??????0.040.080.160.180.2232.0s s s s s s P S 654321

（1）求符号熵H(S)。

（2）用香农编码法编成二进制变长码，计算其编码效率。 （3）用费诺编码法编成二进制变长码，计算其编码效率。 （4）用霍夫曼编码法编成二进制变长码，计算其编码效率。 （5）用霍夫曼编码法编成三进制变长码，计算其编码效率。 （6）若用逐个信源符号来编定长二进制码，要求不出差错译码，求所需要的每符号的平均信息率和编码效率。

（7）当译码差错小于3

10

－的定长二进制码要达到（4）中的霍夫曼编码效率时，估计

要多少个信源符号一起编才能办到

解：（1）∑==-

=6

1

352.2)s (log )s ()S (i i

i

p p H bit/符号

（2）香农编码过程如下：

∑===6

1

i 84.2L )s (L i i p 码元/符号

828.0L

)

S (==

H η （3）费诺编码过程如下：

∑===6

1

i 4.2L )s (L i i p 码元/符号

98.0L

)

S (==

H η （4）霍夫曼二进制编码过程如下：

∑===6

1

i 4.2L )s (L i i p 码元/符号

98.0L

)

S (==

H η （5）霍夫曼三进制编码过程如下：

按3为底的信源熵为：

∑==-='6

1

3484.1)(log )()S (i i i x p x p H 单位/符号

()()()58.1304.008.0216.018.022.032.0L )s (L 6

1

i =?++?+++==∑=i i p 码元/符

号

939.0L

)

S (='=

H η （6）因为有6个符号，因此需要3bit 来进行编码，故需要的符号平均信息率为3bit/符号。

784.0L

)

S (==

H η （7）98.0)S ()

S (=+=

ε

ηH H 解得048.0=ε

[]∑==-=6

1

2222

527.0)S ()(log )S (i i i bit H p p σ

53

2221029.210

048.0527.0)S (?=?=≥-δεσL 因此，使用定长码则需要5

1029.2?个符号连在一起编。

4-12 设信源S 的N 次扩展信源为N S ，采用最佳编码对它进行编码，而码符号为

{}r 21x ,x ,x X =，编码后所得的码符号可以看作一个新信源

??

?

???=??????r 21r 21

p p p x x x P X

求证：当∞→N 时，新信源X 符号集的概率分布趋于等概分布。

证明：由香农第一定理知

()()N

1

logr S N L logr S N +≤≤ΗΗ 当平均码长达到极限值时，编码效率

()

logr

S N L N Η= 这时编码后的信道信息传输率（新信源的信息传输率）

logr R =

即新信源的r 个符号（即码符号）独立等概分布，达到最大熵。

4-15设某二元无记忆信源

??

????=??????2.00.810

P S 每秒钟发出个信源符号。将此信源的输出符号送入无噪无损信道中进行传输，而信道每秒钟

只传送两个二元符号。

（1） 如果不通过编码，信源能否在此信道中进行无失真传输。

（2） 如果通过适当编码，信源能否在此信道中进行无失真传输如何进行信源编码

解：

（1）如果不对信源进行编码，这时信源输出5.2（二元信源符号/秒），而信道传输速率为2（二元信道符号/秒），因为25.2>，所以不通过编码，该信源不能在信道中进行无失真编码。

（2）信源熵

()信源符号/722.0S bit Η=

二元无噪无损信道的最大信息传输率

信道符号比特/1C =

而信道每秒钟传送2个符号，所以该信道的最大信息传输速率

秒比特/2C t =

如果信源每秒钟发送个信源符号，则信源输出的信息速率

()秒比特/805.1S H 5.2R t =?=

则

t t C R <

所以，通过适当编码，信源能够在此信道中进行无失真传输。如何进行编码呢我们将对N 次扩展信源进行信源编码。当N=2时，对二次扩展信源进行霍夫曼编码。编码过程如下

2S 概率 霍夫曼

编码

11s s 1 21s s 01 12s s 000 2

2s s

001

则单个符号的平均码长

信源符号二元码符号/78.02

L L 2

___

___

==

所以，二次扩展编码后，送入信道的传输速率为

95.15.278.0=?（二元码符号/秒）

信源编码得到的二元码符号进入信道，即信道符号就是二元码符号，由题意可知，信道每秒钟可以传送两个符号。因为295.1<，此时就可以在信道中进行无失真编码。