信息论与编码第二章

第二章

1对于离散无记忆信源DMS=,试证明：

HX=H2p=-p log p-1-plog1-p

当p=1/2时,HX达到最大值;

2对1中的DMS,考虑它的二次扩展信源X2=,证明：HX2=2HX;

解：

（1）函数HX=-plogp-1-plog1-p中的变量p在0到1中取值,从函数的结构上可以知道该函数在区间0,1上是关于p=1/2对称的函数;

（2）H X==-logp-1-pp1-pp1ln2+

（3）+1ln21-p-1ln2+log1-p-pln21-p

=log1-pln21-p

=log1-pp>0

在区间0,上1-p>p,则1-p/p>1,所以log,在此区间上Hx>0,Hx 单调递增;又该函数是在区间0,1上是关于p=1/2对称的函数,那么在区间,1上单调递减;

所以,HX=H2p=-plogp-1-plog1-p在p=1/2时,HX达到最大值;

2二次扩展后的矩阵：

=

HX2=-p2logp2-p1-plog2p1-p-2p1-plogp1-p

=2-plogp1-p-1-plog1-pp-21-plog1-pp-1-plog1-p=2HX

1一个无偏骰子,掷骰子的熵为多少

2 如果骰子的被改造使得某点出现的概率与其点数成正比,那么熵为多少

3一对无偏骰子,各掷一次,得到总点数为7,问得到多少信息量

解：

1 Hx= -log1/6=log6=bit/符号

2由qx i=kx i得21k=1 即 k=1/21

Hx=-1/21log1/21-2/21log2/21-3/21log3/21-4/21log4/21-5/21l og5/21-6/21log6/21=bit/符号

3IA+B=7=-log1/6=log6=bit

一个盒子中放有100个球,其中60个球是黑色的,40个球是白色的; 1随机摸取一个球,求获得的自信息量;

2进行放回摸取n次,求这n次所得到的平均自信息量;

解：

1Ix i=-log1/100=log100bit

2总信息量为：nIx1Px1+nIx2Px2

平均：1/n nIx1Px1+nIx2Px2=bit

给定信源=,

1 该信源是平稳信源吗计算信源熵；

2计算Hx3,并列出信源;

3 计算Hx3|x1x2及N维扩展信源在N趋于无穷时的熵.

解：

1 Hx= bit/符号

Hx<=NHx 是平稳信源

2Hx3==3Hx= bit/符号

X=x3={x1x1x1,x1x1x2,x2x1x1,x1x2x1,x1x2x2,x2x1x2,x2x2x1,x2x2x2} 记x i x j x t=b k,k=0 (7)

则=

3 Hx3|x1x2=-

N维扩展信源在N趋于无穷时,qx i j几乎相等;

所以,-=-=0

所以,N维扩展信源在N趋于无穷时的熵0;

证明几何分布=的熵为HX=;

证明：由题意可得,x的二维扩展概率分布为：

=

Hx=-plogp-p1-plogp1-p…-p1-p i-1logp1-p i-1

H2p=-p2logp2-p21-plogp21-p…-p21-p2i-2logp21-p2i-2

将H2p进行化简,可得：H2p=Hxp

所以,Hx=