最新第三章-信道容量-习题答案
精品文档
3.1 设信源???
???=?
?????4.06.0)(21x x X P X 通过一干扰信道，接收符号为Y = { y1, y2 }，信道转移矩阵为???
?
??????43416165，求：
(1) 信源X 中事件x 1和事件x 2分别包含的自信息量；
(2) 收到消息y j (j=1,2)后，获得的关于x i (i=1,2)的信息量； (3) 信源X 和信宿Y 的信息熵；
(4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到信息Y 后获得的平均互信息量。
解： 1)
bit
x p x I bit x p x I 322.14.0log )(log )( 737.06.0log )(log )(22222121=-=-==-=-=
2)
bit
y p x y p y x I bit
y p x y p y x I bit
y p x y p y x I bit
y p x y p y x I x y p x p x y p x p y p x y p x p x y p x p y p 907.04
.04
/3log )()/(log );( 263.16.04
/1log )()/(log );( 263.14.06
/1log )()/(log );( 474.06.06
/5log )()/(log );(4
.04
3
4.0616.0)/()()/()()(6
.041
4.0656.0)/()()/()()(22222
2221212122212221211121122212122121111===-===-=======?+?=+==?+?=+=
3)
symbol
bit y p y p Y H symbol
bit x p x p X H j
j j i
i i / 971.010log )4.0log 4.06.0log 6.0()(log )()(/ 971.010log )4.0log 4.06.0log 6.0()(log )()(22=+-=-==+-=-=∑∑
4)
symbol
bit Y H X Y H X H Y X H Y X H Y H X Y H X H symbol
bit x y p x y p x p X Y H i
j
i j i j i / 715.0971.0715.0971.0 )()/()()/()
/()()/()(/ 715.0 10
log )4
3
log 434.041log 414.061log 616.065log 656.0( )
/(log )/()()/(2=-+=-+=∴+=+=??+?+?+?-=-=∑∑
精品文档
5)
symbol bit Y X H X H Y X I / 256.0715.0971.0)/()();(=-=-=
3.2 设二元对称信道的传递矩阵为???
?
??????32313132
(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；
解： 1)
symbol
bit Y X H X H Y X I symbol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I symbol bit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p symbol
bit x y p x y p x p X Y H symbol
bit x p X H j
j i
j
i j i j i i i / 062.0749.0811.0)/()();(/ 749.0918.0980.0811.0)/()()()/()
/()()/()();(/ 980.0)4167.0log 4167.05833.0log 5833.0()()(4167
.03
2
413143)/()()/()()()()(5833.031
413243)/()()/()()()()(/ 918.0 10
log )3
2
lg 324131lg 314131lg 314332lg 3243( )
/(log )/()()/(/ 811.0)41
log 4143log 43()()(222221212221221211112111222=-==-==+-=+-=-=-==?+?-=-==?+?=+=+==?+?=
+=+==??+?+?+?-=-==?+?-=-=∑∑∑∑ 2)
2
1
)(/ 082.010log )3
2
lg 3231lg 31(2log log );(max 222=
=?++=-==i mi x p symbol
bit H m Y X I C
3.3 设有一批电阻，按阻值分70%是2K Ω，30%是5 K Ω；按瓦分64%是0.125W ，其余是0.25W 。现已知2 K Ω阻值的电阻中80%是0.125W ，问通过测量阻值可以得到的关于瓦数的平均信息量是多少？
解：
对本题建立数学模型如下：
)
;(求：2.0)/(,8.0)/(36.064.04/18/1)(瓦数 3.07.052)(阻值12112121Y X I x y p x y p y y Y P Y x x X P X ==???
?
??===????????????KΩ=KΩ==?????? 以下是求解过程：
精品文档
()()()symbol
bit XY H Y H X H Y X I symbol
bit y x p y x p XY H symbol
bit y p Y H symbol
bit x p X H y x p y p y x p y x p y x p y p y x p y p y x p y x p y x p y p x y p x p y x p x y p x p y x p i
j
j i j i j
j i
i / 186.0638.1943.0881.0)()()();(/ 638.1 22.0log 22.008.0log 08.014.0log 14.056.0log 56.0 )
(log )()(/ 943.036.0log 36.064.0log 64.0)()(/ 881.03.0log 3.07.0log 7.0)()(22
.014.036.0)()()()
()()(08.056.064.0)()()()
()()(14.02.07.0)/()()(56.08.07.0)/()()(22222222212222221211112121111212111111=-+=-+==?+?+?+?-=-==?+?-=-==?+?-=-==-=-=∴+==-=-=∴+==?===?==∑∑∑∑
3.4 若X, Y, Z 是三个随机变量，试证明
(1) I(X;YZ) = I(X;Y) + I(X;Z/Y) = I(X;Z) + I(X;Y/Z)；
证明：
)
/;();( )/()/(log
)()()
/(log
)( )
/()()/()/(log
)( )
()/(log
)();()
/;();( )
/()/(log
)()
()/(log
)( )/()()/()/(log
)( )
()/(log
)();(Z Y X I Z X I z x p z y x p z y x p x p z x p z y x p z x p x p z x p z y x p z y x p x p z y x p z y x p YZ X I Y Z X I Y X I y x p z y x p z y x p x p y x p z y x p y x p x p y x p z y x p z y x p x p z y x p z y x p YZ X I i j k
k i k j i k j i i
j
k
i k i k j i i
j
k
k i i k i k j i k j i i
j
k
i k j i k j i i
j
k
j i k j i k j i i
j
k
i j i k j i i
j
k
j i i j i k j i k j i i
j
k
i k j i k j i +=+===+=+===∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑
(2) I(X;Y/Z) = I(Y;X/Z) = H(X/Z) – H(X/YZ)；
证明：
∑∑∑∑∑∑==i
j
k
k j k i k j k j i k j i i
j
k
k i k j i k j i z y p z x p z y p z y x p z y x p z x p z y x p z y x p Z Y X I )
()/()()/(log
)( )/()/(log
)()/;(
精品文档
)
/()/( )
/()/(log )( )
/()/(log )( )/(log )()/(log )( )
/()/(log
)()/;()
/;( )
/()/(log
)( )/()()(log
)( )/()()(log
)( )/()()/()(log
)( YZ X H Z X H YZ X H z x p z x p YZ X H z x p z y x p z y x p z y x p z x p z y x p z x p z y x p z y x p Z Y X I Z X Y I z y p z x y p z y x p z y p z x p z y x p z y x p z y p z x p z y x p z y x p z y p z p z x p z y x p z y x p i
k
k i k i i k k i j k j i i
j
k
k j i k j i i
j
k
k i k j i i
j
k
k i k j i k j i i
j
k
k j k i j k j i i
j
k
k j k i k j i k j i i
j
k
k j k i k j i k j i i
j
k
k j k k i k j i k j i -=--=-??
????-=+-=======∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑
(3) I(X;Y/Z) ≥0，当且仅当(X, Y, Z)是马氏链时等式成立。
证明：
)/;(0 log 1)/( log 1)/()( log )()/()/()( log 1)/()/()( )
/()
/(log
)()/;()/()/(log
)()/;(2222≥∴=??
?
??-=?
??
? ??-??????=???? ??-=???
?
??-≤=-∴=∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑Z Y X I e
z x p e z x p z y p e z y x p z y x p z x p z y x p e
z y x p z x p z y x p z y x p z x p z y x p Z Y X I z x p z y x p z y x p Z Y X I i k i i k i j k k j i j k k j i i j k k j i k i k j i i j k k j i k i k j i i
j
k
k j i k i k j i i
j
k
k i k j i k j i
当
01)
/()
/(=-k j i k i z y x p z x p 时等式成立
精品文档
)
/()/()/()(/)()/()/()()/()/()()()/()/()()
/()/(k j i k i k j k k j i k i k j k j i k i k j k k j k j i k i k j k j i k i z y x p z x p z y p z p z y x p z x p z y p z y x p z x p z y p z p z y p z y x p z x p z y p z y x p z x p =?=?=?=?=?
所以等式成立的条件是X, Y , Z 是马氏链
3.5若三个随机变量，有如下关系：Z = X + Y ，其中X 和Y 相互独立，试证明：
(1) I(X;Z) = H(Z) - H(Y)； (2) I(XY;Z) = H(Z)； (3) I(X;YZ) = H(X)； (4) I(Y;Z/X) = H(Y)；
(5) I(X;Y/Z) = H(X/Z) = H(Y/Z)。
解： 1)
)
()()/()();()
( )(log )()( )/(log )/()( )
/(log )()/()(
0)( )()()/(222Y H Z H X Z H Z H Z X I Y H y p y p x p x z p x z p x p x z p z x p X Z H Y x z Y
x z y p x z p x z p Y
X Z i j j j i i k i k i k i i
k
i k k i i k i k j i k i k -=-=∴=?
?
?
???-=???
???-=-=??
??-∈-=-=∴+=∑∑∑∑∑∑
2)
)
(0)()/()();(0 )/(log )/()( )
/(log )()/()( 0)( 1)/(22Z H Z H XY Z H Z H Z XY I y x z p y x z p y x p y x z p z y x p XY Z H z y x z y x y x z p Y
X Z i j k j i k j i k j i i
j
k
j i k k j i k
j i k
j i j i k =-=-=∴=?
?
?
???-=-=????
?≠+=+=∴+=∑∑∑∑∑∑
3)
精品文档
)
(0)()/()();(0 )/(log )/()( )
/(log )()/( 0 1)/(22X H X H YZ X H X H YZ X I z y x p z y x p z y p z y x p z y x p YZ X H y z x y z x z y x p Y
X Z j k i k j i k j i k j i
j
k
k j i k j i j
k i j
k i k j i =-=-=∴=?
?
?
???-=-=????
?-≠-==∴+=∑∑∑∑∑∑
4)
)
(0)()/()/()/;(0
)/(log )/()( )
/(log )()/( 0 1)/(22Y H Y H XZ Y H X Y H X Z Y I z x y p z x y p z x p z x y p z y x p XZ Y H x z y x z y z x y p Y
X Z i k j k i j k i j k i i
j
k
k i j k j i i
k j i
k j k i j =-=-=∴=?
?
?
???-=-=????
?-≠-==∴+=∑∑∑∑∑∑
5)
)
/(0)/()/()/()/;(0 )/(log )/()( )
/(log )()/( 0 1)/(22Z X H Z X H YZ X H Z X H Z Y X I z y x p z y x p z y p z y x p z y x p YZ X H y z x y z x z y x p Y
X Z j k i k j i k j i k j i
j
k
k j i k j i j
k i j
k i k j i =-=-=∴=?
?
?
???-=-=????
?-≠-==∴+=∑∑∑∑∑∑
精品文档
)
/(0)/()/()/()/;(0
)/(log )/()( )
/(log )()/( 0 1)/(22Z Y H Z Y H XZ Y H Z Y H Z Y X I z x y p z x y p z x p z x y p z y x p XZ Y H x z y x z y z x y p Y
X Z i k j k i j k i j k i i
j
k
k i j k j i i
k j i
k j k i j =-=-=∴=?
?
?
???-=-=????
?-≠-==∴+=∑∑∑∑∑∑
3.6 有一个二元对称信道，其信道矩阵为???
???98.002.002.098.0。设该信源以1500二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设P(0) = P(1) = 1/2，问从消息传输的角度来考虑，10秒钟内能否将这消息序列无失真的传递完？
解：
信道容量计算如下：
[]symbol
bit H Y H X Y H Y H Y X I C mi / 859.0 )02.0log 02.098.0log 98.0(2log )()/()(max );(max 222max =?+?+=-=-==
也就是说每输入一个信道符号，接收到的信息量是0.859比特。已知信源输入1500二元符号/秒，那么每秒钟接收到的信息量是：
s bit symbol bit s symbol I / 1288/859.0/15001=?=
现在需要传送的符号序列有140000个二元符号，并设P(0) = P(1) = 1/2，可以计算出这个符号序列的信息量是
bit
I 14000 )5.0log 5.05.0log 5.0(1400022=?+??=
要求10秒钟传完，也就是说每秒钟传输的信息量是1400bit/s ，超过了信道每秒钟传输的能力（1288 bit/s ）。所以10秒内不能将消息序列无失真的传递完。
3.7 求下列各离散信道的容量（其条件概率P(Y/X)如下：） (1) Z 信道 (2) 可抹信道 (3) 非对称信道 (4) 准对称信道
???
???-s s 101 ??????----2121212111s s s s s s s s ?
???
?
?????43412121 ??????????3161616131316131 解：
1) Z 信道
这个信道是个一般信道，利用一般信道的计算方法： a. 由公式
∑∑=j
j i j j
i j i j
x y p x y p x y
p β)/()/(log )/(2，求βj
精品文档
??
????
?????-=-+-==??
?-+=--+=?-s
s
s s s s s s s s s s s s 1222212
12212)1(log )1(log log 10
)1()1(log )1(log 1log 1βββββ b. 由公式???
?
??=∑j j C β2log 2，求C
symbol bit s s C s s
j j
/ )1(1log 2log 122??
????-+=???? ??=-∑β
c. 由公式C
j j y p -=β2
)(，求p(y j )
s
s s s C s
s
C s
s s
s y p s
s y p ------+-=
=-+=
=11211)1(1)1(2)()1(112)(21ββ
d. 由公式∑=i
i j
i
j x y
p x p y p )/()()(，求p(x i )
由方程组：
?
?
?-=+=)1)(()()()()(22211s x p y p s
x p x p y p 解得
s
s s
s s
s s
s
s
s s
x p s
s s
x p -----+=
-+-=
112111)1(1)()1(11)(
因为s 是条件转移概率，所以0 ≤ s ≤ 1，从而有p(x 1)，p(x 2) ≥ 0，保证了C 的存在。
2) 可抹信道
可抹信道是一个准对称信道，把信道矩阵分解成两个子矩阵如下：
精品文档
()()()mi
k k k k M y p j
M y p j
k
M y p j k mi
k s
k k k H y p y p m C s y p m y p y p s y p y p m y p y p m y p y p s
s s x y p x p x y p x p y p s s s s x y p x p x y p x p y p s s s s x y p x p x y p x p y p H y p y p m Y X I C s s M s s s s s s M j j k
j --===
=
-=+=
=
=
??
?
??=+=+=-=--+=+=-=+--=+=--==???
???=??????----=∑∑∑∑∑=∈∈∈=)(log )(1
)
()
()(2
/12)
()()
()()()(2/2/)/()()/()()(2/12/)1(2/)/()()/()()(2/12/2/)1()/()()/()()()(log )();(max ,1122
1
132
)(21211
)(1)(111232131312122221212122121211112111221222112
1
[]symbol
bit s s s s s s s s s s s s s s s s s s s s / log )1(log )1(21log )1(log log )1(log )1()log 2
1log 212(222212211
21121222212211211
21+----+---=++----++-?-?
-=
3) 非对称信道
这个信道是个一般信道，利用一般信道的计算方法 a. 由公式
∑∑=j
j i j j
i j i j
x y p x y p x y
p β)/()/(log )/(2，求βj
??
?-=-=??????
?+=++=+6225
.03775.1434143log 4341log 4
1212121log 2121log 212121222122ββββββ
b. 由公式???? ??=∑j j C β2log 2，求C []
symbol bit C j
j
/ 049.022log 2log 6225.03775.122=+=???
?
??=--∑β c. 由公式C
j j y p -=β2
)(，求p(y j )
精品文档
628
.02
2
)(327.022)(049
.06225.02049.03775.1121======------C
C y p y p ββ
d. 由公式∑=i
i j
i
j x y
p x p y p )/()()(，求p(x i )
由方程组：
???
???
?
+=+=)
(43)(21628.0)(4
1)(21372.02121x p x p x p x p 解得
?
?
?==512.0)(488.0)(21x p x p p(x 1)，p(x 2) ≥ 0，保证了C 的存在。
(4) 准对称信道
把信道矩阵分解成三个子矩阵如下：
精品文档
symbol
bit H y p y p m C y p m y
p y p y p m y
p y p y p y p m y
p y p m y p y p x y p x p x y p x p y p x y p x p x y p x p y p x y p x p x y p x p y p x y p x p x y p x p y p H y p y p m Y X I C M M M mi
k k k k M y p j
M y p j
M y p j
k
M y p j k mi
k s k k k j j j k
j / 041.0 61log 6
1
31log 3131log 31)61log 6131log 3141log 412( )(log )(6
1
1)()()(311)()()(41
2/41412)()()()()()(6161216121)/()()/()()(31
31213121)/()()/()()(41
31216121)/()()/()()(4161213121)/()()/()()()(log )();(max 6161,3131,3161613
12
2222223
1
43
)(332
)(2211
)(1)(24214142
3213132
221212212111121
2213
2
1
=??
????+++++??-=--===
=
==
=
=
??? ??+=+=
=
=
?????
???
??
?
=
?+?=+==?+?=+==?+?=+==?+?=+=--==????
??????=??????????=??????????=∑∑∑∑∑∑=∈∈∈∈=
3.8 已知一个高斯信道，输入信噪比（比率）为3。频带为3kHz ，求最大可能传输的消息率。
若信噪比提高到15，理论上传送同样的信息率所需的频带为多少？
解：
()()Hz
P P C W s
bit P P W C N X t N X t 1500151log 6000
1log / 600031log 30001log 22=+=?
??? ?
?+==+?=????
?
?+=
3.9 有二址接入信道，输入X 1, X 2和输出Y 的条件概率P(Y/X 1X 2)如下表（ε < 1/2），求容量
界限。
精品文档
3.10 有一离散广播信道，其条件概率为??
?
???????---=223212)(32121)/(σπ
x x x y e
x x x y p 试计算其容量界限
（已知[]
3,2,1,22==l X E l l σ）。
3.11 已知离散信源?
??
???=??????4.02
.03.01.0)(432
1x x x x X P X ，某信道的信道矩阵为?????
?
??????2.04.02.01.03.01
.02.05.01.01.04.01.02.06.03.02.0试求： (1) “输入x 3，输出y 2”的概率； (2) “输出y 4”的概率；
(3) “收到y 3的条件下推测输入x 2”的概率 。
解： 1)
04.02.02.0)/()()(32323=?==x y p x p y x p
2)
19
.02.04.02.02.01.03.04.01.0 )/()()/()()/()()/()()(4443432421414=?+?+?+?=+++=x y p x p x y p x p x y p x p x y p x p y p
3)
136
.022
.01
.03.0)()/()()/(22.04.04.01.02.01.03.01.01.0 )/()()/()()/()()/()()(3232324343332321313=?==
=?+?+?+?=+++=y p x y p x p y x p x y p x p x y p x p x y p x p x y p x p y p
3.12 证明信道疑义度H(X/Y) = 0的充分条件是信道矩阵[P]中每列有一个且只有一个非零元
素。
证明：
[P]每列有一个且只有一个非零元素 =〉 H(X/Y) = 0
精品文档
取[P]的第j 列，设0)/(≠k j x y p 而其他),...,2,1 ,( 0)/(n i k i x y p i j =≠=
symbol
bit y x p y x p y p y x p y x p Y X H x y p x y p y x p k i y p y p x y p x p y p y x p y x p x y p x p x y p x p x y p x p x y p x p y p y x p y x p j i j i j i j i
j
j i j i i j i j j i j j i j i j j i j i k j k k j k i
i j i k j k j j k j k / 0 )/(log )/()( )
/(log )()/(0
)/( 10
)/( 0)/()( 0)
(0
)
()
/()()
()()/(1
)
/()()/()()
/()()
/()()()()/(=?
?
?
???-=-=????
?≠==∴≠==
=
=
==
=
=
∑∑∑∑∑
3.13 试证明：当信道每输入一个X 值，相应有几个Y 值输出，且不同的X 值所对应的Y 值不相互重合时，有H(Y) – H(X) = H(Y/X)。
证明：
信道每输入一个X 值，相应有几个Y 值输出，且不同的X 值所对应的Y 值不相互重合。这种信道描述的信道转移矩阵[P]的特点是每列有一个且只有一个非零元素。 取[P]的第j 列，设
)/(≠k j x y p 而其他
)
,...,2,1 ,( 0)/(n i k i x y p i j =≠=
)
()()/()()()/()/()()/()();(/ 0 )/(log )/()( )
/(log )()/(0
)/( 10
)/( 0)/()( 0)
(0
)
()
/()()
()()/(1
)
/()()/()()
/()()
/()()()()/(X H Y H Y X H X H Y H X Y H X Y H Y H Y X H X H Y X I symbol
bit y x p y x p y p y x p y x p Y X H x y p x y p y x p k i y p y p x y p x p y p y x p y x p x y p x p x y p x p x y p x p x y p x p y p y x p y x p j i j i j i j i
j
j i j i i j i j j i j j i j i j j i j i k j k k j k i
i j i k j k j j k j k -=+-=∴-=-==?
?
?
???-=-=????
?≠==∴≠==
=
=
==
=
=
∑∑∑∑∑
3.14 试求以下各信道矩阵代表的信道的容量：
精品文档
(1) [P] = ?????
?
???
???00101000000101
00 (2) [P] = ????????
?????
????
?10
010*******
001001
(3) [P] = ??
??
?
?????3.0001.0002.0004.00007.0003.00004.0003.0002.0001.0 解：
1)
这个信道是一一对应的无干扰信道
ymbol bit n C s / 24log log 22===
2)
这个信道是归并的无干扰信道
ymbol bit m C s / 585.13log log 22===
3)
这个信道是扩展的无干扰信道
ymbol bit n C s / 585.13log log 22===
3.15 设二进制对称信道是无记忆信道，信道矩阵为??
?
???
?
?__p p p p
，其中：p > 0，_p < 1，p + _p = 1，_
p >> p 。试写出N = 3次扩展无记忆信道的信道矩阵[P]。
解：
[]????????????
?????????????
?=322223222
23222232
223
223223
2
23222
2
22322
32
2
32
23222
322223
222
23
222
2
3
111110101100011010001000 111 110 101 100 011 010 001 000 p p
p p
p p
p p p p
p p p p p p p p p
p p p p p p p p p
p
p p
p p
p p p p p p p p
p p p p
p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p p
p p p p p p p p p
p p p p p p p p p
p
p p p p p p p p
P
3.16 设信源X 的N 次扩展信源X = X 1X 2…X N 通过信道{X, P(Y/X), Y}的输出序列为Y = Y 1Y 2…Y N 。
试证明：
精品文档
(1) 当信源为无记忆信源时，即X 1, X 2, …, X N 之间统计独立时，有);();(1
Y X I Y X I N
k k k ≤∑=；
(2) 当信道无记忆时，有);();(1
Y X I Y X I N
k k k ≥∑=；
(3) 当信源、信道为无记忆时，有);();();(1
Y X NI Y X I Y X I N N N
k k k ==∑=；
(4) 用熵的概念解释以上三种结果。
证明： 1)
[][
]
[][
][]
[]
[]
[]∑∑=--=-----≥∴=-≥-∴≤-=-++-+-=+++-+++=∴+++=+++=+++=-=N
k k k N
N
k k k k k k N k k k k k N k N
k k N k k N N N N N N N N N N N N N N N N N N N N N N N N N N N N N N Y X I Y X I Y X I Y X H X H X X Y X H X H Y X H X X Y X H X X Y X H X H X X Y X H X H X Y X H X H Y X H X H X X Y X H X Y X H Y X H X H X H X H Y X I X X Y X H X Y X H Y X H Y X H X H X H X H X X X H X X H X H X H Y X H X H Y X I 1111111111122111112121111212111121)
;();();()/()().../()()
/().../()
.../()( ).../()(...)/()()/()( ).../(...)/()/()(...)()();()
.../(...)/()/()/()
(...)()( ).../(...)/()()()
/()();( 2)
精品文档
[][][][][]
)/().../(...)/()/()/()( )/(...)/()/().../(...)/()();()
/(...)/()/( )
/(log )......(...... ...
)
/(log )......(...... )
/(log )......(...... )
/().../()/(log )......(...... )
.../...(log )......(...... )
/(log )()/().../(...)/()()()
/()();(11221211122111112122111112121211
1
2221211
1
1121211
1
221121211
1
212121211
1
N N N N N N N N N N N N n
i m
j i j j j j i i i m
j n
i n
i m
j i j j j j i i i m j n i n
i m
j i j j j j i i i m
j n i n
i m
j i j i j i j j j j i i i m
j n i n i m
j i i i j j j j j j i i i m j n i n i
m j i j j i N N N N N N N N N N X Y H Y Y Y H X Y H Y Y H X Y H Y H X Y H X Y H X Y H Y Y Y H Y Y H Y H Y X I X Y H X Y H X Y H x y p y y y x x x p x y p y y y x x x p x y p y y y x x x p x y p x y p x y p y y y x x x p x x x y y y p y y y x x x p a b p b a p X Y H Y Y Y H Y Y H Y H Y H X Y H Y H Y X I N
N
N N N N N
N
N N N N
N N N N N N N N N N N N N N N N
-++-+-=+++-+++=∴+++=---=-=-=-=+++=-=---∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑[]
[][]∑∑=--=-≤∴=-≤-∴≤-=N
k k k N
N
k k k k k k k k k k k k N
k k k k k Y X I Y X I Y X I X Y H Y H X Y H Y Y Y H Y H Y Y Y H X Y H Y Y Y H 1
11111
11)
;();();()/()()/().../()
().../()/().../( 3)
如果信源、信道都是无记忆的。上面证明的两个不等式应同时满足，即：
∑=≥N
k k k N
N
Y X I Y X I 1
);();(
∑=≤N
k k k N
N
Y X I Y X I 1)
;();(
必然推出，∑=≡N
k k k
N
N
Y X
I Y X I 1
);();(，而如果N N Y X ,是平稳分布，即X X X X N ====...21，
精品文档
Y Y Y Y N ====...21，那么);();();(1
k k N
k k k N
N
Y X NI Y X I Y X I =≡∑=。
4)
流经信道的信息量也是信宿收到的信息量，它等于信源信息的不确定度减去由信道干扰造成的不确定度。
当信源无记忆、信道有记忆时，对应于本题的第一种情况。信源是无记忆的，信源的不确定度等于N 倍的单符号信源不确定度，信道是有记忆的，信道干扰造成的不确定度小于N 倍单符号信道的不确定度。因此，这两部分的差值平均互信息量大于N 倍的单符号平均互信息量。
当信源有记忆、信道无记忆时，对应于本题的第二种情况。信源是有记忆的，信源的不确定度小于N 倍的单符号信源不确定度，信道是无记忆的，信道干扰造成的不确定度等于N 倍单符号信道的不确定度。因此，这两部分的差值平均互信息量小于N 倍的单符号平均互信息量。
当信源无记忆、信道无记忆时，对应于本题的第三种情况。信源是无记忆的，信源的不确定度等于N 倍的单符号信源不确定度，信道是无记忆的，信道干扰造成的不确定度等于N 倍单符号信道的不确定度。因此，这两部分的差值平均互信息量等于N 倍的单符号平均互信息量。
3.17 设高斯加性信道，输入、输出和噪声随机变量X, Y, N 之间的关系为Y = X + N ，且E[N 2]
= σ2
。试证明：当信源X 是均值E[X] = 0，方差为2X σ的高斯随机变量时，信道容量达其容量
C ，且???
?
??+=2
2
21log 21
σσX C 。 证明：
精品文档
[])
()();(max )
( )(log )( )(log )()( 1
)
(log )( )/(log )()/()
()/()()()/()()
()(11011,,,,,),()()/()(max );(max max ,,n H Y H Y X I C n H dn
n p n p dn
n p n p dx x p dxdn J
n p J xn p dxdy
x y p xy p X Y H n p x y p n p x p x y p x p xn p xy p Y
n Y
X
X n
X X
Y X n X J X Y n X X Y X n X J x y n x p xy p X Y H Y H Y X I C n
X
n
n
X Y
X -==∴=-=-=-=-==∴=∴=∴=-=????????=
??? ??∴-==?
?
?
??-==-==???????
根据概率论中的结论：n 是正态分布，X 是正态分布，则Y = X + n 也是正态分布，而且2
22n X Y σσσ+=。
所以2
max 2log 2
1)(Y
e Y H σπ=
，前提是2Y σ取最大值，也就是说2X σ取最大值。因为当X 是均值为零的正态分布时，2max 2log 21)(X e X H σπ=，所以这是满足2
max 2log 2
1)(Y e Y H σπ=的前提条件。
()
???
? ??+=-+=-=-==∴222
2222max 1log 21 2log 2
12log 21 2log 212log 21 )
()( );(max n X n
n X n
Y e e e e n H Y H Y X I C σσσπσσπσπσπ
3.18 设加性高斯白噪声信道中，信道带宽3kHz ，又设{(信号功率+噪声功率)/噪声功
率}=10dB 。试计算该信道的最大信息传输速率C t 。
解：
精品文档
s bit P P W C P P P P P W C N X t N
N
X N X t / 996610log 30001log 101log 2=?=????
?
?+==+???
?
??+=
3.19 在图片传输中，每帧约有2.25 106个像素，为了能很好地重现图像，能分16个亮度电
平，并假设亮度电平等概分布。试计算每分钟传送一帧图片所需信道的带宽（信噪功率比为30dB ）。
解：
s
bit t I C bit NH I symbol bit n H t / 101.560
10910
10941025.2/ 416log log 56
6622?=?===?=??=====
z
15049)10001(log 105.11log 1log 25
H P P C W P P W C N X t N X t =+?=???? ?
?+=?
??? ?
?+= 3.20 设电话信号的信息率5.6 104比特/秒，在一个噪声功率谱为N 0= 5 10-6 mW/Hz 、限频
F 、限输入功率P 的高斯信道中传送，若F=4kHz ，问无差错传输所需的最小功率P 是多少瓦？若F →∞，则P 是多少瓦？
解：
W
e N C P e
N P
C F W WN P WN P W C t X X t W C X X t t 1094.171828
.2log 105106.5log log 328.0121054000121log 429
42020
4000106.59004
--?-?=???===∞→=?
??
? ??-???=???? ??-=?
???
?
?+=
信道容量的计算
§4.2信道容量的计算 这里，我们介绍一般离散信道的信道容量计算方法，根据信道容量的定义，就是在固定信道的条件下，对所有可能的输入概率分布)(x P 求平均互信息的极大值。前面已知()Y X I ;是输入概率分布的上凸函数，所以极大值一定存在。而);(Y X I 是r 个变量 )}(),(),({21r x p x p x p 的多元函数。并且满足1)(1 =∑=r i i x p 。所以可用拉格朗日乘子法来 计算这个条件极值。引入一个函数：∑-=i i x p Y X I )();(λ φ解方程组 0) (] )();([) (=∑?-???i i i i x p x p Y X I x p λ φ 1)(=∑i i x p （4.2.1） 可以先解出达到极值的概率分布和拉格朗日乘子λ的值，然后在解出信道容量C 。因为 ) () (log )()();(11 i i i i i r i s j i y p x y Q x y Q x p Y X I ∑∑=== 而)()()(1 i i r i i i x y Q x p y p ∑== ，所以 e e y p y p i i i i i y p x y Q i x p i x p l o g l o g ))(ln ()(log ) ()()() (==????。 解（4.2.1）式有 0log )()()()()()(log )(111=--∑∑∑===λe y p x y Q x y Q x p y p x y Q x y Q i i i i i r i s j i i i i s j i i （对r i ,,2,1 =都成立） 又因为 )()()(1j k k r k k y p x y Q x p =∑= r i x y Q s j i j ,,2,1,1)(1 ==∑= 所以(4.2.1)式方程组可以转化为 ),,2,1(log ) ()(log )(1r i e y p x y Q x y Q j i j s j i j =+=∑=λ 1)(1 =∑=r i i x p
实验三 信道容量计算
实验三信道容量计算 一、实验目的： 了解对称信道与非对称信道容量的计算方法。 二、实验原理： 信道容量是信息传输率的极限，当信息传输率小于信道容量时，通过信道编码，能够实现几乎无失真的数据传输；当数据分布满足最佳分布时，实现信源与信道的匹配，使得信息传输率能够达到信道容量。本实验利用信道容量的算法，使用计算机完成信道容量的计算。 实验采用迭代算法计算信道容量，即：设DMC的转移概率pyx(i,j)，p(i)是任意给定的一组初始给定输入分布，开始为等概率分布，以后逐次迭代更新p(i)的取值。其所有分量P (i)均不为0。按照如下方法进行操作： 具体方法： 1、计算q(j)=∑ i j i pyx i p) ,( *)(，pyx(i,j)为信道转移概率 2、计算a(i) 先算中间变量d(i)=∑ j j q j i pyx j i pyx) ( /) ,( log( *) ,( 然后，a(i)=exp(d(i)) 3、计算中间变量U=∑ i i p i a)( *)( 4、计算IL=log2(u) 5、计算IU=log2(max(a(i)) 6、当IU-IL>ε（ε为设定的迭代精度）时，进入以下循环，否则输出迭代次数n，信道容量C=IU计算结果，最佳分布p(i)。 ①重新计算p(i)=p(i)*a(i)/U ②计算q(j),方法同1 ③计算a(i)，方法同2 ④计算中间变量U=∑ i i p i a)( *)( ⑤计算IL=log2(u) ⑥计算IU=log2(max(a(i)) ⑦计次变量n=n+1
返回6判断循环条件是否满足。 四、实验内容： 假设离散无记忆二元信道如图所示，编程，完成下列信道容量的计算 2e 1． 令120.1e e p p ==和120.01e e p p ==，先计算出信道转移矩阵，分别计算该对称信道的信道容量和最佳分布，将用程序计算的结果与用对称信道容量计算公式的结果进行比较，并贴到实验报告上。 2． 令10.15e p =，20.1e p =和10.075e p =20.01e p =，分别计算该信道的信道容量和最佳分布； 四、实验要求： 在实验报告中给出源代码，写出信道对应的条件转移矩阵，计算出相应结果。并定性讨论信道容量与信道参数之间的关系。
信息论与编码理论-第3章信道容量-习题解答
第3章 信道容量 习题解答 3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3?? ???? 解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和 (;)I X Y 。 i i 2 i=1 3311 H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-?-=∑符号 111121********* j j j=1 32117 p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125 p(b )=p(a )p(b |a )+p(a )p(b |a )=434312 7755 H(Y)=p(b )log(b )=log()log()0.9799(/) 12121212bit ?+?= ?+?= ---=∑符号 22 i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a ) 2211 log()log()0.9183(/) 3333 i j j bit -=-=-?-?=∑∑符号 I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号) (2)求该信道的信道容量及其达到信道容量时的输入概率分布。 二进制对称信息的信道容量 H(P)=-plog(p)-(1-p)log(1-p) 1122 C =1-H(P)=1+log()+log()=0.0817(bit/) 3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{，} 注意单位
实验二 离散信道及其容量
实验二 离散信道及其容量 一、[实验目的] 1、理解离散信道容量的内涵； 2、掌握求二元对称信道（BSC ）互信息量和容量的设计方法； 3、掌握二元扩展信道的设计方法并会求其平均互信息量。 二、[实验环境] windows XP,MATLAB 7 三、[实验原理] 若某信道输入的是N 维序列x ，其概率分布为q(x ),输出是N 维序列y ,则平均互信息量记为I(X ;Y )，该信道的信道容量C 定义为() max (X;Y)q x C I =。 四、[实验内容] 1、给定BSC 信道，信源概率空间为 信道矩阵 0.990.010.010.99P ??=???? 求该信道的I(X;Y)和容量，画出I(X;Y)和ω、C 和p 的关系曲线。 2 、编写一M 脚本文件t03.m ，实现如下功能： 在任意输入一信道矩阵P 后，能够判断是否离散对称信道，若是，求出信道容量C 。 3、已知X=(0,1,2);Y=(0,1,2,3),信源概率空间和信道矩阵分别为 求： 平均互信息量； 4、 对题(1)求其二次扩展信道的平均互信息I(X;Y)。 五、[实验过程 ] X P ０ １ 0.6 0.4 = X Px ０ １ ２ 0.3 0.5 0.2 = 0.1 0.3 0 0.6 0.3 0.5 0.2 0 0.1 0.7 0.1 0.1 P=
每个实验项目包括：1)设计思路2)实验中出现的问题及解决方法； 1)设计思路 1、信道容量( ) max (X; Y) q x C = I ，因此要求给定信道的信道容量，只要知道该信道 的最大互信息量，即求信道容量就是求信道互信息量的过程。 程序代码： clear all,clc; w=0.6; w1=1-w; p=0.01; X P ０１ = 0.6 0.4 p1=1-p; save data1 p p1; I_XY=(w*p1+w1*p)*log2(1/(w*p1+w1*p))+(w*p+w1*p1)*log2(1/(w*p+w1*p1))- ... (p*log2(1/p)+p1*log2(1/p1)); C=1-(p*log2(1/p)+p1*log2(1/p1)); fprintf('互信息量:%6.3f\n信道容量:%6.3f',I_XY,C); p=eps:0.001:1-eps; p1=1-p; C=1-(p.*log2(1./p)+p1.*log2(1./p1)); subplot(1,2,1),plot(p,C),xlabel('p'),ylabel('C'); load data1; w=eps:0.001:1-eps; w1=1-w; I_XY=(w.*p1+w1.*p).*log2(1./(w.*p1+w1.*p))+(w.*p+w1.*p1).*log2(1./(w.*p+w1.*p1))- . . .(p.*log2(1./p)+p1.*log2(1./p1)); subplot(1,2,2),plot(w,I_XY) xlabel('w'),ylabel('I_XY'); 实验结果：
寻呼空口信道容量及信道容量计算
寻呼空口信道容量及FACH 信道 容量计算方法
目录 1寻呼容量计算方法 (2) 1.1现网理论容量计算 (2) 1.2实际网络环境下的容量计算 (3) 2寻呼容量扩容方案 (3) 2.1寻呼拥塞产生的原因 (3) 2.2寻呼容量预警机制 (4) 2.3现网容量评估 (4) 2.4空口寻呼扩容方案 (5) 2.4.1方案原理 (5) 2.4.2目标容量 (6) 3FACH信道容量评估 (7)
1寻呼容量计算方法 首先需要明确寻呼容量的单位是个/时间/小区，也就是说衡量一个RNC支持多大的寻呼量是以小区为标准的，比如某RNC支持的寻呼容量应为XX个/小时/小区或者XX个/秒/小区。 RNC设备支持的理论寻呼量为45万TMSI/小时/小区，实际每小区支持的寻呼容量则取决于空口的寻呼容量配置。 空口寻呼容量配置计算方法如下（以小区为参考单位）： PCH寻呼能力计算公式为：Ntfs×RoundDown[(TBSize-7)/Lue]×Npch/(Nr×Tpbp) IMSI寻呼时, Ntfs×RoundDown[(TBSize-7)/72]×Npch/(Nr×Tpbp) TMSI/PTMSI寻呼时，Ntfs×RoundDown[(TBSize-7)/40]×Npch/(Nr×T pbp) 注：RoundDown为向下取整。 如果空口环境不好，存在大量重传的时候，则上面的公式需要再除以（1+Nr），寻呼容量减半，通常情况下不考虑重传。 1.1现网理论容量计算 除西安网络进行寻呼信道扩容外，现网目前各项空口寻呼信道参数配置如下表： 协议参数说明备注现网配置 Ntfs PCH传输格式中 240bit块的个数(一 个寻呼子信道承载) 传输块个数 一般配置为0、1。Ntf与PCH所在 的SCCPCH的码道数目相关。 1 Tbsize PCH传输块大小240 Npch 每个寻呼块配置的寻 呼子信道数目 协议规定Npch<=8 8 Nr 重复因子相同寻呼的重发次数 1 Tpbp PICH的寻呼周期重复周期/ Tpbp 640ms/320ms 640
4.信道及其容量
第4章 离散信道及其容量 4.1节 离散无记忆信道（DMC, Discrete Memoryless Channel ） 什么是 “信道”？ 通信的基本目标是将信源发出的消息有效、可靠地通过“信道”传输到目的地，即信宿（sink ）。但什么是“信道”？ Kelly 称信道是通信系统中“不愿或不能改变的部分”。比如CDMA 通信中，设备商只能针对给定的频谱范围进行设备开发，而运营商可能出于成本的考虑，不愿意进行新的投资，仍旧采用老的设备。通信是对随机信号的通信，因此信源必须具有可选的消息，因此不可能利用一个sin(〃)信号进行通信，而是至少需要两个可供发射机进行选择。一旦选择了信息传输所采用的信号，信道决定了从信源到信宿的过程中信号所受到的各种影响。从数学上理解，信道指定了接收机接收到各种信号的条件概率(conditional probability)，但输入信号的先念概念（prior probability ）则由使用信道的接收机指定。 如果只考虑离散时间信道，则输入、输出均可用随机变量序列进行描述。输入序列X 1, X 2,……是由发射机进行选择，信道则决定输出序列Y 1, Y 2,……的条件概率。数学上考虑的最 简单的信道是离散无记忆信道。 离散无记忆信道由三部分组成： （1） 输入字符集A ={a 1, a 2, a 3,…}。该字符集既可以是有限，也可以是可数无限。其中每个 符号a i 代表发射机使用信道时可选择的信号。 （2） 输出字符集B={b 1, b 2, b 3,…}。该字符集既可以是有限，也可以是可数无限。其中每个 符号bi 代表接收机使用信道时可选择的信号。 （3） 条件概率分布P Y |X (〃|X )，该条件分布定义在B 上，其中X ∈A 。它描述了信道对输 入信号的影响。 离散无记忆的假设表明，信道在某一时刻的输出只与该时刻的输入有关，而与该时刻之前的输入无关。或者： 1111|(|,...,,,...,)(|)n n n Y X n n P y x x y y P y x --=，n =1,2,3…. Remark: (1) n x 在信道传输时受到的影响与n 时刻以前的输入信号无关。 (2) DMC 是时不变的，即|n n Y X P 与n 无关。因此|(|)n n Y X n n P y x 可简写为|(|)Y X n n P y x 。
一般离散无记忆信道容量的迭代计算
一般离散无记忆信道容量的迭代计算 信道容量的迭代算法 1信道容量的迭代算法的步骤 一、用了matlab 实现DMC 容量迭代的算法如下： 第一步:首先要初始化信源分布： .0deta 10,1,0,1)(>>=?==，选置，，k r i r P k i 即选取一个精度，本次中我选deta=0.000001。 第二步：}{,) ()()()(k ij i ji k i ji k i k ij t p p p p t 得到反向转移概率矩阵根据式子∑=。 第三步： 第四步： 第五步： 若a C C C k k k det )1() ()1(>-++，则执行k=k+1，然后转第二步。直至转移条件不成立， 接着执行下面的程序。 第六步：输出迭代次数k 和()1+k C 和1+k P ，程序终止。 2. Matlab 实现 clear; r=input('输入信源个数：'); s=input('输入信宿个数：'); deta=input('输入信道容量的精度： '); ()()()()(){}111]log exp[] log exp[+++==∑∑∑k i k i j ij k ji j ij k ji k i p P t p t p p 计算由式()()()()()()。C t p t P I C k r i s j k ij ji k k k 10011log exp log ,+==++????????????????==∑∑计算由式
Q=rand(r,s); %形成r行s列随机矩阵Q A=sum(Q,2); %把Q矩阵每一行相加和作为一个列矩阵A B=repmat(A,1,s); %把矩阵A的那一列复制为S列的新矩阵 %判断信道转移概率矩阵输入是否正确 P=input('输入信道转移矩阵P：')%从这句话开始将用下面两句代替可自动生成信道转移矩阵 [r,s]=size(P); for i=1:r if(sum(P(i,:))~=1) %检测概率转移矩阵是否行和为1. error('概率转移矩阵输入有误！！') return; end for j=1:s if(P(i,j)<0||P(i,j)>1) %检测概率转移矩阵是否负值或大于1 error('概率转移矩阵输入有误！！') return; end end end %将上面的用下面两句代替可自动生成信道转移矩阵 %disp('信道转移概率矩阵:') %P=Q./B 信道转移概率矩阵（每一个原矩阵的新数除以所在行的数总和） i=1:1:r; %设置循环首项为1，公差为1，末项为r（Q的行数）的循环 p(i)=1/r; %原始信源分布r个信源,等概率分布 disp('原始信源分布：')
信道容量实验报告
湖南大学 信息科学与工程学院 实验报告 实验名称信道容量的迭代算法课程名称信息论与编码 第1页共9页
1.实验目的 （1）进一步熟悉信道容量的迭代算法； （2）学习如何将复杂的公式转化为程序； （3）掌握C 语言数值计算程序的设计和调试技术。 2、实验方法 硬件：pc 机 开发平台：visual c++软件 编程语言：c 语言 3、实验要求 （1）已知：信源符号个数r 、信宿符号个数s 、信道转移概率矩阵P 。 （2）输入：任意的一个信道转移概率矩阵。信源符号个数、信宿符号个数和每 个具体的转移概率在运行时从键盘输入。 （3）输出：最佳信源分布P*，信道容量C 。 4.算法分析 1：procedure CHANNEL CAPACITY(r,s,(ji p )) 2：initialize:信源分布i p =1/r ，相对误差门限σ，C=—∞ 3：repeat 4： 5： 6： C 221 1 log [exp(log )] r s ji ij r j p φ==∑∑ 7：until C C σ ?≤ 8：output P*= ()i r p ,C 9：end procedure 21 21 1 exp(log ) exp(log ) s ji ij j r s ji ij r j p p φφ===∑∑∑i p 1 i ji r i ji i p p p p =∑ij φ
5.程序调试 1、头文件引入出错 f:\visualc++\channel\cpp1.cpp(4) : fatal error C1083: Cannot open include file: 'unistd.h': No such file or directory ————#include
正式实验报告二—信道容量的计算
一、实验目的 1．掌握离散信道的信道容量的计算方法； 2．理解不同类型信道的不同特点与不同的计算方法； 二、实验内容 1．进一步熟悉一般离散信道的信道容量计算方法； 2．进一步复习巩信道性质与实际应用； 3．学习如何将复杂的公式转化为程序。 三、实验仪器、设备 1、计算机－系统最低配置256M内存、P4 CPU； 2、MATLAB编程软件。 四、实现原理 信道容量是信息传输率的极限，当信息传输率小于信道容量时，通过信道编码，能够实现几乎无失真的数据传输；当数据分布满足最佳分布时，实现信源与信道的匹配，使得信息传输率能够达到信道容量。本实验利用信道容量的算法，使用计算机完成信道容量的计算。 实验采用迭代算法计算信道容量，即：设DMC的转移概率pyx(i,j)，p(i)是任意给定的一组初始给定输入分布，开始为等概率分布，以后逐次迭代更新p(i)的取值。其所有分量P (i)均不为0。按照如下方法进行操作： 具体方法： 1、计算q(j)= i j i pyx i p) ,( *)(，pyx(i,j)为信道转移概率 2、计算a(i)
先算中间变量d(i)=∑ j j q j i pyx j i pyx) ( /) ,( log( *) ,( 然后，a(i)=exp(d(i)) 3、计算中间变量U=∑ i i p i a)( *)( 4、计算IL=log2(u) 5、计算IU=log2(max(a(i)) 6、当IU-IL>ε（ε为设定的迭代精度）时，进入以下循环，否则输出迭代次数n，信道容量C=IU计算结果，最佳分布p(i)。 ①重新计算p(i)=p(i)*a(i)/U ②计算q(j),方法同1 ③计算a(i)，方法同2 ④计算中间变量U=∑ i i p i a)( *)( ⑤计算IL=log2(u) ⑥计算IU=log2(max(a(i)) ⑦计次变量n=n+1 返回6判断循环条件是否满足。 五、实验步骤 1、计算非对称信道的信道容量 运行程序
最新第三章-信道容量-习题答案
精品文档 3.1 设信源??? ???=? ?????4.06.0)(21x x X P X 通过一干扰信道，接收符号为Y = { y1, y2 }，信道转移矩阵为??? ? ??????43416165，求： (1) 信源X 中事件x 1和事件x 2分别包含的自信息量； (2) 收到消息y j (j=1,2)后，获得的关于x i (i=1,2)的信息量； (3) 信源X 和信宿Y 的信息熵； (4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到信息Y 后获得的平均互信息量。 解： 1) bit x p x I bit x p x I 322.14.0log )(log )( 737.06.0log )(log )(22222121=-=-==-=-= 2) bit y p x y p y x I bit y p x y p y x I bit y p x y p y x I bit y p x y p y x I x y p x p x y p x p y p x y p x p x y p x p y p 907.04 .04 /3log )()/(log );( 263.16.04 /1log )()/(log );( 263.14.06 /1log )()/(log );( 474.06.06 /5log )()/(log );(4 .04 3 4.0616.0)/()()/()()(6 .041 4.0656.0)/()()/()()(22222 2221212122212221211121122212122121111===-===-=======?+?=+==?+?=+= 3) symbol bit y p y p Y H symbol bit x p x p X H j j j i i i / 971.010log )4.0log 4.06.0log 6.0()(log )()(/ 971.010log )4.0log 4.06.0log 6.0()(log )()(22=+-=-==+-=-=∑∑ 4) symbol bit Y H X Y H X H Y X H Y X H Y H X Y H X H symbol bit x y p x y p x p X Y H i j i j i j i / 715.0971.0715.0971.0 )()/()()/() /()()/()(/ 715.0 10 log )4 3 log 434.041log 414.061log 616.065log 656.0( ) /(log )/()()/(2=-+=-+=∴+=+=??+?+?+?-=-=∑∑
信道及信道容量
第5章 信道及信道容量 教学内容包括：信道模型及信道分类、单符号离散信道、多符号离散信道、多用户信道及连续信道 5．1信道模型及信道分类 教学内容： 1、一般信道的数学模型 2、信道的分类 3、信道容量的定义 1、 一般信道的数学模型 影响信道传输的因素：噪声、干扰。 噪声、干扰：非函数表述、随机性、统计依赖。 信道的全部特性：输入信号、输出信号，以及它们之间的依赖关系。 信道的一般数学模型： 2、 信道的分类 输出随机信号 输入、输出随机变量个数 输入和输出的个数 信道上有无干扰 有无记忆特性 3、信道容量的定义 衡量一个信息传递系统的好坏，有两个主要指标： 图5.1.1 一般信道的数学模型 离散信道、连续信道、半离散或半连续信道 单符号信道和多符号信道 有干扰信道和无干扰信道 有记忆信道和无记忆信道 单用户信道和多用户信道 速度指标 质量指标
速度指标：信息（传输）率R ，即信道中平均每个符号传递的信息量； 质量指标：平均差错率e P ，即对信道输出符号进行译码的平均错误概率； 目标：速度快、错误少，即R 尽量大而e P 尽量小。 信道容量：信息率R 能大到什么程度； )/()()/()();(X Y H Y H Y X H X H Y X I R -=-== 若信道平均传送一个符号所需时间为t 秒，则 ) ;(1 Y X I t R t =（bit/s ） 称t R 为信息（传输）速率。 分析： 对于给定的信道，总存在一个信源（其概率分布为* )(X P ），会使信道的信息率R 达到 最大。 （);(Y X I 是输入概率)(X P 的上凸函数，这意味着);(Y X I 关于)(X P 存在最大值） 每个给定的信道都存在一个最大的信息率，这个最大的信息率定义为该信道的信道容量，记为C ，即 ) ;(max max Y X I R C X X P P ==bit/符号 （5.1.3） 信道容量也可以定义为信道的最大的信息速率，记为 t C ?? ? ???==);(1max max Y X I t R C X X P t P t （bit /s ） （5.1.4） 解释： (1)信道容量C 是信道信息率R 的上限，定量描述了信道（信息的）最大通过能力； (2)使得给定信道的);(Y X I 达到最大值（即信道容量C ）的输入分布，称为最佳输入（概率）分布，记为* )(X P ； (3)信道的);(Y X I 与输入概率分布)(X P 和转移概率分布)/(X Y P 两者有关，但信道容量 C 是信道的固有参数，只与信道转移概率)/(X Y P 有关。 4、意义： 研究信道，其核心问题就是求信道容量和最佳输入分布。根据定义，求信道容量问题就是求平均互信息量);(Y X I 关于输入概率分布)(X P 的最大值问题。一般来说，这是一个很困难的问题，只有对一些特殊信道，如无噪信道等，才能得到解析解，对于一般信道，必须借助于数值算法。
信道容量及其一般计算方法
实验一信道容量及其一般计算方法 1.实验目的 一般离散信道容量的迭代运算 2.实验要求 （1）理解和掌握信道容量的概念和物理意义 （2）理解一般离散信道容量的迭代算法 （3）采用Matlab编程实现迭代算法 （4）认真填写实验报告。 3.源代码 clc;clear all; //清屏 N = input('输入信源符号X的个数N='); //输入行数 M = input('输出信源符号Y的个数M='); //输入列数 p_yx=zeros(N,M); //程序设计需要信道矩阵初始化为零 fprintf('输入信道矩阵概率\n') for i=1:N //从第一行第一列开始输入 for j=1:M p_yx(i,j)=input('p_yx='); //输入信道矩阵概率 if p_yx(i)<0 //若输出概率小于0则不符合概率分布 error('不符合概率分布') end end end for i=1:N //各行概率累加求和 s(i)=0; for j=1:M s(i)=s(i)+p_yx(i,j); end end for i=1:N //判断是否符合概率分布 if (s(i)<=0.999999||s(i)>=1.000001) //若行相加小于等于0.9999999或者大于等于1.000001 Error //('不符合概率分布') end end b=input('输入迭代精度：'); //输入迭代精度 for i=1:N p(i)=1.0/N; //取初始概率为均匀分布（每行值分别为1/N，）end for j=1:M //计算q(j) q(j)=0; for i=1:N q(j)=q(j)+p(i)*p_yx(i,j); //均匀分布的值乘上矩阵值后+q（j），然后赋值给q（j）实现求和
实验二 一般信道容量迭代算法
实验二 一般信道容量迭代算法 1． 实验目的 掌握一般离散信道的迭代运算方法。 2． 实验要求 1） 理解和掌握信道容量的概念和物理意义 2） 理解一般离散信道容量的迭代算法 3） 采用Matlab 编程实现迭代算法 4） 认真填写试验报告 3．算法步骤 ①初始化信源分布),,,,,(21)0(p p p p P r i ????=（一般初始化为均匀分布），置迭代计数器k=0，设信道容量相对误差门限为δ，δ>0，可设-∞=C )0(； ②∑= i k i ij k i ij k ji p p p p )()() (? s j r i ，??=??=,1;,,1 ③∑ ∑∑??????????????????????=+i k ji j ij k ji j ij k i p p p ?? )()() 1(ln exp ln exp r i ,,1??= ④?? ??????????????=∑∑+i k ji j ij k p C ?)()1(ln exp ln ⑤如果δ≤-++C C C k k k )1()()1(，转向⑦； ⑥置迭代序号k k →+1,转向②； ⑦输出p k i ) 1(+和C k ）（1+的结果； ⑧停止。 4．代码P=input('转移概率矩阵P=') e=input('迭代精度e=') [r,s]=size(P); n=0; C=0; C_k=0; C_k1=0; X=ones(1,r)/r;
A=zeros(1,r); B=zeros(r,s);%初始化各变量 while(1) n=n+1; for i=1:r for j=1:s B(i,j)=log(P(i,j)/(X*P(:,j))+eps); if P(i,j)==0 B(i,j)=0; else end end A(1,i)=exp(P(i,:)*B(i,:)'); end C_k=log2(X*A'); C_k1=log2(max(A)); if (abs(C_0-C_1) 当一个信道受到加性高斯噪声的干扰时，如果信道传输信号的功率和信道的带宽受限，则这种信道传输数据的能力将会如何？这一问题，在信息论中有一个非常肯定的结论――高斯白噪声下关于信道容量的山农（Shannon）公式。本节介绍信道容量的概念及山农定理。 1、信道容量的定义 在信息论中，称信道无差错传输信息的最大信息速率为信道容量，记为。 从信息论的观点来看，各种信道可概括为两大类：离散信道和连续信道。所谓离散信道就是输入与输出信号都是取值离散的时间函数；而连续信道是指输入和输出信号都是取值连续的。可以看出，前者就是广义信道中的编码信道，后者则是调制信道。 仅从说明概念的角度考虑，我们只讨论连续信道的信道容量。 2. 山农公式 假设连续信道的加性高斯白噪声功率为（W），信道的带宽为（Hz），信号功率为（W），则该信道的信道容量为 这就是信息论中具有重要意义的山农公式，它表明了当信号与作用在 信道上的起伏噪声的平均功率给定时，具有一定频带宽度的信道上，理论上单位时间内可能传输的信息量的极限数值。 由于噪声功率与信道带宽有关，故若噪声单边功率谱密度为（W/Hz），则噪声功率。因此，山农公式的另一种形式为 由上式可见，一个连续信道的信道容量受、、三个要素限制，只要这三个要素确定，则信道容量也就随之确定。 3. 关于山农公式的几点讨论 山农公式告诉我们如下重要结论： （1）在给定、的情况下，信道的极限传输能力为，而且此时能够做到无差错传输（即差错率为零）。这就是说，如果信道的实际传输速率大于值，则无差错传输在理论上就已不可能。因此，实际传输速率一般不能大于信道容量，除非允许存在一定的差错率。 （2）提高信噪比（通过减小或增大），可提高信道容量。特别是，若，则，这意味着无干扰信道容量为无穷大； （3）增加信道带宽，也可增加信道容量，但做不到无限制地增加。这是因为，如果、一定，有 #include double H1=0,h1=0 ,H2=0,h2=0; for(i=1;i<=n;i++) { for(j=1;j<=n;j++) { q[i-1][j-1]=p[i-1][j-1]*x[i-1]; //cout<<"联合概率"<<"y"< 实验一： MIMO 信道容量计算 实验学时：3 实验类型：（演示、验证、综合、设计、√研究） 实验要求：（√必修、选修） 一、实验目的 通过本实验的学习,理解和掌握信道容量的概念和物理意义；了解多天线系统信道容量的计算方法；采用计算机编程实现经典的注水算法。 二、实验内容 MIMO 信道容量； 注水算法原理； 采用计算机编程实现注水算法。 三、实验组织运行要求 以学生自主训练为主的开放模式组织教学 四、实验条件 （1）微机 （2）MATLAB 编程工具 五、实验原理、方法和手段 MIMO （MIMO,Multiple Input Multiple Output ）技术利用多根天线实现多发多收,充分利用了空间资源,在有限的频谱资源上可以实现高速率和大容量,已成为4G 通信系统以及未来无线通信系统的关键技术之一。 图1平坦衰弱MIMO 信道模型 1．MIMO 信道模型 MIMO 指多输入多输出系统,当发送信号所占用的带宽足够小的时候,信道可以被认为是平坦的,即不考虑频率选择性衰落。平坦衰弱的MIMO 信道可以用一个 R T n n ?的复数矩阵H 描述： 111212122212T T R T R R n n n n n n h h h h h h h h h ?? ? ??? =? ? ??????H （1） 其中T n 为发送端天线数, R n 为接收端天线数,H 的元素 ,j i h 表示从第i 根发射天线到第j 根接收天线之间的空间信道衰落系数。 窄带MIMO 信道模型（如图1所示）可以描述为： =+y Hx n （2） 其中,x 为发送信号；y 为接收信号；n 为加性高斯白噪声。 2．MIMO 信道容量 假设n 服从均值为0,协方差为单位阵的复高斯分布。根据信道容量() max{(;)} p X C I X Y =的定义,可以证明当 () p x 服从高斯分布时,达到MIMO 信道 容量。令x 的协方差矩阵为 x R ,则MIMO 信道容量可表示为： ()() logdet H C +x x R I HR H （3） 第三章离散信道及其信道容量 3．1．1 信道的分类 在信息论中，信道是传输信息的通道，是信息传输系统的重要组成部分之一。信道的分类有： 按照信道输入端或输出端的个数可分为单用户信道和多用户信道。 按照信道输出端有无信号反馈到输入端可分为有反馈信道和无反馈信道。 按照信道的统计参数是否随时间变化可分为时变参数信道和固定参数信道。 按照信道输入／输出信号取值幅度集合以及取值时间集合的离散性和连续性可分为离散信道(数字信道)和波形信道(模拟信道)。 按照信道输入/输出信号取值幅度集合的离散性和连续性(取值时间是离散的)可分为离散信道和连续信道。 按照信道输入/输出信号在取值时刻上是否有依赖关系可分为有记忆信道和无记忆信道。 按照信道输入信号与输出信号之间是否统计依赖关系可分为有噪信道和无噪(无干扰)信道。 3．1．2 离散信道的数字模型 1．一般离散信道(多维离散信道) 一般离散信道输入/输出信号取值幅度和取值时刻都是离散的平稳随机矢量。其数学模型可用离散型概率空间[X，P(y|x)，Y]来描述。其中X=(X1X2…X N)为输入信号，Y= (Y1Y2…Y N)为输出信号。X中X i∈A={a1，a2，…，a r}，Y中Y i∈B={b1，b2，…，b s}。又P(y|x)(x∈X，y∈Y)是信道的传递概率(转移概率)，反映输入和输出信号之间统计依赖关系，并满足 概率空间[X，P(y|x)，Y]也可用图来描述。 2．基本离散信道(单符号离散信道) 单符号离散信道是离散信道中最基本的信道，其信道输入/输出信号都是取值离散的单个随机变量。数学模型是概率空间[X，P(y|x)，Y]，(或[X，P(b j|a i)，Y])，其中X∈A={a1，a2，…，a r}，Y∈B={b1，b2，…，b s)，P(y|x)=P(b j|a i)(i=1，2，…，r；j=1，2，…，s)并满足 概率空间[X，P(y|x)，Y]也可用图来描述，如图3．1所示。 若将传递概率排列成矩阵形式，则称其为传递矩阵(或称信道矩阵)P，即 3．无噪(无干扰信道) 若离散信道[X，P(y|x)，Y]满足信道容量
信息量及信道容量的计算
MIMO信道容量计算.docx
信息论与编码[第三章离散信道及其信道容量]山东大学期末考试知识点复习