信道容量实验报告

湖南大学

信息科学与工程学院

实验报告

实验名称信道容量的迭代算法课程名称信息论与编码

1.实验目的

（1）进一步熟悉信道容量的迭代算法；

（2）学习如何将复杂的公式转化为程序；

（3）掌握C 语言数值计算程序的设计和调试技术。

2、实验方法

硬件：pc 机

开发平台：visual c++软件

编程语言：c 语言

3、实验要求

（1）已知：信源符号个数r 、信宿符号个数s 、信道转移概率矩阵P 。

（2）输入：任意的一个信道转移概率矩阵。信源符号个数、信宿符号个数和每

个具体的转移概率在运行时从键盘输入。

（3）输出：最佳信源分布P*，信道容量C 。

4.算法分析

1：procedure CHANNEL CAPACITY(r,s,(ji p ))

2：initialize:信源分布i p =1/r ，相对误差门限σ，C=—∞

3：repeat

4：

5：

6： C 2211log [exp(log )]

r s ji ij r j p φ==∑∑

7：until C C σ?≤

8：output P*= ()i r p ,C

9：end procedure

21211exp(log )exp(log )s

ji ij j r s ji ij r j p p φφ===∑∑∑i p 1i ji r i ji i p p p p =∑ij

φ

5.程序调试

1、头文件引入出错

f:\visualc++\channel\cpp1.cpp(4) : fatal error C1083: Cannot open include file: 'unistd.h': No such file or directory

————#include

纠错：//#include

f:\visualc++\channel\cpp1.cpp(5) : fatal error C1083: Cannot open include file: 'values.h': No such file or directory

————#include

纠错：//#include

2、变量赋值错误

f:\visualc++\channel\cpp1.cpp(17) : error C2065: 'ij' : undeclared identifier

f:\visualc++\channel\cpp1.cpp(17) : error C2440: 'initializing' : cannot convert from 'int' to 'float ** ' Conversion from integral type to pointer type requires reinterpret_cast, C-style cast or function-style cast

————float **phi_ij=ij=NULL;

纠错：float **phi_ij=NULL;

3、常量定义错误

f:\visualc++\channel\cpp1.cpp(40) : error C2143: syntax error : missing ';' before 'for' ————for(i=0;i

phi_ij[i]=(float *)calloc(s,sizeof(float));

f:\visualc++\channel\cpp1.cpp(52) : error C2021: expected exponent value, not ' '

————if(fabs(validate -1.0)>DELTA)

f:\visualc++\channel\Cpp1.cpp(84) : error C2021: expected exponent value, not ' '

————if(fabs(p_j)>=DELTA)

f:\visualc++\channel\Cpp1.cpp(100) : error C2021: expected exponent value, not ' '

————if(fabs(phi_ij[i][j])>=DELTA)

f:\visualc++\channel\Cpp1.cpp(116) : error C2021: expected exponent value, not ' ' ————while(fabs(C-C_pre)/C>DELTA);

纠错：#define DELTA 0.000001;

F:\visualc++\channel\Cpp1.cpp(68) : error C2065: 'MAXFLOAT' : undeclared identifier

F:\visualc++\channel\Cpp1.cpp(68) : warning C4244: '=' : conversion from 'int' to 'float', possible loss of data

————C=-MAXFLOAT;

纠错：#define MAXFLOAT 1000000;

3、引用中文逗号

f:\visualc++\channel\cpp1.cpp(60) : error C2018: unknown character '0xa1'

f:\visualc++\channel\cpp1.cpp(60) : error C2018: unknown character '0xb1'

f:\visualc++\channel\cpp1.cpp(60) : error C2065: 'Starting' : undeclared identifier

f:\visualc++\channel\cpp1.cpp(60) : error C2059: syntax error : '.'

f:\visualc++\channel\cpp1.cpp(60) : error C2017: illegal escape sequence

f:\visualc++\channel\cpp1.cpp(60) : error C2018: unknown character '0xa1'

f:\visualc++\channel\cpp1.cpp(60) : error C2018: unknown character '0xb1'

————fprintf(stdout,”Starting..\n”);

纠错：fprintf(stdout,"Starting..\n");

4、没有进行强制转换

F:\visualc++\channel\Cpp1.cpp(65) : warning C4244: '=' : conversion from 'double' to 'float', possible loss of data

————p_i[i]=1.0/(float)r;

纠错：p_i[i]=(float)(1.0/(float)r);

F:\visualc++\channel\Cpp1.cpp(101) : warning C4244: '+=' : conversion from 'double' to 'float', possible loss of data

————sum[i]+=p_ji[i][j]*log( phi_ij[i][j])/ log(2.0);

纠错：sum[i]+=(float)(p_ji[i][j]*log( phi_ij[i][j])/ log(2.0));

F:\visualc++\channel\Cpp1.cpp(103) : warning C4244: '=' : conversion from 'double' to 'float', possible loss of data

————sum[i]=pow(2.0,sum[i]);

纠错:sum[i]=(float)(pow(2.0,sum[i]));

F:\visualc++\channel\Cpp1.cpp(114) : warning C4244: '=' : conversion from 'double' to 'float', possible loss of data

————C= log(p_j)/ log(2.0);

纠错：C= (float)(log(p_j)/ log(2.0));

4、表达式错误

F:\visualc++\channel\Cpp1.cpp(86) : error C2065: 'phi_ji' : undeclared identifier

F:\visualc++\channel\Cpp1.cpp(86) : error C2109: subscript requires array or pointer type

F:\visualc++\channel\Cpp1.cpp(86) : error C2109: subscript requires array or pointer type ————phi_ij[i][j]=p_i[i]* phi_ji[i][j]/p_j;

纠错：phi_ij[i][j]=p_i[i]* p_ji[i][j]/p_j;

F:\visualc++\channel\Cpp1.cpp(122) : error C2065: 'fprint' : undeclared identifier

F:\visualc++\channel\Cpp1.cpp(122) : error C2018: unknown character '0xa1'

F:\visualc++\channel\Cpp1.cpp(122) : error C2018: unknown character '0xb1'

F:\visualc++\channel\Cpp1.cpp(122) : error C2065: 'The' : undeclared identifier

F:\visualc++\channel\Cpp1.cpp(122) : error C2146: syntax error : missing ')' before identifier 'iteration'

F:\visualc++\channel\Cpp1.cpp(122) : error C2017: illegal escape sequence

F:\visualc++\channel\Cpp1.cpp(122) : error C2017: illegal escape sequence

F:\visualc++\channel\Cpp1.cpp(122) : error C2018: unknown character '0xa1'

F:\visualc++\channel\Cpp1.cpp(122) : error C2018: unknown character '0xb1'

————fprint(stdout,”The iteration number is %d.\n\n”,k);

纠错：fprintf(stdout,"The iteration number is %d.\n\n",k);

F:\visualc++\channel\Cpp1.cpp(145) : error C2143: syntax error : missing ')' before ';' ————free((p_i);

纠错：free(p_i);

5、没有返回值

F:\visualc++\channel\Cpp1.cpp(149) : warning C4508: 'main' : function should return a value; 'void' return type assumed、

纠错：return 0;

6.改进程序

/*引入头文件*/

#include

#include

#include

/*定义常量*/

#define DELTA 0.0000001//DELTA为相对误差门限

#define MAXFLOAT 1000000;//MAXFLOAT为初始化信道容量值

int main( void)

{

/*定义全局变量*/

/*register允许直接从寄存器中读取变量，提高速率*/

register int i,j;//i、j为整型变量

register int k;//信道容量迭代计算次数

int r,s;//r为信源符号个数，s为新宿符号个数

float *p_i=NULL;//r个信源符号发生的概率

float **p_ji=NULL;//信源到新宿的信道转移概率矩阵P

float **phi_ij=NULL;

float C,C_pre,validate;//C为信道容量，C_pre为信道最大容量，validate为判定输入转移概率矩阵是否合法

float * sum=NULL;//信源符号所带的全部信息量

float p_j;//条件概率

/*输入信源符号和新宿符号个数*/

printf("请输入信源符号个数r、信宿符号个数s...\n");

printf("+++++注意！！！r必须大于等于s！！+++++\n");

fscanf(stdin,"%d",&r);

fscanf(stdin,"%d",&s);

/*为 p_i,p_ji 和 phi_ij 分配内存空间*/

p_i=(float *)calloc(r,sizeof(float));

p_ji=(float **)calloc(r,sizeof(float));

/*为每个p_ji分配大小为s的内存空间*/

for(i=0;i

p_ji[i]=(float *)calloc(s,sizeof(float));

phi_ij=(float **)calloc(r,sizeof(float*));

/*输入转移概率矩阵*/

for(i=0;i

/*为每个phi_ij分配大小为s的内存空间*/

phi_ij[i]=(float *)calloc(s,sizeof(float));

printf("信道转移概率矩阵P...\n");

for(i=0;i

for(j=0;j

fscanf(stdin,"%f",&p_ji[i][j]);

/*判定输入的转移概率矩阵是否正确*/

for(i=0;i

{

validate=0.0;

for(j=0;j

{

validate +=p_ji[i][j];

}

if((validate-1.0)>=0)//如果转移概率矩阵的概率和大于1，输入数据不合法

{

fprintf(stdout,"invalid input data.\n");

exit(-1);

}

}

/*显示开始计算..*/

fprintf(stdout,"Starting..\n");

/*初始化 p_i 和 phi_ij*/

for(i=0;i

{

/* p_i为等概率，即概率为1/r*/

p_i[i]=(float)(1.0/(float)r);

}

/*初始化信道容量c，迭代次数k和临时变量variable*/

C=-MAXFLOAT;

k=0;

/* 为sum分配大小为r的内存空间*/

sum=(float *)calloc(r,sizeof(float));

/*开始迭代计算*/

do

{

k++;//每进行一次迭代，迭代次数k加1

/* 计算phi_ij(k)*/

for(j=0;j

{

p_j=0.0;

for(i=0;i

p_j+=p_i[i]*p_ji[i][j];

if(fabs(p_j)>=DELTA)

for(i=0;i

phi_ij[i][j]=p_i[i]* p_ji[i][j]/p_j;

else

for(i=0;i

phi_ij[i][j]=0.0;

}

/*计算p_i(k+1)*/

p_j=0.0;

for(i=0;i

{

sum[i]=0.0;

for(j=0;j

{

/*相对误差门限为0*/

if(fabs(phi_ij[i][j])>=DELTA)

sum[i]+=(float)(p_ji[i][j]*log( phi_ij[i][j])/ log(2.0)); }

sum[i]=(float)(pow(2.0,sum[i]));

p_j+=sum[i];

}

for(i=0;i

{

p_i[i]=sum[i]/p_j;

}

C_pre=C;

C= (float)(log(2.0)/log(p_j) );

}

while(fabs(C-C_pre)/C>DELTA);

free(sum);

sum=NULL;

/*显示结果*/

fprintf(stdout,"The iteration number is %d.\n\n",k);//迭代次数

fprintf(stdout,"The capacity of the channel is %.6f bit/symbol:\n\n",C);//信道容量

fprintf(stdout,"The best input probability distribution is :\n");//最佳信源分布 for(i=0;i

fprintf(stdout,"%.6f\n",p_i[i]);

fprintf(stdout,"\n");

/* 释放指针空间*/

for(i=s-1;i>=0;i--)

{

free(phi_ij[i]);

phi_ij[i]=NULL;

}

free(phi_ij);

phi_ij=NULL;

for(i=r-1;i>=0;i--)

{

free(p_ji[i]);

p_ji[i]=NULL;

}

free(p_ji);

p_ji=NULL;

free(p_i);

p_i=NULL;

exit(0);

return 0;

}

7.实验结果

八、实验结论

信道容量是指信道能无错误传送的最大信息率。对于只有一个信源和一个信宿的单用户信道，它是一个数，单位是比特每秒或比特每符号。它代表每秒或每个信道符号能传送的最大信息量，或者说小于这个数的信息率必能在此信道中无错误地传送。

信道的输入、输出都取值于离散符号集，且都用一个随机变量来表示的信道就是离散单符号信道。由于信道中存在干扰，因此输入符号在传输中将会产生错误，这种信道干扰对传输的影响可用传递概率来描述。

信道传递概率通常称为前向概率。它是由于信道噪声引起的，所以通常用它描述信道噪声的特性。有时把p(x)称为输入符号的先验概率。而对应的把p(x|y)称为输入符号的后验（后向）概率。

平均互信息 I(X;Y) 是接收到输出符号集Y后所获得的关于输入符号集X的信息量。信源的不确定性为H(X)，由于干扰的存在，接收端收到 Y后对信源仍然存在的不确定性为H(X|Y)，又称为信道疑义度。信宿所消除的关于信源的不确定性，也就是获得的关于信源的信息为 I(X;Y)，它是平均意义上每传送一个符号流经信道的信息量。

对于固定的信道，总存在一种信源（某种输入概率分布），使信道平均传输一个符号接收端获得的信息量最大，也就是说对于每个固定信道都有一个最大的信息传输率，这个最大的信息传输率即为信道容量，而相应的输入概率分布称为最佳输入分布。

为了评价实际信道的利用率，应具体计算已给信道的容量。这是一个求最大值的问题。由于互信息对输入符号概率而言是凸函数，其极值将为最大值，因此这也就是求极值的问题。对于离散信道，P(x)是一组数，满足非负性和归一性等条件，可用拉格朗日乘子法求得条件极值。对于连续信道，P(x)是一函数，须用变分法求条件极值。