泛函分析学习报告

2012~2013学年第2学期《信息论与编码》课程论文

题目信息论及其前沿应用

专业信息与通信工程

姓名徐玉伟

学号2010208303

二〇一三年六月十日

信息论及其前沿应用

学号：2010208303 姓名：徐玉伟专业：信息与通信工程摘要：信息论目前应用在我们生活的方方面面，生活中随处可见信息论应用的身影。本文首先介绍了信息论，阐述了信息、信息论的意义，介绍了信息论的发展阶段，随后重点介绍了信息论在各行各业中的具体应用，最后对信息论的发展前景进行了展望。

关键词：信息信息论香农信息墒压缩感知情报分析统计信号处理

一.信息论的基本认识

1.1什么是信息

“信息”一词有着很悠久的历史，早在两千多年前的西汉，即有“信”字的出现。“信”常可作消息来理解。作为日常用语，“信息”经常是指“音讯、消息”的意思，但至今信息还没有一个公认的定义。信息是物质、能量、信息及其属性的标示。信息是确定性的增加。信息是事物现象及其属性标识的集合。信息以物质介质为载体，传递和反映世界各种事物存在方式和运动状态的表征。信息是物质运动规律总和，信息不是物质，也不是能量。信息是客观事物状态和运动特征的一种普遍形式，客观世界中大量地存在、产生和传递着以这些方式表示出来的各种各样的信息。信息论的创始人香农认为：“信息是能够用来消除不确定性的东西”。信息相关资料：图片信息（又称作讯息），又称资讯，是一种消息，通常以文字或声音、图象的形式来表现，是数据按有意义的关联排列的结果。信息由意义和符号组成。文献是信息的一种，即通常讲到的文献信息。信息就是指以声音、语言、文字、图像、动画、气味等方式所表示的实际内容。信息是抽象于物质的映射集合。信息是有价值的，就像不能没有空气和水一样，人类也离不开信息。因此人们常说，物质、能量和信息是构成世界的三大要素。所以说，信息的传播是极具重要与有效的。信息是事物的运动状态和过程以及关于这种状态和过程的知识。它的作用在于消除观察者在相应认识上的不确定性，她的数值则以消除不确定性的大小，或等效地以新增知识的多少来度量。虽然有着各式各样的传播活动，但所有的社会传播活动的内容从本质上说都是信息。目前对信息这个概念的描述很多很繁杂，但是却不能涵盖信息的本质特征。其实，用一个词就可以说明信息的本质：记录。具体表述为：信息是事物在相互作用中所“刻画”出的记录。[2]这一表述可以说明信息产生、存在、运动、产生进一步影响等多种问题。我们提到信息往往在潜意识里就是指一个概念群。因为，信息不是一个孤立的概念。有时你会把它理解为一个名词，有时则理解为动词、形容词，原因就是信息概念本身就包含诸多语义。另外，这里所说的“事物”，包括自然界的所有事物，不仅只包含与人类相关的事物，如语言、思维、文字、计算机等等。

1.1.1本体论层次的信息：

在最一般的意义上，亦即没有任何约束条件，我们可以将信息定义为事物存在的方式和运动状态的表现形式。这里的“事物”泛指存在于人类社会、思维活动和自然界中一切可能的

对象。“存在方式”指事物的内部结构和外部联系。“运动状态”则是指事物在时间和空间上变化，信息的载体所展示的特征、态势和规律。

1.1.2认识论层次的信息：

主体所感知或表述的事物存在的方式和运动状态。主体所感知的是外部世界向主体输入的信息，主体所表述的则是主体向外部世界输出的信息。在本体论层次上，信息的存在不以主体的存在为前提，即使根本不存在主体，信息也仍然存在。在认识论层次上则不同，没有主体，就不能认识信息，也就没有认识论层次上的信息。[4]

1.2 什么是信息论

信息论是由美国数学家香农创立的，它是用概率论和数理统计方法，研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题，并从量的方面来研究系统的信息如何获取、加工、处理、传输和控制的一门科学。信息就是指消息中所包含的新内容与新知识，是用来减少和消除人们对于事物认识的不确定性。信息是一切系统保持一定结构、实现其功能的基础。狭义信息论是研究在通讯系统中普遍存在着的信息传递的共同规律、以及如何提高各信息传输系统的有效性和可靠性的一门通讯理论。广义信息论被理解为使运用狭义信息论的观点来研究一切问题的理论。信息论认为，系统正是通过获取、传递、加工与处理信息而实现其有目的的运动的。信息论能够揭示人类认识活动产生飞跃的实质，有助于探索与研究人们的思维规律和推动与进化人们的思维活动。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。[1]

二.信息论的发展阶段

信息论的发展经历了三个阶段。

第一阶段：1948年贝尔研究所的香农在题为《通讯的数学理论》的论文中系统地提出了关于信息的论述，创立了信息论。

第二阶段：20世纪50年代，信息论向各门学科发起冲击；60年代信息论进入一个消化、理解的时期，在已有的基础上进行重大建设的时期。研究重点是信息和信源编码问题。

第三阶段：到70年代，由于数字计算机的广泛应用，通讯系统的能力也有很大提高，如何更有效地利用和处理信息，成为日益迫切的问题。人们越来越认识到信息的重要性，认识到信息可以作为与材料和能源一样的资源而加以充分利用和共享。信息的概念和方法已广泛渗透到各个科学领域，它迫切要求突破香农信息论的狭隘范围，以便使它能成为人类各种活动中所碰到的信息问题的基础理论，从而推动其他许多新兴学科进一步发展。[3]

三.信息论的应用

信息论被广泛应用于：编码学、密码学与密码分析学、数据传输、数据压缩、检测理论、

估计理论等学科领域。

3.1 信息论在压缩感知方面的应用

压缩感知理论首先由candes,Romberg,Tao和Donodol等人在2004年提出,相关文献直到2006年才发表。candes指出如果信号在某一正交空间具有稀疏性,那么就能够通过一个与选定正交基不相关的矩阵对信号进行投影变换,进而将原信号压缩为低维信号,并能够通过求解相应的优化问题以较高概率重构原始信号。作为压缩感知理论的应用,在进行信号采集与获取的过程中,能够以较低的频率(低于奈奎斯特频率)采样信号,并且能够以高概率重构原始信号。该理论表明,可以在不丢失重构原始信号所需信息的条件下,通过较少的采样次数实现对信号的降维处理,即实现了在采样信号的同时压缩信号的目的。

显然,这样的数据采集方式相对传统的奈奎斯特采样方式,节约了大量的采样资源和传输成本，是信号处理领域的重大发现和创新。基于这一理论,Kriolosl等设计了基于压缩感知理论的模拟一数字转换器。Laskalsl等人进一步发展了基于随机采样系统的模拟一数字信息转换器,并给出了随机采样的两种实现模型。

信息论之父香农在1948年发表的论文《通信的数学理论》一文中指出，任何信息都有冗余，冗余大小和信息中每个符号的出现概率或者说不确定性有关[2]。香农把信息中排除了冗余后的平均信息量称为信息熵，并给出了计算信息熵的数学表达式，这为数据压缩奠定了理论基础。数据压缩的主要目的是力求用最少的数据表示信源所发出的信号，使信号占用的存储空间尽可能小，以达到提高信息传输速度的目的。数据压缩在近代信息处理问题中有大量的应用，无论在数据存储或传送中，通过数据压缩不仅可以大大节省资源利用的成本，而且把一些原来无实用意义的技术，如多媒体技术中的一些问题，达到具有实用意义的标准。数据压缩作为信息论研究中的一项内容，主要是有关数据压缩比和各种编码方法的研究，即按某种方法对源数据流进行编码，使得经过编码的数据流比厡数据流占有较少的空间。其中基于符号频率统计的哈夫曼编码效率高，运算速度快，实现方式灵活，使得其在数据压缩领域得到了广泛的应用。不过，哈夫曼所得的编码长度只是对信息熵计算结果的一种近似，还无法真正逼近信息熵的极限。所以尽管哈夫曼编码具有良好的压缩性能，也一直占据重要的地位，还是不断有基于哈夫曼编码的改进算法提出。算数编码是一种可以成功地逼近信息熵极限的编码方法，它与部分分配预测模型结合，[12]开发了压缩效果近乎完美的压缩算法。算数编码虽然可以获得最短的编码长度，但其本身的复杂性也使得算数编码的任何具体实现在运行时都慢如蜗牛，导致难以满足日常应用的需求。此时，LZ 系列算法的优越性很快就在数据压缩领域里体现了出来，LZ 系列算法基本解决了通用数据压缩中兼顾速度与压缩效果的难题。数据压缩技术的不断完善是依靠在信息论这门学科的成长上的，信息能否被压缩以及能在多大程度上被压缩与信息的不确定性有直接的关系，人工智能技术将会对数据压缩的未来产生重大影响。

3.2 信息论在信号处理中的应用

信号处理包括数据、影象、语声或其他的信号的处理，从信息论的观点看，信号则是观

察客观事物表达其相应信息的技术手段，也就是特定信息的载体。信息是通过信号来表达的，对信息的加工和处理，也就是信号的加工和处理。所有处理过程无非是信源编码，变换，过滤或决策过程，其实变换也是一种编码过程。[11]这些过程中的大部分的信息论基础是信息率失真理论。譬如数字信号处理，其技术可以归结为以快速傅里叶变换和数字滤波器为核心，以逻电路为基础，以大规模集成电路为手段，利用软硬件来实现各种模拟信号的数字处理，其中要用到信息论中的信号检测、信号变换、信号的调制和解调、信号的运算、信号的传输和信号的交换等。[5]

3.3信息论在作战效能评估中的应用

现代高技术战争是一场信息化战争,其核心和纽带是信息,而信息是信息论中的核心,信息的度量是其研究的基本问题,信息熵理论是其基础理论。因此基于信息论中一些基本理论,试图探讨一种新的作战效能评估方法是当前军事研究的一个热点。由于军事行动中存在大量的随机性和不确定性,因此从信息的不确定性着手评估其作战效能是可行的, 也是近年来作战效能评估研究的一个新方向。

将作战过程分解成多个节点,以信息论中自信息量(不确定性的定量表示)为度量纽带,对信息熵函数进行改造,探索出一种新的作战效能评估方法。该方法计算简单,能研讨出各影响因素影响程度的高低,并能在不同假设背景下很方便地进行效能验模和灵敏度分析。为了提高该方法的可信度,需要加强作战任务的需求分析,力求得到准确的影响因素隶属度,这样计算出来的作战效能才更具有实际意义和实用价值。[13]

3.4信息论在统计中的应用

信息论在统计中的应用一般指信息量在统计中的应用，也有编码定理与码结构在统计中的应用等问题。由于统计学研究的问题日趋复杂，如统计模型从线性到非线性，统计分

布从单一分布到混合分布，因此信息量在统计中的作用日趋重要，在许多问题中以信息量作为它们的基本度量[10]。

在统计领域里，统计计算技术近年来发展很快，它使许多统计方法,尤其是Bayes统计得到广泛的运用。Bayes计算方法有很多，其中一类是直接应用于后验分布以得到后验均

值或后验众数的估计，以及这种估计的渐进方差或其近似。[9]EM算法就是一种迭代方法,主要用来计算后验分布的众数或极大似然估计。这种方法可以广泛的应用于缺损数据，截尾数据，成群数据，带有讨厌参数的数据等所谓的不完全数据。EM算法的最大优点是简单和稳定，主要目的是提供一个简单的迭代算法来计算极大似然估计，问题是如此建立的EM 算法得到的估计序列是否收敛。它的特点与信道容量的递推渐近算法相似，但应用更为广泛。EM算法实现简单，数值计算稳定，存储量小，并具有良好的全局收敛性。EM算法是一种求参数极大似然估计的迭代算法，在处理不完全数据中有重要应用。[16]

信息与统计相结合的其他典型问题还很多，如假设检验中的两类误差估计问题，试验设计问题，信息量在有效估计中的应用问题等，这些问题已使信息论与统计学想成相互推动发展的局面。

3.5信息论在密码学中的应用

密码学是研究编制密码和破译密码的技术科学。从传统意义上来说，密码学是研究如何把信息转换成一种隐蔽的方式并阻止其他人得到它。密码术的研究和应用虽有很长的历史，但在信息论诞生之前，它还没有系统的理论，直到香农发表的保密通信的信息理论一文，为密码学确立了一系列的基本原则与指标，如加密运算中的完全性、剩余度等指标，它们与信息的度量有着密切相关。之后才产生了基于信息论的密码学理论，所以说信息论与密码学的关系十分密切。近代密码学由于数据加密标准与公钥体制的出现于应用，使近代密码学所涉及的范围有了极大的发展，尤其是在网络认证方面得到广泛应用，但其中的安全性原理与测量标准仍未脱离香农保密系统所规定的要求，多种加密函数的构造，如相关免疫函数的构造仍以香农的完善保密性为基础。[8]

3.6信息论在图书情报领域中的应用

随着科技的发展，社会将会进入高度发展的信息化时代，现在人们不仅可以用信息方法解决某一个学科的问题，而且可以把一切有组织的系统和过程抽象为信息变换的过程，广泛应用到研究控制系统预测等等方面图书情报学与信息论有着天然的关系，采用信息方法进行图书情报学的科学研究将是有意义的目前，信息方法在图书馆学研究中已经有了较为广泛的应用。[6]

3.6.1研究图书馆管理

同任何管理系统一样，图书馆这样一个复杂的管理系统可以简化为由领导（馆级领导）和员工（下层人员）组成的一个最简系统领导与员工之间存在诸多联系，把他们之间的信息联系提取出来进行分析研究，就足可能说明图书馆管理系统的状态了。图1就是这个管理系统的最简化的信息示意图用信息方法来研究这个模型，就是要寻找信息的传递过程，识别管理者和管理对象管理系统与环境建立了怎样的信息联系。[14]

1.图书馆管理信息系统的简化信息流程图

3.6.2研究采访工作

图书馆的采访系统可以看作是一个信息系统。它在运行过程中，收到图书馆外部的文献信息，也收到来自图书馆领导的管理信息和相邻系统的反馈信息，这两方面的信息持续不断地流经采访系统，保证了采访系统的正常运行，图书馆采访系统依照信息传递的基本程序接收和处理信息。首先，采访系统要接收和处理文献信息源发出的文献出版发行信息，每天收

到来自四面八方的以书面和口头方式等传来的大量文献信息，采访人员要在管理指令信息指导下，对众多的文献决定取舍，并对加工筛选出来的文献信息决定订购数量，[7]及时建档或输入计算机检索用数据库以备查检采访工作者的任务就是处理这些信息，使采访系统按照人为的意愿畅通运行，保证取得最佳输出。

其次，采访系统还要接收和处理相邻系统的反馈信息进馆后的文献，经过验收登记将传递到分编系统和流通阅览系统。这些文献对分编流通阅览系统来说是输入信息，而分编流通阅览系统对输入的信息经过分析鉴别后的反馈，就是对采访系统的反馈信息采访系统要根据分编系统发现的因采访人员工作失误引起的重复采购，比例失调等反馈信息及时纠正失误，改进工作。采访系统根据流通阅览系统提供的读者阅读兴趣倾向，各类图书资料的使用率和拒借率统计数据以及通过采访人员到流通阅览部门的实地观察倾听读者的反映及网上调查等反馈信息来调整采访计划，适时地补充新书和增减复本量，不断提高藏书质量，最大限度地满足各个层次读者的需求与此同时，采访系统还要接收来自图书馆决策部门的指令性信息在贯彻执行的过程中，也要把执行过程中出现的问题，与客观实际有出入的情况，及时反馈给图书馆决策部门，以使决策部门有效地领导和支持采访工作采访系统从文献信息源那里接受并处理信息的过程中，还应将在信息传输中得到各方面反馈信息汇总，提炼后反馈给文献信息源，以协调和文献信息源的关系。

四.信息论的发展与前景

信息论的意义和应用范围已超出通信的领域。自然界和社会中有许多现象和问题，如生物神经的感知系统、遗传信息的传递等，均与信息论中研究的信息传输和信息处理系统相类似。因此信息论的思想对许多学科如物理学、生物学、遗传学、控制论、计算机科学、数理统计学、语言学、心理学、教育学、经济管理、保密学研究等都有一定的影响和作用。另一方面，由于借助负熵定义的信息量只能反映符号出现的概率分布（不肯定性），不能反映信息的语义和语用层次。一篇重要的报告和一篇胡说乱道的文章可以具有同样的信息，这显然不符合常识。因此现阶段信息论的应用又有很大的局限性。把信息的度量推广到适合于语义信息和语用信息的情况，曾经做过许多尝试。但至今还没有显著的进展。[15]现在，信息理论与技术不仅直接应用于通信、计算机和自动控制等领域，而且还广泛渗透到生物学、医学、语言学、社会学、经济学和管理学等领域，与这些交叉学科的发展，是信息论的应用范围更加广泛。信息论已经对我们的现实生活起到了巨大的作用，信息论的发展前景也是非常广阔的，信息论方法的应用必将推动各领域向更高层次迈进。

参考文献：

[1].E.Cands,J.ROMberg,T.Tao.”Roubst uncerainty principle:Exact single reeconstruction from highiy incomplete frequeney information”https://www.360docs.net/doc/a04583201.html,rm.Theory,vol.52,no.2,PP.489一509,Feb.2006

[2] 曹雪虹,张宗橙.信息论与编码[M].北京:清华大学出版社,2004.

[3] 周叶林.科学研究中的信息论及其应用[J].今日南国,2009，5:201-202.

[4] 沈世镒,吴忠华.信息论基础与应用[M].北京:高等教育出版社,2004.

[5] 周荫清.信息理论基础[M].北京:北京航空航天大学出版社,2006.

[6].王崇德图书情报方法论究[M] 北京:科技文献出版社1988

[7].赖茂生信息资源管理教程[M]北京:清华大学出版社2006

[8] 张远夏.浅谈算术编码的编译码过程[J]. 玉林师范学院学报. 2003(04)

[9] 周叶林.科学研究中的信息论及其应用[J]. 今日南国(理论创新版). 2009(05)

[10] Skelton R E.Cost decomposition of linear systems with application to model reduction. International Journal of Control . 1980

[11] Peng H C,Long F H,Ding C.Feature selection based on mutual information criteria of max-dependency, max-relevance, and min-redundancy. IEEE Transactions on Pattern Analysis and Machine Intelligence . 2005

[12] Xing E,Jordan M,Karp R.Feature selection for high-dimensional genomic microarray data. Proceedings of the Eighteenth International Conference on Machine Learning (ICML2001) . 2001

[13] 谢邦荣,彭征明信息论在作战效能评估中的应用研究[J].系统工程理论与实践. 2007(07)

[14] 霍国庆.信息论在图书情报领域中的应用[J]. 图书情报工作. 1995(03)

[15] Jessica Lin,Eamonn Keogh,Li Wei,Stefano Lonardi.Experiencing SAX: a novel symbolic representation of time series[J] ,2007

[16] 张珊珊.信息论的应用[J].大众科技. 2011(07).45-46