神经网络历史发展及应用综述个人整理
人工神经网络历史发展及应用综述
1、引言
人类为了生存在改造探索自然的过程中，学会利用机械拓展自身的体力，随着对自然认识的不断深入，创造语言，符号，算盘、计算工具等来强化自身脑力。复杂的数字计算原本是靠人脑来完成的，为了摆脱这种脑力束缚发明了计算机。其数字计算能力比人脑更强，更快、更准。计算机的出现，人类开始真正有了一个可以模拟人类思维的工具，期盼可以实现人工智能，构造人脑替代人类完成相应工作。
要模拟人脑的活动，就要研究人脑是如何工作的，要怎样模拟人脑的神经元。人脑的信息处理具有大规模并行处理、强容错性和自适应能力、善于联想、概括、类比和推广的特点，多少年以来，人们从生物学、医学、生理学、哲学、信息学、计算机科学、认知学、组织协同学等各个角度企图获悉人脑的工作奥秘，寻求神经元的模拟方法。在寻找上述问题答案的研究过程中，从20世纪40年代开始逐渐形成了一个新兴的边缘性交叉学科，称之为“神经网络”，是人工智能、认知科学、神经生理学、非线性动力学、信息科学、和数理科学的“热点”。关于神经网络的研究包含众多学科领域，涉及数学、计算机、人工智能、微电子学、自动化、生物学、生理学、解剖学、认知科学等学科，这些领域彼此结合、渗透，相互推动神经网络研究和应用的发展。
2、定义
思维学普遍认为，人类大脑的思维有三种基本方式，分为抽象（逻辑）思维、形象（直观）思维和灵感（顿悟）思维。逻辑性的思维是根据逻辑规则进行推理的过程，这一过程可以写成指令，让计算机执行，获得结果。而直观性（形象）的思维是将分布式存储的信息综合起来，结果是忽然间产生想法或解决问题的办法。这种思维方式的有以下两个特点：一是信息通过神经元上的兴奋模式分布储在网络上；二是信息处理通过神经元之间同时相互作用的动态过程来完成的。
人工神经网络就是模拟第二种人类思维方式。人工神经网络是由大量具备简单功能的人工神经元相互联接而成的自适应非线性动态系统。虽然单个神经元的结构和功能比较简单，但大量神经元连接构成的网络系统行为却异常复杂。人工神经网络基本功能模仿了人脑行为的若干基本特征，反映了人脑的基本功能，但并非人脑的真实写照，只是某种对人脑模仿、简化和抽象。人工神经网络具有并行信息处理特征，依靠网络系统的复杂程度，通过调整内部大量节点之间相互连接的关系，适应环境、总结规则、完成某种运算、识别或过程控制，从而达到处理信息的目的。
人工神经网络作为模拟人脑活动的理论化算法数学模型，Hecht—Nielsen于1988年给人工神经网络下了如下定义：
人工神经网络是一个并行、分布处理结构，它由处理单元及称为联接的无向信号通道互连而成。这些处理单元（PE---Processing Element）具有局部内存，并可以完成局部操作。每个处理单元有一个单一的输出联接，这个输出可以根据需要被分支成希望个数的许多并行联接，且这些并行联接都输出相同的信号，即相应处理单元的信号，信号的大小不因分支的多少而变化。处理单元的输出信号可以是任何需要的数学模型，每个处理单元中进行的操作必须是完全局部的。也就是说，它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。
按照Rumellhart，McClelland，Hinton的PDP（Parallel Distributed Processing）理论框架（简称PDP模型），对人工神经网络的描述包含八个要素：
1）一组处理单元（PE或AN）；
2）处理单元的激活状态（ai）；
3）每个处理单元的输出函数（fi）；
4）处理单元之间的联接模式；
5）传递规则（∑wijoi）；
6）把处理单元的输入及当前状态结合起来产生激活值
的激活规则（Fi）；
7）通过经验修改联接强度的学习规则；
8）系统运行的环境（样本集合）。
以上定义详细且复杂，为了方便使用，Simpson于1987年从神经网络的拓扑结构出发，下了一个不太严谨却简明扼要的定义：
人工神经网络是一个非线性的有向图，图中含有可以通过改变权大小来存放模式的加权边，并且可以从不完整的或未知的输入找到模式。
关键点：
1）信息的分布表示
2）运算的全局并行与局部操作
3）处理的非线性特征
对大脑基本特征的模拟：
1）形式上：神经元及其联接；BN对AN
2）表现特征：信息的存储与处理
人工神经网络最开始实际上是没有任何规则，根据学习规则把预先准备的输入与输出相互对应的数据进行分析，了解所给数据蕴含的基本规则，这过程也就是所谓的“学习”和“适应”，经过训练（反复地学习）后掌握所给数据的规则，依据规则用新输入的数据快捷地推算出所需的结果。
3、特征
人工神经网络是通过模仿人脑神经系统的组织结构和部分活动机理进行信息处理的新型网络系统。可见人工神经网络的性能是由本身的结构特征和人工神经元的特性所决定的,同时也与其学习算法相关。下面从网络结构、性能、能力和实现方式四个方面阐述神经网络的基本特征。
3.1网络结构特征：并行处理、分布存储、神经元联接，结构可塑。
一个人工神经网络通常由多个人工神经元广泛联接而成，神经网络的拓朴结构是模拟生物神经细胞的互连方式。人工神经元是一个局部信息处理单元，接受来自其它人工神经元的信息，并根据自身当前“状态”以某种形式与方式输出结果给其它人工神经元，而且，它对信息的处理是非线性的。把人工神经元抽象为一个简单的数学模型。虽然单个人工神经元的功能简单，但大量简单处理单元的并行活动令网络出现功能的多样化和高效的处理速度。为满足网络结构的并行性，神经网络采取分布式的信息存储，将信息分布在网络中的连接权。显然神经网络可存储大量信息，单个人工神经元的连接权存储的是整个神经网络信息的一部分。神经网络内在的并行性与分布性表现在其信息的存储与处理过都是空间上分布、时间上并行的。
3.2性能特点：非线性、容错性、模糊性
(1) 非线性映射逼近能力。作为模拟人脑的人工神经网络，人工神经元的互联与并行处理使神经网络呈现明显的非线性特征。理论已证明，任意的连续非线性函数映射关系可由某一多层神经网络以任意精度加以逼近。单元简单、结构有序的神经网络模型显然是非线性系统建模的有效框架模型。
(2) 强大的容错能力。存储的分布使神经网络具备了一种特殊的功能---容错能力。一是在少量人工神经元被破坏的情况下，仍可保证信息被存取，保证网络系统在一定程度损伤的情况下整体性能不受影响。二是输入信息出现模糊、残缺或变形时，神经网络仍然能够对不完整的信息输入进行正确识别。如果人工神经元具有阈值必然使神经网络具有更好的性能，可以提高容错性和存储容量。
(3)计算的模糊性。人工神经网络特有的信息处理方式，对连续模拟信号以及不精确的、不完整的模糊信息的运算处理是不精确的。人工神经网络在被训练后，对输入信息的微小变
化是不反应的。凡事都有其两面性，在高精度计算的情况下，这种不精确性是一个缺陷，但某些场合却可以利用这所谓的缺陷获取良好的系统性能。例如模式识别时可将这不精确性表现成“去噪音、容残缺”的能力，对实现良好地识别效果至关重要。需要注意的是，人工神经网络的这种特性不是通过隐含在专门设计的计算机程序中的人类的智能肺炎实现的，而是其自身的结构所固有的特性所给定的。
3.3能力特征：并行分布优化、非常定性、联想存储
(1) 对信息的并行分布式综合优化处理能力。人工神经网络的大规模互联网络结构,使其能兼容定性和定量信息,高速地并行实现全局性的实时信息处理,并协调多种输入信息之间的关系,其速度远高于串行结构的冯?诺依曼计算机。神经网络的工作状态是以动态系统方程式描述的，将优化约束信息（与目标函数有关）存储于神经网络的连接权矩阵之中，设置一组随机数据作为起始条件，当系统状态趋于稳定时，神经网络方程的解作为优化结果输出。这种优化计算能力在自适应控制设计中是十分有用的。
(2)非常定性。人工神经网络具有自适应、自组织、自学习能力。神经网络不但处理的信息可以有各种变化，而且非线性动力本身也在不断变化。经常采用迭代过程描写动力系统的演化过程。也就是说，人工神经网络可在学习和训练过程中改变连接权重值，根据所在的环境去改变它的行为。可见自适应性是神经网络的一个重要特征。经过充分训练的神经网络具有潜在的自适应模式匹配功能,能对所学信息加以分布式存储和泛化。神经网络的自学习是当外界环境发生变化时，经过一段时间的训练或感知，神经网络自动调整网络结构参数，使得输入产生期望的输出。人工神经元系统在外部刺激下按一定规则调整人工神经元之间的连接权值，逐渐构建起神经网络，整个构建过程就是神经网络的自组织。神经网络的自组织能力与自适应性相关，自适应性是通过自组织实现的。
(4) 联想存储能力。人工神经元之间的大量连接模拟了人脑的非局限性。联想存储就是非局限性的典型例子，就像人脑具有联想能力。存储分布和处理并行令神经网络具备对外界输入信息和模式联想存储的能力。人工神经元之间的协同结构与信息处理方式构成的整体行为是实现联想存储有效形式。神经网络是通过连接权值和连接结构来表达信息的记忆，这种存储的分布使神经网络能够存储大量的复杂模式和恢复存储的信息。用人工神经网络的反馈网络就可以实现类似的联想。
3.4实现方式：易于集成实现和计算模拟
神经网络的活动规律能够用数理逻辑工具描述，并且人工神经网络的网络结构是人工神经元的大规模组合,特别适合用大规模集成电路实现,其途径有半导体电子器件、光学器件和分子器件。同时，神经网络也适合于用现有计算技术进行模拟实现。由于传统的计算机运算
方式与神经网络所要求的并行运算和分布存储方式是完全不相同的,所以两者在运算时间上必然存在着显著差异。
4、回顾发展历史
神经网络是人工智能的一个发展分支，从诞生以来经历了五个阶段：
(1)启蒙期：20世纪40年代初，神经解剖学、神经生理学、心理学对人脑神经元的电生理的研究等做了不少工作，且都富有成果。其中，W.S.McCulloch（神经生物学家、心理学家）提倡数字化具有特别意义。他与W.Pitts（青年数理逻辑学家）合作，从人脑信息处理观点出发，采用数理逻辑模型的方法研究了脑细胞的动作和结构及其生物神经元的一些基本生理特性，他们提出了第一个神经计算模型，即神经元的阈值元件模型，简称M-P模型。他们通过MP模型提出了神经元的形式化数学描述和网络结构方法，证明了单个神经元能执行逻辑功能。M-P模型的结点构成的网络计算能力很强，为用元器件、计算机程序实现人工神经网络打下了坚实基础，从而开创了人工神经网络研究的时代。这一革命性的思想，产生了很大影响，但在当时整个科学界并未给予重视，认为仅是一种纯理论上的探索。只有Kleene（数学家）在此基础上抽象成一种有限自动机理论。
1949年D.O.Hebb（神经生物学家、心理学家）的论著The Organization of Behavior，对大脑神经细胞、学习与条件反射提出了大胆地假设：神经元之间突触联系是可变的假说。基本思想是，两个神经元的突触的联接强度当两个神经元处于同状态时因对问题响应的一致性而增强，当神经元所处状态不同时因对问题响应的不一致性而减弱。Hebb规则是人工神经网络学习训练算法的起点，对神经网络的发展起到了里程碑作用，至今仍然被人们引证。 50年代初，神经网络理论具备了初步模拟实验的条件。Rochester，Holland与IBM公司的研究人员合作，他们通过网络吸取经验来调节强度的方式模拟Hebb的学习规则，在IBM701计算机上运行，取得了成功。Minsky（人工智能的主要创始人之一）于1954年对神经系统如何能够学习进行了研究，后来他深入分析了Rosenblatt建立的感知（Perceptron)的学习模型作。
(2)兴盛时期：1958年F.Rosenblatt（计算机科学家）基于M-P模型，增加了学习机制，推广了M-P模型，第一个具有学习型神经网络特点的模式识别装置，即代号为M a r k Ｉ的感知器（Perceptron），感知器模型是神经网络理论首次付诸工程实现，这一重大事件是神经网络研究进入第二阶段的标志。感知器是一种学习和自组织的心理学模型，学习规则是突触强化律，其结构体现了神经生理学的知识，但只能进行线性分类，不能识别复杂字符与输入模式等。F.Rosenblatt之举激发了许多学者对神经网络研究的极大兴趣。美国上百家有影响的实验室纷纷投入这个领域，军方给予巨额资金资助，神经网络形成了首次热潮。