基于遗传算法的BP神经网络气象预报建模

基于遗传算法的BP神经网络气象预报建模wxyhome

20世纪90年代以来，国内外在大气学科中开展了很多有关神经网络预报建模和气候分析等应用研究。然而随着神经网络方法在大气科学领域研究的不断深入，研究人员发现神经网络方法在实际业务天气预报应用中存在一个重要的问题，即在利用神经网络方法进行气象预报建模时，神经网络的初始权值、网络结构以及网络的学习参数，动量因子难以确定，往往是通过反复训练来确定网络的结构和各种参数，这样会导致在应用中出现过拟合问题，严重影响网络的泛化能力，极大限制神经网络在实际天气业务中的应用([1-8])。该问题的研究不仅关系到在大气学科中能否进一步深入开展有关人工神经网络方法的业务预报应用，并且也是目前人工神经网络应用理论研究中尚未得到很好解决的关键技术问题。

神经网络

如何有效提高神经网络的泛化能力，我简单以下分析影响神经网泛化能力的因素。首先我简单介绍以下神经人工神经网络(Artificial Neural Networks,ANN)，简称“神经网络”（NN），它是作为对人脑最简单的一种抽象和模拟，是对人的大脑系统一定特性的描述。简单地讲，它是一个数学模型，可以用电子线路来实现或用计算机来模拟人的自然智能。其中BP神经网络是目前应用最为广泛的神经网络模型之一，也是应用最具有成效的神经网络模型之一。它在大气科学预报集成、观测资料优化等方面都有应用。

BP神经网络(Back-propagation Neutral Network) 通常是指基于误差反向传播算法(BP算法)的多层前向神经网络，采用由导师的训练方式。它是 D.E.Rumelhart和J.L.McCelland及其研究小组在1986年研究并设计出来的。BP算法已成为目前应用最为广泛的神经网络学习算法，绝大部分的神经网络模型是采用BP算法或它的变化形式，它也是前向神经网络的核心部分，体现了神经网络最精华的部分。由于它可以实现输入和输出的任意非线性映射，这使得它在诸如函数逼近、模式识别、数据压缩等领域有广泛的应用。

BP网络的学习训练过程由两部分组成，即网络输入信号正向传播和误差信号反向传播，按有导师学习方式进行训练。在正向传播中，输入信息从输入层经隐含层逐层计算传向输出层，在输出层的各神经元输出对应输入模式的网络响应；如果输出层得不到期望输出，则误

在神经网络的应用过程中，由于被逼近样本的性质不能精确知道，因此即使在网络误差1E 为零的条件下，也未必能保证2E 达到要求。往往会出现1E 非常小，而2E 却无法满足要求。这就是所谓的“过拟合”现象，“过拟合”现象直接影响网络的泛化能力[77]，使得网络最终失去实用价值。网络的泛化能力由以下几个因素影响：

1．取决样本的特性，只有当训练样本足以表征所研究问题的一些主要的或基本特

性时，网络通过合理的学习机制可以使其具有泛化能力，合理的采样结构是网络具有泛化能力的必要条件（参考文献78）。

2．网络自身的因素影响，如网络结构、网络初始权值的设定和网络的学习算法等。网络的结构主要包括：网络的隐层数、各隐层节点的个数和隐节点激活函数的特性(本文主要从网络的自身因素考虑如何有效提高网络的泛化能力)，以下从这几个方面说明原因：

①．Funahashi 证明（参考文献79），当隐层节点函数为单调递增连续函数时，三层前向网络具有以任意精度逼近定义在紧致子集上的任意非线性函数的能力，Horni （参考文献80~81）和陈天平（参考文献82）进一步证明隐层节点函数有界是必要的，单调递增的条件是非必要。这说明采用三层BP 网络，隐节点函数为Sigmoid 函数，输出节点函数采用线性函数，完全可以达到网络逼近的要求。文献[77]认为，“过拟合”现象是网络隐节点过多的必然结果，它的出现影响了网络的泛化能力，同时文献[83]也进一步提到，在满足精度的要求下，逼近函数的阶数越少越好，低阶逼近可以有效防止“过拟合”现象，从而提高网络的预测能力，反映到多层前向神经网络中，就是在精度满足的要求下，网络的隐节点数越少越好。但是在实际应用中，还没有一套成熟的理论方法来确定网络的隐节点，隐节点的确定基本上依赖经验，主要式采用递增或递减的试探方法来确定的网络隐节点。

②．网络的初始权值的选择缺乏依据，具有很大的随机性，这也在很大程度上影响网络的泛化能力（参考文献84~85）。神经网络连接权值的整体分布包含着神经网络系统的全部知识，传统的权值获取方法都是随机给定一组初始的权值，然后是采用某个确定的变化规则，在训练中逐步调整，最终得到一个较好权值分布。由于BP 算法是基于梯度下降方法，不同的初始权值可能会导致完全不同的结果。一旦取值不当，就会引起网络振荡或不收敛，即使收敛也会导致训练时间增长，再加之实际问题往往是极其复杂的多维曲面，存在多个局部极值点，使得BP 算法极易陷入局部极值点。这些导致BP 神经网络训练时间过长而最终得不到适当的权值分布，从而影响网络的泛化能力，极大的限制了神经网络在实际预报中的应用。

③．BP 神经网络算法收敛慢，即使一个相当简单的问题求解，其训练次数也要几百或几千次迭代。而且网络对各种参数（包括初始权值、学习速率、动量参数）极为敏感，稍小的变动就会引起拟合和泛化能力的振荡，在反复实验中确定各种参数，这样的过度训练会提高网络的拟合能力，同时也拟合了训练数据中的噪声和训练样本中没有代表行的特征，最终导致过拟合现象（参考文献86），从而影响网络的泛化能力，限制了神经网络在实际预报中的应用。

从以上的分析可以看出，提高神经网络的泛化能力需要寻找合适的网络结构和网络连接权，改变误差反向传播算法。

遗传算法

遗传算法（参考文献43）是模拟达尔文的遗传选择和自然淘汰的生物进化过程的计算模型，它是一种基于自然选择和遗传变异等生物机制的全局性概率搜索算法。它的主要特点是群体搜索策略和群体中个体之间的信息交换，搜索不依赖梯度信息，也不需要求解函数可