多层ELM神经网络

多层ELM神经网络

一、单层Elm

给定训练样本及其类别标签{X i,y i}，i=1,2,…m，为N维向量，y i不同的值代表样本X i属于不同的类别。

初始化ELM

输入节点数为N，隐节点数设为M，随机初始化输入权值和隐节点偏置值。

计算隐节点输出矩阵H

根据样本标签计算类别数目，构造出目标矩阵T，确定输出节点数为样本类别总数m。

则对每个样本标签可表示为]。若此样本属于第k类则其第k个值为1，其余全为零。这样就构造出了T

根据，求得输出节点的权值就完成了ELM网络的训练，构造出了ELM网络。

测试时，同样根据隐节点权值和偏置值计算出隐节点数据矩阵H_test，通过输出节点的输出确定其所属的类别。

二、多层ELM

多层的ELM则是将每次隐节点的输出矩阵当做输入（其中列数变为隐节点数目M），再次计算此输出矩阵H，再计算出输出节点的权值。完成训练，构造多层ELM神经网络。

测试的时候将测试样本经过与训练时同样次数的隐节点映射得到多层的隐节点输出矩阵，最后在经过输出节点确定样本的类别。

多层ELM的结构图：

三、实验

我使用了ionophere、diabetes、和sonor三种数据集做了实验：

实验1.探索原始ELM神经网络节点数与样本数目的关系：

对六次随机选取20、30、50、80、100、150个样本分别进行5到600个节点ELM神经网络的训练和测试所得结果取六次结果平均值。得到6个关于节点数识别率的图像。

实验2．对每个数据集进行六次随机选取30、50、100、150个样本来分别进行节点数分别为20、50、80、100、150的训练和测试。每次的训练和测试得到的数据都是包含5层到150层的多层ELM对训练样本和测试样本进行测试的分类结果。

四、实验结果

数据显示：

1．实验1中根据训练样本识别率可观察到：随着节点数的增加，样本越来越分的开，当达到样本数目相同的节点的时候可以完全分开。（Extreme learning machine:Theory and applications中证明过）

2．实验1中在训练样本识别率提高的过程中测试样本的识别率却是再降低的，当节点数达到样本数的时候识别率达到最低。

3．实验2由于在实验1中证明了节点数不能超过样本数，所以对实验2中的规律也是在节点数低于样本数的情况下做的。节点数较少的情况下最优识别率一般都出现在前几层；

节点多的一般情况下会具有较高的最优识别率，但是在第一层基本上识别率会很低，不过依旧会在前10层得到了较好的结果。最优结果一般在30到60层时候达到。

五、总结：

1．由于多层ELM不需要像前馈网络一样去传递误差修改权值，它的每层的结果是不变的，不需要复杂的参数修改，具有较快的训练速度，较高的识别率。

2．由于bp神经网络需要很多很多次的迭代计算，而且每次迭代过程中每一层的参数都需要修改，SVM则本来就需要很长的计算时间，而且还需要进行多个参数进行交叉验证，每个参数的修改都需要重新进行一次寻优。而ELM神经网络虽然效果在一般情况下也很好，而多层ELM则包含了它，更具有了普遍性，降低了训练的随机性。相对于ELM的不稳定性多层ELM更具优势

3．发现了即使对训练样本实现0误差分类，可是识别率可能也不是很好的。