人工神经网络的模型

人工神经网络的模型:人工神经元的模型、常用的激活转移函数、MP模型神经元

人工神经元的主要结构单元是信号的输入、综合处理和输出

人工神经元之间通过互相联接形成网络，称为人工神经网络

神经元之间相互联接的方式称为联接模式。相互之间的联接强度由联接权值体现。

在人工神经网络中，改变信息处理及能力的过程，就是修改网络权值的过程。

人工神经网络的构造大体上都采用如下的一些原则：

由一定数量的基本神经元分层联接；

每个神经元的输入、输出信号以及综合处理内容都比较简单；

网络的学习和知识存储体现在各神经元之间的联接强度上。

神经网络解决问题的能力与功效除了与网络结构有关外，在很大程度上取决于网络激活函数。人工神经网络是对人类神经系统的一种模拟。尽管人类神经系统规模宏大、结构复杂、功能神奇，但其最基本的处理单元却只有神经元。人工神经系统的功能实际上是通过大量神经元的广泛互连，以规模宏伟的并行运算来实现的。

人工神经网络模型至少有几十种，其分类方法也有多种。例如，若按网络拓扑结构，可分为无反馈网络与有反馈网络；若按网络的学习方法，可分为有教师的学习网络和无教师的学习网络；若按网络的性能，可分为连续型网络与离散型网络，或分为确定性网络与随机型网络；若按突触连接的性质，可分为一阶线性关联网络与高阶非线性关联网络。

人工神经网络的局限性：

(1) 受到脑科学研究的限制：由于生理实验的困难性，因此目前人类对思维和记忆机制的认识还很肤浅，还有很多问题需要解决；

(2) 还没有完整成熟的理论体系；

(3) 还带有浓厚的策略和经验色彩；

(4) 与传统技术的接口不成熟。

如果将大量功能简单的形式神经元通过一定的拓扑结构组织起来，构成群体并行分布式处理的计算结构，那么这种结构就是人工神经网络，在不引起混淆的情况下，统称为神经网络。根据神经元之间连接的拓扑结构上的不同，可将神经网络结构分为两大类：分层网络相互连接型网络

分层网络可以细分为三种互连形式：

简单的前向网络；

具有反馈的前向网络；

层内有相互连接的前向网络。

神经网络的学习分为三种类型：有导师学习、强化学习无导师学习

有导师学习：必须预先知道学习的期望结果——教师信息，并依此按照某一学习规则来修正权值。

强化学习：利用某一表示“奖／惩”的全局信号，衡量与强化输入相关的局部决策如何。

无导师学习：不需要教师信息或强化信号，只要给定输入信息，网络通过自组织调整，自学习并给出一定意义下的输出响应。

神经网络结构变化的角度，学习技术还可分为三种: 权值修正、拓扑变化、权值与拓扑修正学习技术又还可分为：确定性学习、随机性学习

人工神经网络

人工神经网络是生物神经网络的某种模型(数学模型)；是对生物神经网络的模仿

基本处理单元为人工神经元

生物神经元(neuron)是基本的信息处理单元

是对的模拟。

大量简单的以某种形式连接，形成一个.

其中某些因素，如:连接连接，其大小决定信号传递强弱); ,神经元的输入输出特性);甚至等， 可依某种规则随外部数据进人工神经网络计算单元（结点，神经元）网络强度行适当调整，最终实现某种功能。

(权值结点 神经网络计算特性(激活特性网络结的计算通过网络结构实现； 生 物神经 构系统 不同网络结构可以体现各种不同的功能； 网络结构的是通过逐渐参数学习修正的。

00?>???

?

??

???权值，激活 连接权值，突触连接强度权值，抑制 输入信号关于神经元突触的线性加权 将神经元的输出信号限制在有限范围内

一组连接 一个加法器一个激励函数人工神经元模型的三要素:

()

??

???网络结构或拓扑(连接形式)神经元的计算特性传递函数学习规则上述要素不同组合，形成各种神经网络模型3. 人工神经网络三个要素

()()()()()

()23Hopfield SOM ??

???

????????

????.1 网络 神经网络

feedfroward network feedback network competitive learning network

4 神经网络三种基本前馈型模神经网络-反馈网络竞争学习重点介绍

网络型

多层感知器 BP 网络 RBF 网络

??

? 自学习 自适应 并行处理 分布表达与计算回归 状态预测 可应用到众多领域,如：

优化计算；信号处理；智能控制； 模式识别；机器视觉；等等。

神经网络特点神经网络应用

神经网络本质上，可以理解为函数逼近

前馈(forward)神经网络

各神经元接受来自前级的输入，并产生输出到下一级，无反馈，可用一有向无环图表示。 网络中的节点分两类：输入节点；计算节点(神经元节点) 节点按层(layer)组织 ：

第i 层的输入只与第i-1层的输出相连。

输入信号由输入层输入,由第一层节点输出，传向下层，…… 前馈：信息由低层向高层单向流动。 可见层

输入层 (input layer) 输入节点所在层，无计算能力

输出层 (output layer) 节点为神经元隐含层( hidden layer) 中间层，节点为神经元

BP 神经网络训练的两个阶段 (1)信号正向传递过程

输入信息从输入层经隐层逐层、正向传递，直至得到各计算单元的输出 (2)误差反向传播过程

输出层误差从输出层开始，逐层、反向传播，可间接计算隐层各单元的误差，并用此误差修正前层的权值.

()[]()()()()1011,,20121301,...,1

4ω-===-=-=-=--B ,...,P -1= 维输入向量

层神经网络

层号 输入层层号 隐含层层号 输出层

各层节点输入节点，计算节点数目， 输入层输出层相邻层连接权值

来自与第层的当前的连接节点第层节点权值

T

n l

L l

ij n x x x L l l L l L n l L n n

n l i l j m

算法训练过程描述约定：

标准化

()111

5111,...,,1,...,,1,...,i,j,k j O i j j k ωω-++-+===BP ：第层为当前处理层；

其前一层、当前层、后一层的计算单元序号为； 位于当前层第个计算单元的输出为， 前层第个单元到本层第个单元的连接权值为 本层第个单元到后层第个单元的连接权值为注：采用修正权值，输出函数应连续可微，选l j l

l ij l l jk l l l l l j n i n k n sigm 算法训练过程描述

假定梯度法函数。

oid

()()()(),00~0~11ηα??

?±?

??

?.3.10.3.9 输入向量,期望输出，如 "小随机数"如：之间 通常固定之间；也可动态调整 通常之间包括 输入层节点数；隐含层数目；各隐含层节点数目； 输出层节点数；各神经元节点的激活函数最大可允许迭代p p x D STEP 训练样本权值初始化首先明确学习步长惯性样本集的标准化冲量项系数确定神经网络结构，设定终止条件：处理；()()0

??

??????

???

??=??次数硬条件； 训练精度软条件记训练时间时间t 以小随机数初始化网络权值；

()

()()

[][]()[]

111121121,,,,,2,,1m j=1y f y ωωω=-====∈=∈=??? ???= ????∑∑D BP ：按随机或任意顺序从训练集中抽取1个训练样本 计算输入时，当前网络的续T

n

n T

m

m T

n l L l r sr jk n l i i s j i STEP x D x x x R d d R x y y f f x 重复如下过程直至满足算法终止条件

样本输入 期望输出 实际输 出算法步骤()()()()()21

1,...,11'11αα

ααααα-=---??= ?

????

=?+??-=-

=-??+?

∑ 激活函数其中L n r m

f e e f f f e

()()()()()()()()11

311,...,1,...,111,...,ωωωωηδδ--+=+?==?==-=--=≤

权值修正项 输出层

，具体为 间层：

中l l l ij ij ij l l

l l ij i l j j j j l j j l t t t i n j n t x l L y y d y j m l 算法步权骤

调整值从 输出层开始()()()111

1111,...,δδω+++=??

???

-=-??

?=?∑

l n l l l l l j j j k jk k l L x x t j n

()()()()()41←?????1<121<3 更新全部权值，对所有训练样本重新计算输出；

计算更新后网络输出与期望输出的误差； 检查算法若不满足终止条件，则 ,转向若条件满足，则终止，转向：算法结束.输出各层连接权值。可以是如下之一：

网络实际输出与期望输出 最近轮训练中所有权值变化 算法达到最大允t t +1STEP3STEP3终止条件

终止条件总误差最大值阈值阈值2??

??

?= 许的 阈值3

总训练次数

BP 网络的优点

①特别适合于求解内部机制复杂的问题

BP 网络实质上实现了一个从输入到输出的映射功能，而数学理论已证明它具有实现任何复杂非线性映射的功能 ②具有自学习能力

网络能通过学习带正确答案的实例集自动提取“合理的”求解规则 ③网络具有一定的推广、概括能力。 BP 网络的问题，如： ①BP 算法的学习速度较慢 ②网络训练失败的可能性较大

③网络结构的选择尚无一种统一而完整的理论指导，一般只能由经验选定。

④网络的预测能力（泛化能力、推广能力）与训练能力（逼近能力、学习能力）的矛盾 回归估计

例：基于BP 神经网络的公路运量(客运量、货运量)预测 公路运量与该地区人数、机动车数量、公路面积有关。 已知某地区20年的公路运量有关数据，对于未来某两年，若明确该地区人数、机动车数量、公路面积，要求：预测该地区的公路运量。 分析：

(1)明确模型输入输出关系 (2)建模：

原始数据读取；数据标准化处理；网络训练； (3)模型评价：

对原始数据仿真，明确预测误差 (4)输出预测结果：对新数据预测结果 牛顿法及其收敛性

牛顿法是一种线性化方法，其基本思想是将非线性方程 逐步归结为某种线性方程来求解. 设已知方程 0)(=x f

有近似根

k

x （假定

0)(≠'k x f

)，

将函数

)(x f

在点

k

x 展开，有

),)(()()(k k k x x x f x f x f -'+≈

于是方程

0)(=x f

可近似地表示为.0))(()(=-'

+k k k x x x f x f

这是个线性方程，记其根为

1

+k x ，则

1

+k x 的计算公式为

),

,1,0()

()

(1

='-

=+k x f x f x x k k k k

交叉演化算法代码实现

%F0是变异率%Gm 最大迭代次数

Gm = 10000;

F0 = 0.5;

Np = 100;

CR = 0.9; %交叉概率

G= 1; %初始化代数

D = 10; %所求问题的维数

Gmin = zeros(1,Gm); %各代的最优值

best_x = zeros(Gm,D); %各代的最优解

value = zeros(1,Np);

%产生初始种群

xmin = -5.12;

xmax = 5.12;

function y = f(v)

%Rastrigr 函数

y = sum(v.^2 - 10.*cos(2.*pi.*v) + 10);

X0 = (xmax-xmin)*rand(Np,D) + xmin; %产生Np个D维向量XG = X0;

XG_next_1= zeros(Np,D); %初始化

XG_next_2 = zeros(Np,D);

XG_next = zeros(Np,D);

while G <= Gm

%变异操作

for i = 1:Np

%产生j,k,p三个不同的数

a = 1;

b = Np;

dx = randperm(b-a+1) + a- 1;

j = dx(1);

k = dx(2);

p = dx(3);

%要保证与i不同

if j == i

j = dx(4);

else if k == i

k = dx(4);

else if p == i

p = dx(4);

end

end

end

%变异算子

suanzi = exp(1-Gm/(Gm + 1-G));

F = F0*2.^suanzi;

%变异的个体来自三个随机父代

son = XG(p,:) + F*(XG(j,:) - XG(k,:));

for j = 1: D

if son(1,j) >xmin & son(1,j) < xmax %防止变异超出边界XG_next_1(i,j) = son(1,j);

else

XG_next_1(i,j) = (xmax - xmin)*rand(1) + xmin;

end

end

end

%-交叉操作

for i = 1: Np

randx = randperm(D);% [1,2,3,...D]的随机序列

for j = 1: D

if rand > CR & randx(1) ~= j % CR = 0.9

XG_next_2(i,j) = XG(i,j);

else

XG_next_2(i,j) = XG_next_1(i,j);

end

end

end

%-选择操作

for i = 1:Np

if f(XG_next_2(i,:)) < f(XG(i,:))

XG_next(i,:) = XG_next_2(i,:);

else

XG_next(i,:) = XG(i,:);

end

end

%找出最小值

for i = 1:Np

value(i) = f(XG_next(i,:));

end

[value_min,pos_min] = min(value);

%第G代中的目标函数的最小值

Gmin(G) = value_min;

%保存最优的个体

best_x(G,:) = XG_next(pos_min,:);

XG = XG_next;

trace(G,1) = G;

trace(G,2) = value_min;

G = G + 1;

end