人工神经网络基础_ANN课程笔记 3、Hopfield神经网络

第三章Hopfield神经网络

HNN模型是目前得到了最充分研究和广泛应用的反馈式神经元网络模型。Hopfield将“能量函数”的概念引入分析一类人工神经元网络的稳定过程，使网络运行的稳定性判断有了可靠和简便的依据。开辟了人工神经网络应用于联想记忆和优化计算等领域的范围。

Hopfield神经网络利用渐近稳定点来解决问题：

?如果把系统的稳定点视为一个记忆的话，那么从初态朝这个稳定点的演变过程就是寻找记忆的过程，初态可以认为是给定的有关记忆的部分信息；（联想记忆）

?如果把系统的稳定点视为一个能量函数的极小点，把能量函数视为一个优化问题的弥补函数，那么从初态朝这个稳定点的演变过程就是一个求该优化问题的过程。（优化计算）

这样的优点在于它的解并不需要真的去计算，而只要构成这种反馈网络，适当的设计其连接权值和输入就可达到目的。

一、离散型Hopfield网络

1、网络结构

Hopfield网络为一层结构的反馈网络，能处理双极型离散数据,即输入

x∈。Hopfield网络的各个神经元都是相互连接的，{1,1}

x∈-+及二进制数据{0,1}

即每一个神经元都将自己的输出通过连接权传送给所有其它神经元，同时每个神经元又都接收所有其它神经元传递过来的信息。特别值得注意的是，由于Hopfield网络的这种结构特征，对于每一个神经元来说，自己输出的信号经过其它神经元又反馈回自己，所以也可以认为Hopfield网络是一种反馈型神经网络。

?对网络给定初始输入x时，网络就处于特定的初始状态，由此初始状态开始运行，可以得到网络输出即网络的下一状态；

?然后，这个输出状态通过反馈回送到网络的输入端，作为网络下一阶段运行的输入信号，而这个输入信号可能与初始输入信号不同，由这个新的输入又可得到下步的输出，这个输出也可能与上一步的输出不同；

?如此下去，网络的整个运行过程就是上述反馈过程的重复。

?如果网络是稳定的，那么，随着许多次反馈运行，网络状态的变化减少，直到后来不再变化，达到稳态。这时，在网络的输出端可以得到稳定的输出。

2、网络运行规则

(1) 从网络中随机选取一个神经元ui；

(2) 求所选中的神经元ui的所有输入的加权总和；

(3) 计算ui的第t+1时刻的输出值，即

(4) ui以外的所有神经元输出保持不变

(5) 返回到第一步，直至网络进入稳定状态。

3、网络计算能量函数与网络收敛

?设t时刻网络的状态用n个神经元的输出向量U(t)表示：

设每个神经元只有“1”或“0”两种状态，所以n个神经元共有2n个组合状态，即网络具有2n种状态。

?网络的能量函数可定义为网络状态的二次函数：

按照Hopfield工作运行规则，随着网络状态的更新，网络能量函数将单调递减。?当网络的状态随时间发生变化时，网络能量沿其减小的方向变化，最后落入能量的极小点。一旦能量落入某个极小点之后，按Hopfield工作运行规则，网络能量函数将会“冻结”在那里。也就是说网络不见得一定收敛到全局的最小点，这是Hopfield网络的一个很大缺陷。同样的，Hopfield网络的收敛情况依赖于网络的初始状态。

?对于同样结构的网络，当网络参数有所变化时，如连接权初始值随机数的取值形式或随机数的振幅有所不同时，网络的能量函数也将发生变化，其曲线或曲面(超曲面)对应的极小点的个数和大小也将变化。

4、应用举例

用Hopfield网络解决具体优化问题的过程：

(1) 对于特定的问题，选择一种合适的表示方法，使得神经元网络的输出与问题的解对应起来；

(2) 构造神经元网络的能量函数，使其最小值对应于问题的最佳解；

(3) 由能量函数倒过来推出神经元网络的结构，即神经元之间的连接权和阈值；

(4) 由网络结构建立起网络，令其运行，那么稳定状态就是在一定条件下问题的

解。在条件有限的情况下，由网络结构可推导出网络的运行方式，在计算机上模拟，也能得到满意的解。

5、反馈式神经网络的特点

(1) 结构的特点：

?前馈型神经网络：取连续或离散变量，一般不考虑输入与输出在时间上的滞后效应，只表达输出和输入的映射关系；

?反馈型神经网络：可以用连续或离散变量，考虑输入与输出之间在时间上的延迟，需要用同台方程（差分方程或微分方程）来描述神经元和系统的数学模型。，

(2) 学习方式的特点：

网络的权值不是经过反复学习获得，而是按一定规律进行设计，网络权值一经确定就不再改变。

(3) 运行方式的特点：

网络中各神经元的状态在运行过程中不断更新演变，网络运行达到稳态时各神经元的状态就是问题之解。