联结主义

联结主义

心理学家桑代克的工作产生了行为心理学最初的刺激一反应理论的雏形：学习是刺激和反应二者之间形成联系的结果。这种关联或者“习惯”通过刺激一反应之间的连接的本质和频率而得到加强或者弱化。刺激一反应理论的最初模式是试误学习，在这个过程中某种反应由于得到奖励而处于支配地位。联结主义的证据是不需要对任何不易观察的内心状态的说明，它就足以解释学习的发生。

桑代克的理论包括三条法则：(1)效果律——对能够带来奖励的条件作出的

反应能够得到强化，然后形成对那个条件产生习惯性反应。(2)准备律一一好几

种反应连接在一起以达到某个目标，如果被中断可能导致烦恼。(3)练习律——

联结通过练习得以加强，也会因为练习中断而消退。效果律的一个推论就是，减

少获得奖励的可能性的反应(即惩罚、失败)，反应的强度将减弱。

联结主义理论表明学习的迁移取决于在最初的和新的学习情境中某些因素的

出现情况。也就是说，迁移从来都是具体的而不是普遍一般性的。在后来的联结

理论中引入了“相属性”的概念。“相属性”的概念认为如果人感知到刺激或者

反应同时出现，那么联结就更容易建立。

（美）肯尼斯·莫尔著.课堂教学技巧.人民教育出版社,2010.1.

1、概述与历史

认知心理学发展至今，一直存有两种研究取向，一种是信息加工取向，一种是联结主义取向。前者是一种计算机隐喻，将人脑与计算机类比，认为人脑实际是一种信息加工装置和符号处理系统，具备类似计算机信息处理的一般特性：符号性、离散性、序列加工、非自组织性和局部表征。而后者是一种人脑神经网络类比，用各种形式神经元的网络模型来模拟真实大脑的结构与功能，是一种人工神经网络，与信息加工认知心理学相比，联结主义的神经网络模型具备一些不同的特点：亚符号性、连续性、平行加工、自组织性和分布式表征。

联结主义认知心理学兴起于20世纪40年代，一般把1943年心理学家麦克洛齐和数学家匹茨发表的《神经系统中所蕴涵思想的逻辑演算》一文作为联结主义研究的开始。他们提出了形式神经元的概念和最初的神经网络模型M-P模型，以及此后加拿大心理学家赫布提出赫布学习定律、心理学家鲁梅尔哈特提出模拟视知觉的感知机模型，开始引发了联结主义认知心理学网络模型研究的第一个高潮。但是限于当时的条件，他们提出的模型难以解决更复杂的问题，模型的学习算法和规则不够成熟，处理能力极其有限，而在理论上又难以有所突破，加上美国人工智能权威人士明斯基和佩帕特对于感知机能力和应用前景的批评，信息加工取

向的研究此时出现了巨大突破，所以对于联结主义神经网络模型研究的热情很快冷却下来，研究进入了一个长期的萧条阶段。

直到80年代初期，当信息加工认知心理学在大发展之后，发现以符号处理为基础的系统不能很好处理那些非明确定义的问题，很难处理模糊的、非完全符号表征和复杂的信息，同时这种系统不具备学习能力，不能通过经验来总结出知识。人们意识到，要全面认识人类认知问题，仅仅信息加工研究范式是不够的。而联结主义研究在相关学科的发展下，有了全面的进步，罗森布拉特、欣顿、安德森等提出的各自新的网络模型引起了人们的重视，再度激起人们对网络研究的热情。1982年，美国学者霍普菲尔德提出了一种回归网络，这种网络存在一种正比于每个神经元活性和联结权重的能量函数，系统规定活性的变化朝着能量函数递减的方向，直至收敛到0。这种模型成功的解决众多复杂性很高的计算性问题，由此开始把联结主义研究推向高潮。1986年是联结主义研究历史上的最为鼎盛的一年，鲁梅尔哈特和麦克莱兰德编辑出版了联结主义认知心理学的圣经——《平行分布加工：认知结构的微观探索》，提出了一个基于反向传播学习算法的多层网络模型，而这种模型是今后众多神经网络模型的基础与原型。可以说，该书奠定了联结主义网络模型研究的基础。而之后至今的联结主义研究大致是对该模型不断完善，或基于共同的假设提出新的、更加复杂的、解决高级认知问题的模型。

2、主要模型

2.1 形式神经元

众观联结主义认知心理学的研究，其很大一部分是各种人工神经网络模型的研究，这些模型不仅模拟了人脑操作特性和功能，也体现了研究者所持有的联结主义认知心理学的基本观点。在各种神经网络模型中，无论其构造如何还是具备不同的逻辑功能，它们的基本构造单元基本是一致的，基本的理论思路是一致的。

由于是对人脑神经网络的模拟，人工神经网络不可能原封不动的照搬数以几十亿计和生物形式的神经元，麦克洛奇和匹茨总结了生物神经元的基本特征，提出了形式神经元的概念，这种形式神经元具备了生物神经元一般的操作特性，但并非完全一致。形式神经元的概念一经提出之后，就成为了所有人工神经网络的基本单位。

对于一个形式神经元来说，它具有类似生物神经元的阈限活性状态，当输入的信息强度高于某一预先确定的阈限的时候，它就会“兴奋”，其数学赋值1，否则“不兴奋”，赋值0。同样，形式神经元与生物神经元具有多输入单输出的结构，也就是说，单个神经元的活性状态取决于多个输入信息的总的加权强度是否高于阈限。输入信息可以是兴奋的，也可以是抑制的，同时各个输入信息具有不同的权重，权重的正负性可以代表兴奋或抑制。权重实际的含义是一对神经元联结的强度，这种联结强度在生物神经元当中就是突触的联系强度，可以用前突触细胞所释放的媒介物质的量来表示。这种权重设计意味着，对于被输入的神经元来说，不同输入单元对其活性的决定程度是不同的，这也意味着调节输入信息的权重可以改变网络的联结模式，这种权重联结模式实际表征着信息某些维度。

形式神经元具体一般表现六种基本功能特性：（1）输入装置，接受信息；（2）整合装置，对输入信息进行整合；（3）传导装置，传导整合信息；（4）、输出装置，发送信息于其他神经元；（5）计算装置，转换信息类型；（6）表征装置，对内部信息进行表征。单个神经元与其他神经元结合一起构成某一层次的神经网络，而更大的神经网络模型是由多个层次的网络构建而成，每个层次的神经元不仅与自身层次的神经元有联结，也以加权的方式与其他层的神经元联结，这样构成的神经网络具备了极其复杂和强大的功能，当然在具体的不同模型中，这些层内联结和层间联结规则安排也不一致。

2.2 M-P模型

麦克洛奇和匹茨的M-P模型是联结主义研究中的第一个人工神经网络模型，它首次提出了形式神经元的概念，并认为形式神经元是一种二元阈限逻辑单元，即全或无，高于阈限则兴奋，否则不兴奋。他们的研究关心模型能否模拟逻辑系统，试图通过相互联结的神经元的激活操作来获得命题逻辑。他们的研究构建了两个输入单元和一个可调节阈限的输出单元所构成的简单神经网络。目的是检验这两个二元阈限逻辑单元能否计算两个命题的16个逻辑函数。结果发现，这种简单网络只能够处理16种逻辑函数的中的14种，XOR函数即“A否则B”和其否定形式是无法用单个操作单元和两个输入单元的网络所处理。麦克洛奇和匹茨认为，如果两个输入单元能够联结使得一个单元的状态可以控制另一个单元的状态就可以解决XOR问题。

单个二元阈限逻辑单元对XOR函数的无法解决说明这种简单网络的处理能力的有限性，或者说XOR问题需要更加复杂的网络才能够解决，这在后来加入隐单元层的多层网络结构模型当中就已体现。而这种模型在运行当中，处理单元的活性取决于三个参数和输入单元的活性，三个参数分别是两个输入单元的权重和操作单元的阈限，三个参数的不同形成不同的网络权重模式方程。而这种方程只有7

个，每个方程可以解决1种逻辑函数与其否定形式，因此也只能处理14种两个命题的逻辑函数。

2.3 感知机模型

罗森布拉特的感知机模型是引起联结主义初期高潮的重要模型，它是基于视知觉的一种神经网络模型，试图模拟人类视知觉的真实过程，能够完成学习再认的装置。该模型的指导思想与信息加工的模式识别的理论大相径庭，他认为真实视知觉当中的模式识别是没有如模板匹配理论所述的那样存在着输入模式与已储存模式的搜索和匹配过程。真实的模式识别是由输入信息激活已有模式而获得的，更接近真实的情况是输入的信息可能激活多个模式，其中激活量最大的会进入更高的加工。其差异或许是前者有着有意识的搜索和匹配过程，而后者更多的一种无意识的联结。

感知机是由感知层S单元、联想层A单元和反应层R单元三层结构的视觉脑模型，其中S单元直接从环境接受输入相当于视网膜，S单元层与A单元层的联结权重固定，一个S单元可以输入信息到单个A单元，也可以输入到多个A单元。A单元层与R单元层联结，而S单元层与R单元层不联结，A与R单元的联结权重可以根据学习而得到改变。每一个R单元的活性由与之联结的所有A单元的加权活性强度决定，如果加权强度高于R单元预先设定的阈限，R单元就兴奋，否则则不。

由于感知机当中A单元与R单元的联结权重可以随着学习而不断调整，所以理论上，感知机可以学会将感知模式分为几类。在最简单的双类区分任务当中，当期望输出与实际输出不符合（归类失败），网络就试图调整相应的联结权重，以获得期望输出。它的这种在失败后调整权重的方式或者书学习算法是这样的：如果期望输出是1而实际输出是0，那么所有激活的A单元与该R单元的联结权重将增大，而如果期望输出是0而实际输出是1，那么所有激活的A单元与该R单元的联结权重会消失。直至期望输出与实际输出是一致的时候，学习停止。

尽管罗森布拉特证明了感知机收敛理论，即只要有足够的练习，感知机能够将权重模式调整到解决一个特殊线形分类问题，但这一收敛仅当两层感知机时成立，并认为权重调整与实际输出与期望输出的误差成正比。对于三层感知机来说，学习的有限性是难以预料的，因为如果出现一个输入结果引起的调整模式恰恰是原有模式相反方面的表现的话，那么可能会出现反复的调整模式的震荡，使得学习

无法结束。另外，如同与M-P模型一样，感知机也未能解决XOR问题。这说明还需要更加完善和复杂的模型来模拟人脑基本运行特性

2.4 三层前馈式网络模型

三层前馈式网络模型是具有隐单元层的多层网络模型的一种，比较典型，其训练方法和学习规则都是由鲁梅尔哈特和麦克莱兰德在《平行分布加工：认知结构的微观探索》当中所提出。其他多层网络模型虽然在结构上大有不同，但是在基本原理上与三层前馈式网络模型是一致的，这里就以三层前馈式网络模型来总结下具有隐含单元层的多层网络模型的基本特性。

三层前馈式网络模型是由输入层、隐单元层和输出层组成，其中输入层与输出层只与隐单元层联结，彼此不联结，与感知机不同的是，输入层与隐单元层的联结权重是可以改变的，这样具有双层可调节联结权重的网络，其处理能力将大为增加。层与层之间的联结可以是兴奋性的，也可以是抑制性的，而层间的联结被规定为或者是抑制性，或者没有。与上面模型类似，隐单元层和输出层单元的活性都是取决于与之联结的上层多个单元加权联结强度。

与一般神经网络类似，三层前馈式网络模型也是需要通过训练和学习来获得能解决特殊问题的联结权重模式。在这种模型中，训练的方法采用了鲁梅尔哈特和麦克莱兰德所提出的反向传播算法。反向传播算法的基本思路是通过样本而获得实际输出与期望输出的误差梯度，来调整权重使得误差均方差最小，其权重变化的方向就是使的误差均方差最小的方向。初始的误差反向传播，使得隐单元层与输出单元的联结权重、输入单元层与隐单元的联结权重以使得误差均方茶减少最大的方向调整。然后新联结权重获得新的输出，以及再次的实际输出与期望输出的误差梯度。反复重复这一过程使得误差收敛到最小，甚至是0。

反向传播算法虽然具有清晰、简明、易理解的优点，但也存在着很多问题，比如概括能力差，训练时间长等，之后的研究对反向传播算法做出了很多的修改，使得网络学习速度加快，网络的震荡情况减少等。另外，反向传播算法的一个重要功能就是可以解决上述在感知机和M-P网络当中无法解决的XOR问题，但是未改进的反向传播算法的迭代次数和训练时间还是过多。

网络逐渐形成所需要的权重联结模式关键在于这种权重模式调整的方式，或者说网络的学习规则。这里，三层前馈式网络模型采取的类似赫布规则的Δ规则。

赫布学习规则是由加拿大心理学家赫布在其著作《行为的组织：一种神经心理学理论》中提出，他认为A神经元如果引起B神经元的兴奋，那么反复使A激活B，会产生偶然的生理变化，使得A激活B的效率增加。这实际上隐含着这样的重要思想，那就是当两个神经元彼此兴奋且联结，那么他们的联结权重就会增加，更推进一步就是联结权重的变化与两个神经元的活性成正比。但赫布规则不适用于复杂的网络，因为它仅能说明两个互相兴奋切激活的联结。因此在三层前馈式网络模型中鲁梅尔哈特和麦克莱兰德认为目标输出与实际输出的误差是权重变化的更好参数项，因此变化了的赫布规则也就是Δ规则规定权重变化等于学习率、输入活性值和目标输出与实际输出的误差三者之间的积。

事实证明，在这样的学习规则和训练算法的情况下，具有隐含单元层的三层前馈式网络模型可以解决包括XOR问题在内很多问题，比如奇偶性、对称性和T-C

问题等。在改进的反向传播算法支持下，网络可以以更快的方式达到期望输出。但这种已经具备强大处理能力的网络还是不能解决更高层次信息处理的任务，近年来，新的具有多层次多模块的网络模型被研究出来，这种模型模块与层次之间互相联结，具备了更强的处理能力，同时也是对人脑的更接近性的模拟。

3、理论观点

联结主义认知心理学有一些基本的理论观点。首先就是它对于联结主义这一最基本概念的定义上，它认为联结主义是一种利用形式神经元所组成的神经网络来模拟人脑结构与功能并具有简化大脑结构特征的一种信息处理系统。在上述众多联结主义人工神经网络模型当中可以看到，无论是复杂的还是简单的网络，无论是网络的结构和规则是如何，形式神经元总是网络构成的基本单元。

其次联结主义这种信息处理系统具有与传统符号操作系统所不同重要特性。联结主义不具备符号加工系统所具有符号及符号加工装置，它对信息的处理体现在多层网络复杂的联结权重模式上，多个甚至无数个单元的状态与联结模式共同表征了信息和信息处理过程。这与符号操作范式中，信息的符号表征或局部表征是完全不一样的，这种分布式表征使得网络的很多单元都参与其中，不同的信息又不同的单元状态与联结模式来表征。而且这种联结权重模式是可以通过学习而调整，具有某种程度上的自组织性，而这是在符号加工范式当中无法看到的。分布式表征的一大重要特点就是平行的处理机制，这与序列加工的符号操作相对应，对于后者来说，平行加工的优势在于效率的提高。另外，联结主义处理系统是一种连续性的系统，不同于符号操作系统的离散性，系统加工总是有无数的等待期，来等待适时符号组成命令的产生，以及符号命令与下层生物信号的转译等，联结主义没有间断的等待期，学习与训练是一种完全占据时间轴的连续性处理，其速度是远快与符号操作系统。

但是从本质上讲，联结主义与符号操作系统的最大差异在于，后者是一种符号操作，而前者是一种“亚符号”操作。这种亚符号的思想来自于霍夫斯塔特，他认为联结主义的计算层次是高于实际的生物神经元网络，但是又是低于符号操作的层次。符号操作属于高层次的操作，它一定有比其低层次操作的对应映射，当然最低层的是生物神经元网络的极其复杂的相互激活抑制，由于联结主义低于符号操作，又高于生物神经元网络，可以推测，可能在联结主义的节点联结模式上，有着高层次符号操作的相应映射。但这种映射必须解决接口、译码、时间对接等问题，需要后续的研究加以完善。而斯摩伦斯基提出的整合联结主义和符号加工模型的ICS理论就是一种积极的尝试。

亚符号性意味着联结主义模型处理的是那些非符号的信息，正如上面提到的那样，联结主义当中，根本没有符号形式或符号加工装置的存在，联结是是唯一的操作。甚至信息都可以是假想生化递质，这种结构与真实生物神经网络是极其类似的。但两者又不完全相同，前者是后者的简化、形式化，反映了后者的一些基本的操作特性，但非全部，这就注定了联结主义无法等同于生物神经网络，而是比它更高一些，生物神经网络则更为基础。

除去上述的特性之外，联结注意还具备一些重要的特点。联结主义具备极强的容错性，这可以从分布式表征这一特点获得。由于信息在联结主义是由众多节点的状态与相互权重激活模式所表征的，那么单个或少数节点的损失或联结的错误不会影响信息处理。输出节点往往与多个输入节点或隐单元节点联结，单个联结如果联结权重不大，在其影响很小，而且如果加权强度之和过于大远超过阈限，单个联结的损失完全可以忽略。另外，联结主义可以抵制噪音，这与人类能够在嘈杂的环境高效率工作的事实是一致的，相对于符号操作系统，联结主义没有采用符号语音编码，能够抵制更大的噪音而不至于因为噪音混淆内部语音流操作而影响整个信息处理