基于自组织神经网络的特征识别

基于自组织神经网络的特征识别
基于自组织神经网络的特征识别

第39卷 第1期吉林大学学报(工学版)

Vol.39 No.12009年1月

Journal o f Jilin U niv ersity (Engineering and T echnolo gy Edition)

Jan 2009

收稿日期:2007 05 18.

基金项目:国家自然科学基金项目(60573182);吉林省科技发展计划项目(20060527,20040531);中国高等学校博士

学科点专项科研基金项目(20060183042).

作者简介:易荣庆(1976 ),男,博士研究生.研究方向:几何约束求解,CAD/CAM 集成.E mail:y ir q2003@https://www.360docs.net/doc/dc12453492.html, 通信作者:李文辉(1956 ),男,教授,博士生导师.研究方向:几何约束求解,虚拟现实,图形学,CA D/CA M 集成.

E mail:liw h@https://www.360docs.net/doc/dc12453492.html,

基于自组织神经网络的特征识别

易荣庆1,2,李文辉1,2,王 铎1,2

(1.吉林大学计算机科学与技术学院,长春130012; 2.吉林省电力有限公司,长春130021)

摘 要:针对CAD 、CAM 中的特征识别问题,在特征的属性邻接图表达方法的基础上,根据特征建立的历史过程提出了特征森林的概念,作为识别的启发式信息。采用自组织神经网络识别特征。依据识别特征的规模动态确定自组织神经网络输入神经元的维数,并给出了一种矢量化方法。实验实例证明了本文方法的有效性,从而为特征识别和维护提供了一种新的有效方法。

关键词:计算机应用;特征识别;属性邻接图;自组织神经网络

中图分类号:T P319.72 文献标识码:A 文章编号:1671 5497(2009)01 0148 06

Feature recognition based on self organized neural network

YI Rong qing 1,2,LI Wen hui 1,2,WANG Duo 1,2

(1.Colleg e o f Comp uter Science and T echnolog y ,J ilin Univ er sity ,Changchun 130012,China;2.J ilin E lectr ic P ower Comp any ,Changchun 130021,China)

Abstract:The concept of featur e forest based on the Attr ibuted A djacency Graph (AAG)and the histo ry of featur es creation w as presented.The feature forest w as used as the heuristic information to recog nize the interacting features.Self org anized neural netw o rk w as employed as the reco gnizer.After the AAG breaks dow n,the input dimension of the neural w as dy namically calculated according to the sub graphs,and an alg orithm of the vector ization w as pr ovided.Case study validates the pro posed m ethod,w hich prov ides a new appro ach for the feature recog nition and maintenance.Key words:computer application;featur e r ecognitio n;attributed adjacency gr aph;self o rganized neural net

特征识别就是从产品的实体模型出发自动识别出具有一定工程语义的几何体,特征识别技术的目的就是从设计模型中提取出制造特征。目前,主要有基于规则、图、痕迹(H int)、体分解、神经网络等的特征识别方法

[1]

基于规则的特征识别技术通过产生式规则描

述特征边界信息。每个产生式定义了一组谓词逻辑,构建专家系统。通过边界信息与特征规则进行匹配,识别出特征。通过添加产生式规则系统识别的特征种类可以动态扩充,易于维护;可以较好识别出孤立的特征。但该类特征识别技术主要缺陷是规则匹配耗时,效率不高;由于特征相交引

第1期易荣庆,等:基于自组织神经网络的特征识别

起的几何、拓扑元素变异,导致原规则无效;无法识别相交特征[2]

基于属性邻接图(Attributed Adjacency Gr aph,AAG)的图特征识别技术最早由S.Joshi 和T.C.Chang 提出[3]

。图中的结点表示面,结点之间的弧表示相应面的公共边,弧还记录了邻接面之间的凸凹性。为了减少图搜索空间,S.Joshi 提出的搜索策略中将AAG 中的凸面及与凸面连接的弧删除,使原图变为分离的子图,每个子图即对应一种特征。为了防止特征遗漏,基于AAG 的特征识别技术对于单节点型凸面特征如通孔、倒角等要单独处理。为处理相交特征,在AAG 模型的基础上研究者又做了很多扩展如多属性邻接图(Multi Attributed A djacency Graph)[4]、扩展属性面邻接图(Ex tended Attributed Adjacency Gr aph )[5]

、隐式凹面图(Implicit Concave Gr aph)[6]。基于图的特征识别技术从实体模型中直接提取图形信息,易于实现,能够为CAD 、CAM 提供归一化的特征识别方法;新添加的特征类型不会影响原有系统的运行,易于组件化。

该类特征识别的主要缺点是子图的搜索匹配耗时,特别是在处理相交特征时,如果没有充分的启发式算法,识别效率会很低。但相交特征的处理能力是衡量特征识别算法优劣的重要指标,作者在分析特征属性邻接图的基础上,根据特征的生成过程,建立特征森林,作为启发式信息,可以快速判断出相交特征。采用自组织网络进行特征识别,针对识别特征的规模动态确定自组织神经网络输入神经元的维数,并给出了一种矢量化算法。

1 几何元素命名

属性邻接图定义为三元组G ={N ,A ,T }。其中:N 表示结点的集合,对于零件的每个表面F i ,都有唯一的结点N i 与之对应;A 表示弧的集合,对于零件的每两个相邻表面F i 、F j 都有唯一的弧A c 与之对应;T 为A 的属性,对于A 中的每个A c 都有一属性值与之对应,如果该边对应的两个面形成凹面,则属性值为0,如果两个面形成凸面,则属性值为1。图1是特征体及其AAG 表示(虚线表示凹边,实线代表凸边)

(a)特征实例(b)AAG 表示

图1 特征实例和AAG Fig.1 Feature example and AAG

AAG 除了记录几何元素的拓扑信息外,还记录了面面之间的凹凸信息,凹凸信息可以指导原始AAG 图进行分解,减少搜索空间,但由于特征交叉改变了原来的面面之间的关系,使一些面发生缺失或断裂。图1是两个通槽相交的情形,F 8、F 9、F 10构成的槽破坏了原槽的基面完整性,使其分裂成F 7、F 11两个面,为了恢复被破坏掉的面,文献[5]通过对相交特征的分类给出了虚联接的概念并给出了虚边产生的条件。通过虚联接可以使F 7、F 11重新合并成一个面,从而识别出槽特征。

由图1可知,恢复缺失的面信息是识别相交特征的重要步骤,如果能在特征的建立过程中对

几何元素赋予恰当的标识,通过标识可以反映出

该元素的建立过程,对解决相交特征的判定具有重要指导意义。Bidarra 等[7]把拓扑元素的命名和辨识归结为目前基于历史的参数化特征造型系统需要解决的六大问题之一,陈正鸣等[8]通过检查被引用元素和被辨识元素间的影响特征集、影响面集以及非影响面集是否存在子集关系进行拓扑元素的辨识。本文针对特征模型的建立过程,建立一个分层的面元素命名体系结构。

用一个联合体来表达名称信息。结构如下:FaceId ={FeatureId,FaceIndex ,ChildId,ChildN um ,Status};其中FeatureId 是根据特征的生成过程记录的编号,FaceIndex 是特征体内

149

吉林大学学报(工学版)第39卷

部面编号,ChildId 是面分裂后的子面信息,ChildN um 是子面的个数,Status 表示该面的状态。(虚面、实面、合并面)特征体的名称信息以森林的形式存储,每个特征对应一棵子树。定义1 特征树中的某个面由于其他特征的加入而被破坏,称这样的面为虚面,在特征树中对应一个虚节点。

定义2 如果两个面F 1、F 2具有相同的FeatureId ,则称F 1、F 2为准特征面。

定义3 特征树中的叶子节点全部为虚节点,称这样的特征为消失特征。

图2中的F 1、F 2、F 3是一个槽的三个面。该特征为初始特征,编号为1,则F 1、F 2、F 3的名称分别为F 1={1,1,0,0,1};F 2={1,2,0,0,1};F 3={1,3,0,0,1}。继续添加槽特征,F 1

面被分裂

(a)特征实例

a

(b )特征实例

b

(c)特征实例c

图2 特征实例Fig.2 Feature exam ple

成两个面F 4、F 5,新生成3个面F 6、F 7、F 8,根据生成规则F 4={1,1,0,0,1};F 5={1,2,0,0,1};

F 6={2,1,0,0,1};F 7={2,2,0,0,1};F 8={2,3,0,0,1}。由于F 1面被分裂,名称需要调整为F 1

={1,1,(F 4,F 5),2,0}。继续添加通孔特征生成圆柱面F 9,F 9={3,1,0,0,1}。

特征森林的建立是生成与调整的过程,新加入的特征会影响到原有特征的属性,甚至使某些特征消失。特征森林建立过程:

step1特征编号。每个特征对应一个整数编号,按特征的加入顺序自动维护。

step2每个新加入的特征生成一棵特征多叉树,特征体与结果物体做布尔运算,考察新结果物体面变化情况,做如下更新操作:

(1)面分裂:新结果物体中的某个面发生分裂,则将对应的节点变为虚节点;在虚节点上插入分裂后的面信息,特征号继承父节点的特征号,置Status 为虚面。

(2)面和并:新结果物体中的某几个面和并为一个面,则将对应的节点变为虚节点,置Status 为合并面。

图3为图2对应的特征森林。其中F 1为虚

面。

图3 特征森林Fig.3 Feature forest

2 特征的自组织神经网络识别

在特征识别模型中属性邻接图表示成邻接矩阵对应问题描述,邻接矩阵中各个行列值对应输入层,而将矩阵对应的特征描述作为输出层节点,代表识别结果。网络模型按照学习方式分为有教师指导和无教师指导两种,有教师指导学习需要准备训练数据,在训练过程中根据输入、输出间的映射关系调整权值。无教师指导学习不需要额外的训练数据,网络通过自组织的方式对输入数据分类。无教师指导学习的网络结构更加符合人脑的特点。同时,虽然特征的个数有限,但各种特征相互交叉形成的组合特征是无限的,不可能提供训练数据涵盖所有的特征模型。自组织映射(Self Or ganizing Feature M aps,SOFM )

[9]

算法

150

第1期易荣庆,等:基于自组织神经网络的特征识别

作为一种聚类无教师指导学习算法,是通过模拟人脑对信号处理的特点而发展起来的一种人工神经网络。其中的WT A (Winner T akes All)竞争机制反映了自组织学习最根本的特征。

2.1 SOFM 基本原理

SOFM 网络结构如图4所示,它是由输入层和竞争层组成的全连接网络,模型样本由具有n 个分类指标的样本组成,如果特征相似的样本在n 维空间比较接近,那么这些样本就构成一类,在n 维空间形成一个集群。当输入样本分属多个类时,n 维空间就会呈现出多个集群状分布的特点。每个集群代表一个类型,集群的中心就是类型的聚类中心。通过类聚类中心的距离与给定阀值的比较判断样本的归属。根据学习规则,通过对输人模式的反复学习,识别各个输入模式中所含的模式特征,并对其进行自组织,识别结果在竞争层输出。网络通过对输入模式的反复学习可以使权重向量空间与输入模式的概率分布趋于一致。获胜神经元有关的各权重朝着更有利于它竞争的方向调整,即以获胜神经元为圆心,对近邻的神经元表现出激励,而对远邻的神经元表现出抑制。如图5所示在收到外界刺激时,刺激最强的地方形成一个墨西哥帽,在墨西哥帽区域内神经元权向量会自动调节,直到与输入向量的某一最大分量

相重合为止。

图4 SOM 网络结构Fig.4 Network structure of

SOM

图5 墨西哥帽函数Fig.5 Mexican hat function

2.2 特征向量

由于神经网络只能以符号或数字作为输入

元,而特征是含有凹凸信息的AAG 图。故必须将图形映射成符号信息。Nezis 等[10]

用6 6邻接矩阵作为图形的存储结构,并将其转化为一个20维的向量,对应20个神经元的输入,实现了AAG 子图的矢量化。但Nezis 的方法只考虑了AAG 图中本身蕴含的几何拓扑信息,对特征相交考虑不足,不能解决有公共底面或辅面的交叉特征。

作者提出了一种新的矢量化方法,在矢量化的过程中,充分考虑了特征森林中蕴含的几何信息,以准特征面为处理单位,增加虚边,恢复由于相交而丢失的面信息。同时剔除消失特征,减少搜索空间。

定义4 连接关系传递性:如果某一个面F i

与面集F ={F 1,F 2,!}相连接,则其父面也与F i 相连。

算法如下:

Step1初始化

(1)扫描AAG 图,将不存在凹边的面组成子图,剔除只与凸边连接的节点,获得各连通子图。

(2)遍历各子图中的节点,将特征森林中与节点FeatureId 相同的节点加入到一个集合中。形成准特征面集S ={s 1,s 2!}。

(3)令M 为S 中最大元素的个数。则输入向量V 的维数设为N =M (M -1)/2。V i =-1,(i =1,2,!,N )

Step2:向量赋值Repeat

(1)取集合S 中第i 个节点(i =1,2,!,M);如果F i 为真实面则转2.2;为虚拟面转2.3。

(2)若N i 与N j 之间存在一条边且V i ?-1

则V i =1;i ++;否则V i =-1,(i ?j ;j =1,2,!,M )。

(3)Repeat

令N i =N i 子节点,转2.2。Until N i 子节点=NU LL 。

Until S=NU LL 。通孔、倒角等特征在A AG 中表现为凸面,且通常只有一个组成面,称之为单节点型特征。所以在初始化的第(1)步中将不存在凹边的面组成凸面集,作为被选特征进行矢量化。

在初始化第(2)步中具有相同FeatureId 的面被放到一个集合中,使对AAG 子图的搜索更有针对性。在向量赋值第(3)步中通过连接关系

151

吉林大学学报(工学版)

第39卷

传递性的定义使虚面作为特征向量的一部分,加强了对相交特征的处理能力。上述向量赋值过程可用下三角矩阵中的元素的赋值过程来说明,图2(b)的AAG 经过初始化第(1)步分裂后形成子图{F 2,F 3,F 4,F 5,F 6,F 7,F 8}(连接关系为2-5-7-6-8-4-3);通过比较FeatureId 吸收F 1形成准特征面集{F 1,F 2,F 3,F 4,F 5,F 6,F 7,F 8};取F 1、F 1为虚节点,取F 1的子节点F 4,F 4的邻接节点为F 8、F 3;F 1子节点F 5,F 5的邻接节点为F 2、F 7,对特征向量赋值结果如图6(a )所示。取F 2,F 2的邻接节点为F 5,对特征向量赋值结果最终如图6(b )所示。形成的特征向量为1100011001000100000010011000

图6 特征向量赋值结果

Fig.6 Assignment results of feature vector

2.3 自组织神经网络算法实现

常见的自组织神经网络有海明(H am ming)网络、Kohonen 网络、自组织特征映射网络、对偶传播网络以及自适应谐振理论网络(A daptive Resonance T heory )等。本文采用结构简单,权重连接有效性高的海明网络作为特征识别自组织神经网络。

如图4所示的海明网络,第一层是模板匹配层,具有M 个输入端、J 个模板,该层网络完成对一个未知输入模式的匹配度的计算,其表达式为

MS j =M -#M

i=1

S

i

P j i ,j =1,2,!,J (1)

其中:MS j 是输入模式对于第j 个模板的匹配度;S i ?{0,1}是输入向量的一个变量;P j i 是第j 个模板中的第i 个变量;

#M

i =1

S

i

P j

i 是S i 、P j i

之间

对应变量不同的数目,称为海明距离。第二层为输出网络即从J 个匹配度中挑选出最大的一个作为识别结果。

本文提供凹腔(Pocket)、台阶(Step)、盲孔(Blind hole )等10种基本特征作为识别模板,输入向量如表1所示。

表1 特征向量表Table 1 Feature vector table

特征编号

特征名称 特征向量 1凹腔Pocket 1111110011001012台阶Step 11111001013盲孔Blind hole 11110001001014通孔Th rough hole 111100000105通槽Slot 11111000016凸台Protru sion 1111100000000007盲槽Blind Slot 1111001101018V 型槽V S lot 111110101009翼台Tab 110010011010

倒角Chamfer

11100011001

设AAG 分裂后的子图中最大节点个数为N ,取M =N (N -1)/2,输入向量不足M 位用%0&补齐。海明网的输出神经元个数J 定为10,每个神经元对应10个特征中的一个。

网络学习过程如下:

将权值W ij 赋予小的随机初始值;设置一个

较大的初始邻域N c,并设置循环次数T ;给出一个新的输入模式M j :M j ={S 1,S 2,!,S m };计算模式M j 和所有的输出神经元的匹配度M Sj ,并选择M Sj 最大的神经元c,则c 即为获胜神经元;更新结点c 及其领域结点的连接权值

W ij (t +1)=W ij (t)+ (t)f (t)(M i -W ij (t))

(2)

式中: (t)为增益函数,随着t 的增加而逐渐减少;0

f (t)=

s/m,0?s ?m

1, s >m 0, s <0

(3)

选取另一个学习模式提供给网络的输入层,返回步骤(3),直到输入模式全部提供给网络;令t =t +l,返回步骤(2),直至t =T 为止。

在自组织映射模型的学习中,通常要求T >500。N c 随着学习次数的增加逐渐减小。增益函数 (t)也即是学习率。由于学习率 (t)随时间的增加而渐渐趋向零,因此,保证了学习过程必然是收敛的。斜坡函数f (t)的输出总是非负的,因此若某神经元的匹配度相对最大,则对其自身的兴奋作用和对所有相邻神经元的抑制作用也相对最大,这就提供了一种强者更强、弱者更弱的竞争机制。

152

第1期易荣庆,等:基于自组织神经网络的特征识别

3 试验实例

神经网络通过学习,实现了对输入样本的记忆,如果输出节点j 与输入层M 个节点的连接权值向量W j 对应某一类特征M j 输入时,使M Sj 达到最大匹配,那么W j 通过学习后十分靠近M j ,因此以后当M j 再次输入时,M j 节点必定被激活。从CAD 中提取的属性信息,形成AAG ,根据构造过程记录的历史信息对几何元素命名,形成特征森林,按照矢量化方法对分解后的子AAG 构造特征向量,作为输入神经元,经过网络的匹配计算,输出神经元就是识别出的特征。

运用本文算法对图7中的零件进行特征识别。图7(a )中的零件包含4个基本特征:分别是左右2个盲孔、1个盲槽和1个凹腔;图7(b )是一个含有相交特征的复杂零件:含有一个凸台,2个通槽,一个凹腔。识别结果如表2所示,通过对基本特征和相交特征的识别可知,本文算法具有理

想的识别效率。

图7 验证用的特征实例Fig.7 Feature example for test

表2 识别结果

Table 2 Results of recognition

特征编号

1

23456789107(a)1000000

0007(a)00100000007(a)00100000007(a)00000010007(b)00000100007(b)00001000007(b)00001000007(b)

1

4 结束语

由于自组织神经网络的特征识方法具有很好的扩充性,利用此特点将增加的输出节点与新的

特征类型对应,神经网络通过学习,实现了对新特征的记忆,从而扩大网络的特征识别范围。特征

森林通过恢复缺失面、分裂面,为相交特征的识别提供了重要的启发式信息。针对识别特征的规模动态确定自组织神经网络输入神经元的维数,并给出了一种矢量化算法。同时自组织神经网络的竞争性允许待识别特征与标准特征向量有一定偏差,能够较好地识别相交特征。参考文献:

[1]高曙明.自动特征识别技术综述[J].计算机学报,

1998,21(3):281 288.

Gao Shu ming.A Surv ey o f auto matic feature r eco g nition[J].Chinese Journal of Co mputers,1998,21(3):281 288.

[2]Hender son M R ,A nderson D C.Co mputer r eco gni

tion and extr action of fo rm features:a CAD/CA M link[J].Computer s in Indust ry,1984,5:329 339.[3]Jo shi S,Chang T C.Gr aph based heur istics fo r rec

o gnition of machined features fro m a 3D so lid mo del [J].Co mputer Aided Design,1988,20(2):58 86.[4]Venuvinod P K ,Wo ng S Y.A g raph based ex per t

sy stem appr oach to g eometr ic featur e r eco gnition [J].Jo ur nal of I ntelligent M anufacturing ,1995,6:155 162.

[5]Gao S M ,Shah J J.A ut omatic r eco gnit ion of inter

acting machining features based on minimal co ndition subgr aph[J].Computer Aided Design,1998,30(9):727 739.

[6]K ey van Rahmani,Behro oz A rezoo ,Boundary anal

y sis and g eometr ic complet ion fo r recog nitio n of in ter act ing machining features [J].Co mputer Aided D esign,2006,38(8):845 856.

[7]Bidarr a R,Bro nsv oor t W F.Semant ic feature mo d

eling[J].Computer A ided Desig n,2000,32:201

225.

[8]陈正鸣,高曙明,张凤军,等.一种拓扑元素的命名和

辨识方法[J].计算机学报,2001,24(11):1270 1277.

Chen Z heng m ing ,G ao Shu ming ,Zhang Feng jun,et al.An appr oach to naming and identifying topolog i cal entities [J ].Chinese Jo ur nal of Co mputers,2001,24(11):1270 1277.

[9]Ko ho nen T.T he self or ganizing ma ps[J].Pr oceed

ing s of the IEEE,1990,78(9):1464 1480.[10]N ezis K ,V osniakos G.Recog nizing 2.5D shape fea

tures using a neur al netw or k and heur istics [J ].Computer A ided Desig n,1997,29(7),523 579.

153

神经网络在人脸识别中的应用

神经网络在人脸识别中的应用 1.引言 早在上世纪60年代末, 人脸识别即引起了研究者的强烈兴趣.但早期的人脸识别一般都需要人的某些先验知识, 无法摆脱人的干预。进入上世纪9O年代, 由于高速度、高性能计算机的出现,人脸识别的方法有了重大突破, 进入了真正的机器自动识别阶段, 人脸识别研究得到了前所未有的重视。人脸识别方法有很多种: (1)特征脸方法。这种方法起源于图像描述技术,采用特征脸识别方法有良好的稳定性、位移不变性、特征向量与图像的高度成比例变化以及转置不变性。不足之处是受表情变化、光照角度强度变化和视角变化等严重影响, 鲁棒性较差。(2)隐马尔可夫模型方法(HiddenMarkovMode1)是用于描述信号统计特征的一组统计模型。HMM的基本理论是由Baum和Welch等人在20世纪6O年代末70年代初建立, 在语音识别中应用较多。 (3)弹性图匹配方法。弹性图匹配方法是一种基于动态连接结构的方法。它将人脸用格状的稀疏图表示。 (4)神经网络方法。人工神经网络是由多个神经元按照一定的排列顺序构成的, 是一个非线性动力学系统, 其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单, 功能有限, 但由大量冲经元所构成的网络系统却能够实现复杂丰富的功能。神经网络系统除了具有集体运算的能力和自适应的学习能力外, 还有根强的容错性和鲁棒性.善于联想、综合和推广。神经网络模型各种各样。它们是从不同的角度对生物神经系统不同层次的描述和模拟。有代表性的网络模型有感知器、多层映射BP网络、RBF网络等。目前, 在人工神经网络的实际应用中,绝大部分的神经网络模型都是采用BP网络及其变化形式, 它也是前向网络的核心部分, 是人工神经网络最精华的部分。2BP神经网络的人脸识别BP神经网络用于人脸识别一般应先对输入图像实行图像预处理,然后进行特征提取,接下来就是BP网络训练,最后用训练好的网络进行识别,获得识别结果。 2.基于特征脸和BP 神经网络的人脸识别方法 2.1特征脸分析 这种方法是根据图像的统计特征进行正交变换( K-L 变换) [3] , 以去除样 本间的相关性, 然后根据特征值的大小选择特征向量( 主分量) , 由于这些特 征向量的图像类似人脸, 所以称为特征脸[4, 5] 。下面就这种方法作简要介绍。 X∈RN 为表示一幅图像的随机向量, 这里N是图像的大小, X 由图像的行或列连 接而成的向量。假设有p 个人, 每个人有r1 ( 1≤i≤P) 个人脸样本图像, 样 本集为{ Xji } , Xji表示第j个人的第i个样本。那么每个人样本均值向量为 mi ( 1≤ i≤p) ; 总体样本均值向量为m; 类间散布矩阵为

基于人工神经网络的图像识别

本文首先分析了图像识别技术以及bp神经网络算法,然后详细地阐述了人工神经网络图像识别技术。 【关键词】人工神经网络 bp神经网络图像识别识别技术 通常而言,所谓图像处理与识别,便是对实际图像进行转换与变换,进而达到识别的目的。图像往往具有相当庞大的信息量,在进行处理图像的时候要进行降维、数字化、滤波等程序,以往人们进行图像识别时采用投影法、不变矩法等方法,随着计算机技术的飞速发展,人工神经网络的图像识别技术将逐渐取代传统的图像识别方法,获得愈来愈广泛的应用。 1 人工神经网络图像识别技术概述 近年来,人工智能理论方面相关的理论越来越丰富,基于人工神经网络的图像识别技术也获得了非常广泛的应用,将图像识别技术与人工神经网络技术结合起来的优点是非常显著的,比如说: (1)由于神经网络具有自学习功能,可以使得系统能够适应识别图像信息的不确定性以及识别环境的不断变化。 (2)在一般情况下,神经网络的信息都是存储在网络的连接结构以及连接权值之上,从而使图像信息表示是统一的形式,如此便使得知识库的建立与管理变得简便起来。 (3)由于神经网络所具有的并行处理机制,在处理图像时可以达到比较快的速度,如此便可以使图像识别的实时处理要求得以满足。 (4)由于神经网络可增加图像信息处理的容错性,识别系统在图像遭到干扰的时候仍然能正常工作,输出较准确的信息。 2 图像识别技术探析 2.1 简介 广义来讲,图像技术是各种与图像有关的技术的总称。根据研究方法以及抽象程度的不同可以将图像技术分为三个层次,分为:图像处理、图像分析以及图像理解,该技术与计算机视觉、模式识别以及计算机图形学等学科互相交叉,与生物学、数学、物理学、电子学计算机科学等学科互相借鉴。此外,随着计算机技术的发展,对图像技术的进一步研究离不开神经网络、人工智能等理论。 2.2 图像处理、图像识别与图像理解的关系 图像处理包括图像压缩、图像编码以及图像分割等等,对图像进行处理的目的是判断图像里是否具有所需的信息并滤出噪声,并对这些信息进行确定。常用方法有灰度,二值化,锐化,去噪等;图像识别则是将经过处理的图像予以匹配,并且对类别名称进行确定,图像识别可以在分割的基础之上对所需提取的特征进行筛选,然后再对这些特征进行提取,最终根据测量结果进行识别;所谓图像理解,指的是在图像处理与图像识别的基础上,根据分类作结构句法分析,对图像进行描述与解释。所以,图像理解包括图像处理、图像识别和结构分析。就图像理解部分而言,输入是图像,输出是对图像的描述解释。 3 人工神经网络结构和算法 在上个世纪八十年代,mcclelland与rumelhant提出了一种人工神经网络,截止现在,bp神经网络已经发展成为应用最为广泛的神经网络之一,它是一种多层前馈神经网络,包括输入层、输出层和输入层输出层之间隐藏层,如图1所示,便是一种典型的bp神经网络结构。 bp神经网络是通过不断迭代更新权值使实际输入与输出关系达到期望,由输出向输入层反向计算误差,从而通过梯度下降方法不断修正各层权值的网络。 bp神经网络结构算法如下所述: (1)对权值矩阵,学习速率,最大学习次数,阈值等变量和参数进行初始化设置; (2)在黑色节点处对样本进行输入;

第4章 SOM自组织特征映射神经网络

第4章 SOM 自组织特征映射神经网络 生物学研究表明,在人脑的感觉通道上,神经元的组织原理是有序排列的。当外界的特定时空信息输入时,大脑皮层的特定区域兴奋,而且类似的外界信息在对应的区域是连续映像的。生物视网膜中有许多特定的细胞对特定的图形比较敏感,当视网膜中有若干个接收单元同时受特定模式刺激时,就使大脑皮层中的特定神经元开始兴奋,输入模式接近,与之对应的兴奋神经元也接近;在听觉通道上,神经元在结构排列上与频率的关系十分密切,对于某个频率,特定的神经元具有最大的响应,位置相邻的神经元具有相近的频率特征,而远离的神经元具有的频率特征差别也较大。大脑皮层中神经元的这种响应特点不是先天安排好的,而是通过后天的学习自组织形成的。 据此芬兰Helsinki 大学的Kohonen T.教授提出了一种自组织特征映射网络(Self-organizing feature Map ,SOM ),又称Kohonen 网络[1-5]。Kohonen 认为,一个神经网络接受外界输入模式时,将会分为不同的对应区域,各区域对输入模式有不同的响应特征,而这个过程是自动完成的。SOM 网络正是根据这一看法提出的,其特点与人脑的自组织特性相类似。 4.1 竞争学习算法基础[6] 4.1.1 自组织神经网络结构 1.定义 自组织神经网络是无导师学习网络。它通过自动寻找样本中的内在规律和本质属性,自组织、自适应地改变网络参数与结构。 2.结构 层次型结构,具有竞争层。典型结构:输入层+竞争层。如图4-1所示。 竞争层 输入 层 图4-1 自组织神经网络结构

· 输入层:接受外界信息,将输入模式向竞争层传递,起“观察”作用。 竞争层:负责对输入模式进行“分析比较”,寻找规律,并归类。 4.1.2 自组织神经网络的原理 1.分类与输入模式的相似性 分类是在类别知识等导师信号的指导下,将待识别的输入模式分配到各自的模式类中,无导师指导的分类称为聚类,聚类的目的是将相似的模式样本划归一类,而将不相似的分离开来,实现模式样本的类内相似性和类间分离性。由于无导师学习的训练样本中不含期望输出,因此对于某一输入模式样本应属于哪一类并没有任何先验知识。对于一组输入模式,只能根据它们之间的相似程度来分为若干类,因此,相似性是输入模式的聚类依据。 2.相似性测量 神经网络的输入模式向量的相似性测量可用向量之间的距离来衡量。常用的方法有欧氏距离法和余弦法两种。 (1)欧式距离法 设i X X ,为两向量,其间的欧式距离 T i i i X X X X X X d ))((--= -= (4-1) d 越小,X 与i X 越接近,两者越相似,当0=d 时,i X X =;以T d =(常数)为判据,可对输入向量模式进行聚类分析: 由于312312,,d d d 均小于T ,465645,,d d d 均小于T ,而)6,5,4(1=>i T d i , )6,5,4(2=>i T d i , )6,5,4(3=>i T d i , 故将输入模式654321,,,,,X X X X X X 分为类1和类2两大类,如图4-2所示。 (2)余弦法 设i X X ,为两向量,其间的夹角余弦 i T X X XX = ?cos (4-2) ?越小,X 与i X 越接近,两者越相似;当?=0时,?cos =1,i X X =;同样以0??=为 判据可进行聚类分析。

自组织特征映射网络的分析与应用

第24卷第4期Vol 24 No 4 长春师范学院学报(自然科学版) Journal of Chang Chun Teachers College(Natural Science) 2005年10月Oct 2005 自组织特征映射网络的分析与应用 程 勖1 ,杨毅恒1 ,陈薇伶 2 (1 吉林大学综合信息矿产预测研究所,吉林长春 130026; 2.长春工业大学研究生院,吉林长春 130012) [摘 要]数据挖掘的方法主要包括检索和分类两类,而各自都有缺陷。针对这些缺点提出先利用自组织映射的方法对采集的数据进行聚类和可视化,获得一些关于采集到的数据的初步信息。自组织映射法的目的是一个将高维数据非线性的投到一个预先定义好的二维拓扑中。它通过竞争学习的方法达到了降维、聚类、可视化的目的。 [关键词]自组织特征映射;聚类;学习速率;权值矩阵[中图分类号]TP311 [文献标识码]A [文章编号]1008-178X(2005)04-0055 05 [收稿日期]2005-07-02 [作者简介]程 勖(1980-),男,吉林长春人,吉林大学综合信息矿产预测研究所硕士研究生,从事GIS 二次开发 及其在矿产中的评价研究。 1 引言 人工神经网络系统从20世纪40年代末诞生至今仅半个多世纪,但由于其所具有的非线性特性,大量的并行分布结构以及学习和归纳能力使其在模式识别、信号处理、知识工程、专家系统、优化组合、机器人控制等领域得到越来越广泛的应用。自组织特征映射网络是由芬兰学者Teuvo Kohonen 于1981年提出的 [1][2][3] 。该网络是一个由全连接的神经元阵列组成的无教师自组织、自学习网络。Koho nen 认为,处于空间中不同区域的神经元有不同的分工,当一个神经网络接受外界输入模式时,将会为不同的反应区域,各区域对输入模式具有不同的响应特性。它所形成的聚类中心能够映射到一个平面或曲面上而保持拓朴结构不变, 可以对目标的固有特征作出客观的划分。 Fig 1 1The structure of Kohonen ANN 2 自组织特征映射神经网络的结构与学习算法 Kohonen 网络或自组织特征映射网络含有两层,一个输入缓冲层用于接收输入模式,另一为输出层,见图1 1[5] 。输出层的神经元一般按正则二维阵列排列,每个输出神经元连接至所有输入神经 55

相关系数,回归模型,自组织竞争神经网络

高等教育学费标准的研究 摘要 本文从搜集有关普通高等学校学费数据开始,从学生个人支付能力和学校办学利益获得能力两个主要方面出发,分别通过对这两个方面的深入研究从而制定出各自有关高等教育学费的标准,最后再综合考虑这两个主要因素,进一步深入并细化,从而求得最优解。 模块Ⅰ中,我们将焦点锁定在从学生个人支付能力角度制定合理的学费标准。我们从选取的数据和相关资料出发,发现1996年《高等学校收费管理暂行办法》规定高等学校学费占生均教育培养的成本比例最高不得超过25%,而由数据得到图形可知,从2002年开始学费占教育经费的比例超过了25%,并且生均学费和人均GDP 的比例要远远超过美国的10%到15%。由此可见,我国的学费的收取过高。紧接着,我们从个人支付能力角度出发,研究GDP 和学费的关系。并因此制定了修正参数,由此来获取生均学费的修正指标。随后,我们分析了高校专业的相关系数,从个人支付能力角度,探讨高校收费与专业的关系,进一步 得到了高校收费标准1i i y G R Q = Q R G y ig g i =1 在模块Ⅱ中,我们从学校办学利益获得能力出发,利用回归分析对学生应交的学杂费与教育经费总计、国家预算内教育经费、社会团体和公民个人办学经验、社会捐投资和其他费用的关系,发现学杂费与教育经费总计成正相关,与其他几项费用成负相关。对此产生的数据验证分析符合标准。然后,再根据专业相关系数来确定学校收取学费的标准。从而,得到了学校办学利益的收费标准2i i i y y R = 。 在模块Ⅲ中,为了获取最优解,我们综合了前面两个模块所制定的收费指标,并分别给予不同权系数,得到最终学费的表达式12i i C ay by =+。然后,我们从学 校收费指标的权系数b 考虑,利用神经网络得到的区域划分,根据不同区域而计算出的权系数b 的范围。最终得到的表达式 ]12345**(1)(1.0502 1.1959 1.3108 1.36360.7929)**b i i C R G Q b x x x x x R =-+----;由此便可得到综合学费标准C 的取值范围。然后,我们随机选取了同一区域不同专业,并根据表达式计算这些专业的学费,结果发现对社会收益大,个人收益小的专业如地质学的学费范围为:3469.8~3506.3元之间;对社会收益小,个人收益大的专业如广告设计的学费范围为:7931.0~8014.5元之间。与通常高校实现的一刀切政策有了明显的优点。 最后,我们从本论文研究方向考虑,为优化高校费用标准的制定提出参考意见,如建立反馈制度和特殊生补贴制度的建议。 【关键字】相关系数 回归模型 自组织竞争神经网络

SOM神经网络

SOM神经网络

第4章 SOM自组织特征映射神经网络 生物学研究表明,在人脑的感觉通道上,神经元的组织原理是有序排列的。当外界的特定时空信息输入时,大脑皮层的特定区域兴奋,而且类似的外界信息在对应的区域是连续映像的。生物视网膜中有许多特定的细胞对特定的图形比较敏感,当视网膜中有若干个接收单元同时受特定模式刺激时,就使大脑皮层中的特定神经元开始兴奋,输入模式接近,与之对应的兴奋神经元也接近;在听觉通道上,神经元在结构排列上与频率的关系十分密切,对于某个频率,特定的神经元具有最大的响应,位置相邻的神经元具有相近的频率特征,而远离的神经元具有的频率特征差别也较大。大脑皮层中神经元的这种响应特点不是先天安排好的,而是通过后天的学习自组织形成的。 据此芬兰Helsinki大学的Kohonen T.教授提出了一种自组织特征映射网络(Self-organizing feature Map,SOM),又称Kohonen网络[1-5]。Kohonen认为,一个神经网络接受外界输入模式时,将会分为不同的对应区

域,各区域对输入模式有不同的响应特征,而这个过程是自动完成的。SOM网络正是根据这一看法提出的,其特点与人脑的自组织特性相类似。 4.1 竞争学习算法基础[6] 4.1.1 自组织神经网络结构 1.定义 自组织神经网络是无导师学习网络。它通过自动寻找样本中的内在规律和本质属性,自组织、自适应地改变网络参数与结构。 2.结构 层次型结构,具有竞争层。典型结构:输入层+竞争层。如图4-1所示。 … 竞争层 … 图4-1 自组织神经网络结构 ·输入层:接受外界信息,将输入模式向竞争 层传递,起“观察”作用。

AI翻转课堂教案-第4章 人工神经网络与深度学习教案

第四章人工神经网络与深度学习课题名称:人工神经网络与深度学习 学习过程:

络曾历经质疑、批判与冷落,同时也几度繁荣并取得了许多瞩目的成就。从20世纪40年代的M-P神经元和Hebb学习规则,到50年代的Hodykin-Huxley方程感知器模型与自适应滤波器,再到60年代的自组织映射网络、神经认知机、自适应共振网络,许多神经计算模型都发展成为信号处理、计算机视觉、自然语言处理与优化计算等领域的经典方法,为该领域带来了里程碑式的影响。目前模拟人脑复杂的层次化认知特点的深度学习已经成为类脑智能中的一个重要研究方向。通过增加网络层数所构造的“深层神经网络”使机器能够获得“抽象概念”能力,在诸多领域都取得了巨大的成功,又掀起了神经网络研究和应用的一个新高潮。 (三)神经元 人脑中的信息处理单元是神经细胞,而人工神经网络的计算单元就是人工神经元,,一个人工神经元的结构如图所示。 (1)来自其他神经元的输入信号为(x1, x2, ..., xn)。 (2)每一个输入信号都有一个与之对应的突触权重(w1, w2, ..., wn),权重(weight)的高低反映了输入信号对神经元的重要性。 (3)线性聚合器(∑)将经过加权的输入信号相加,生成一个“激活电压”(activation voltage)。 (4)激活阈值(activation threshold)或bias(θ)给神经元的输出设置一个阈值。 (5)激活电位(activation potential)u是线性聚合器和激活阈值之差,如果u≥0,神经元产生的就是兴奋信号,如果u<0,神经元产生的是抑制信号。 (6)激活函数(activation function)g将神经元的输出限制在一个合理的范围内。 (7)神经元产生的输出信号(y),可以传递给与之相连的其他神经元。 将上述信息用公式可表示为:

人工神经网络在图像处理中的应用

人工神经网络在图像处理中的应用 王国雷 (山东大学控制科学与工程学院生物医学工程2008级) 摘要:图像处理可以看作一大类图像技术,着重强调在图像之间的变换,图像处理是包含丰富内容和具有广阔应用领域的研究学科。近几年来,作为具有自组织、自学习和联想功能的人工神经网络理论已成功地应用于图像处理的许多方面,如图像压缩、图像分割、边缘检测、图像增强、图像识别等。概括得说,神经网络应用于图像处理的主要思路是:把原始图像或经过适当预处理的图像作为网络的输入信号,在网络的输出端得到处理后的图像信号或分类结果。 关键词:图像处理,人工神经网络,图像压缩、图像分割、边缘检测、图像增强、图像识别。 The Application Of Artificial Neural Network In The Area Of Image Processing Wang Guolei (Biomedical Engineering, 2008 Grade, College of Control Science and Engineering, Shandong University) Abstract: Image processing can be seen as a large class of imaging technology, emphasizing on the transformation between the images, image processing is a subject with rich content and broad application areas. In recent years, as a self-organizing, self-study and associate function artificial neural network theory has been successfully applied to many aspects of image processing such as image compression, image segmentation, edge detection, image enhancement, image recognition and so on. In general, the main idea of neural network application in image processing is as below: put the original image or an appropriate pre-processing image as the input signal of network, the network output is the result : processed image signal or classification results.

自组织特征映射网络(SOM)课件

人工神经网络自组织特征映射网络简介二〇一二年十二月

目录: 1. 由自组织竞争神经网络谈起 2. 自组织特征映射网基本概念 3. 自组织特征映射网拓扑结构 4. 自组织特征映射网学习算法 5. 自组织特征映射网的应用

从自组织竞争神经网络谈起:此类网络是模拟生物神经系统“侧抑制”现象的一类人工神经网络。自组织特征映射网是此类网络的主要类型之一。 在生物神经系统中,存在着一种“侧抑制”现象,即当一个神经细胞兴奋后,会对其周围的神经细胞产生抑制作用。这种“侧抑制”使神经细胞之 间呈现出竞争。开始时可能多个细胞同时兴奋,但一个兴奋程度最强的神经 细胞会逐渐抑制周围神经细胞,其结果使其周围神经细胞兴奋度减弱,从而 兴奋度最高的细胞是这次竞争的“胜者”,而其他神经细胞在竞争中失败。 自组织竞争神经网络就是模拟 上述生物神经系统功能的人工神经 网络。如右图所示,输出层各神经 元之间都有双向连接线,各连接线 被赋予相应的权值。从而实现对生 物网络神经元相互竞争和抑制现象 的模拟。 x1x 2 x i ············

自组织竞争神经网络通过对“侧抑制”现象的模拟,具备自组织功能,能无导师学习。 自组织功能无导师学习 自组织竞争神经网络的一大特点是:具有自组织功能,能够自适应地改变网络参数和结构,从而实现无导师学习。 自组织竞争网络无导师学习方式更类似于人类大脑神经网络的学习,大大拓宽了神经网络在模式识别和和分类上的应用。 无导师指导的分类称为聚类,由于无导师学习的训练样本中不含有期望输出,因此没有任何先验的知识。 特殊网络结构 自组织竞争网的无导师指导学习是通过其特殊的网络结构实现的。自组织竞争网在结构上属于层次型网络,共同特点是都具有竞争层。 自组织竞争网络的竞争层,各神经元之间存在横向连接,各连接被赋予权值。通过竞争学习规则,达到自组织,实现对输入样本的自动分类。 特殊学习规则 竞争学习规则:竞争层神经元之间相互竞争以求被激活,结果在每一轮竞争中只有一个神经元被激活。这个被激活的神经元称为“获胜神经元”,而其它神经元的状态被抑制。然后获胜神经元及其附近神经元的对应权值将被调整以反映竞争结果。 主要的竞争学习规则有“胜者为王”和Kohonen规则等。“胜者为王”只修改获胜神经元权值,Kohonen规则修改获胜神经元邻域内各神经元权值。

竞争型神经网络与自组织神经网络

竞争型神经网络是基于无监督学习的神经网络的一种重要类型,作为基本的网络形式,构成了其他一些具有组织能力的网络,如学习向量量化网络、自组织映射网络、自适应共振理论网络等。与其它类型的神经网络和学习规则相比,竞争型神经网络具有结构简单、学习算法简便、运算速度快等特点。竞争型神经网络模拟生物神经网络系统依靠神经元之间的兴奋、协调与抑制、竞争的方式进行信息处理。一个竞争神经网络可以解释为:在这个神经网络中,当一个神经元兴奋后,会通过它的分支对其他神经元产生抑制,从而使神经元之间出现竞争。当多个神经元受到抑制,兴奋最强的神经细胞“战胜”了其它神经元的抑制作用脱颖而出,成为竞争的胜利者,这时兴奋最强的神经元的净输入被设定为 1,所有其他的神经元的净输入被设定为 0,也就是所谓的“成者为王,败者为寇”。一般说来,竞争神经网络包含两类状态变量:短期记忆变元(STM)和长期记忆变元(LTM)。STM 描述了快速变化的神经元动力学行为,而 LTM 描述了无监督的神经细胞突触的缓慢行为。因为人类的记忆有长期记忆(LTM)和短期记忆(STM)之分,因此包含长时和短时记忆的竞争神经网络在理论研究和工程应用中受到广泛关注。 竞争性神经网络模型图 自组织特征映射神经网络(简称SOM),是由输入层和输出层组成的单层神经网络,主要用于对输入向量进行区域分类。SOM是一种无导师聚类,能将一维输入模式在输出层映射成二维离散图形,此图形分布在网格中,网格大小由m*n 表示,并保持其拓扑结构不变,从而使有相似特征的神经元彼此靠近,不同特征的神经元彼此远离,最终实现区分识别样品的目的。SOM 通过学习输入向量的分布情况和拓扑结构,靠多个神经元的协同作用来完成模式分类。当神经网络接受外界输入模式时,神经网络就会将其分布在不同的对应区域,并且记忆各区域对输入模式的不同响应特征,使各神经元形成有序的空间分布。当输入不同的样品光谱时,网络中的神经元便随机兴奋,经过SOM 训练后神经元在输出层有序排列,作用相近的神经元相互靠近,作用不同的神经元相互远离。在神经网络的应用中,对于待识别的输入模式属于哪一类并没有任何先验知识,只能是把相似的模式样品划归为一类,而将不相似的分离开,从而实现样品的类内相似性和类间

基于MATLAB的BP神经网络的数字图像识别

基于MATLAB的BP神经网络的数字图像识别

基于MATLAB BP神经网络的数字图像识别

基于MATLAB BP神经网络的数字图像识别 【摘要】随着现代社会的发展,信息的形式和数量正在迅猛增长。其中很大一部分是图像,图像可以把事物生动的呈现在我们面前,让我们更直观地接受信息。同时,计算机已经作为一种人们普遍使用的工具为人们的生产生活服务。如今我们也可以把这些技术应用在交通领域。作为智能交通系统(InteUigent Traffic System,简称ITS)中的一个重要组成部分的车牌识别技术,当然就是其中的重点研究对象。车辆牌照识别(License P1ate Recognition,简称LPR),是一种关于计算机的包括图像处理、数学技术、数据库、信息技术以及智能技术于一体的综合技术。用MATLAB 做车牌识别比用其他工具有许多优势,因为MATLAB在图像的灰度化、二值化、滤波等方面都有很大优势,所以,本次实验我们利用MATLAB的这些优点来对车牌进行识别。 【关键词】BP神经网络;图像识别;字符识别;特征提取;车牌;Matlab 一课题研究背景 (一)图像识别的提出及应用 随着信息化时代的不断发展,人们越来越多地使用信息化的手段来解决各种问题——办公自动化、先进制造业、电子商务等利用计算机技术而产生的新兴行业正不断靠近我们的生活。在信息社会中,我们每天都接触大量的数据——工

作数据、个人数据、无意间获得的数据等——在这些数据中,有些数据需要我们人工处理,而有些则可以利用计算机快速准确的完成——字符识别就是其中的一个范畴。 字符识别是一种图像识别技术,他的输入是一张带有某种字符的图片,而输出则是计算机中对于图片中字符的反应结果。所以,可以广泛的应用于各种领域:如,车牌检测、手写识别、自动阅读器、机器视觉……在生活生产的各个方面都起到了非常重要的作用。 (二)图像识别技术的发展趋势 虽然图像识别技术还不是非常成熟,但现其已经有了很多可喜的成果,比如图像模式识别,图像文字识别。并且其还在飞速的发展着,图像识别的应用正朝着不同的领域渗透着,像计算机图像生成,图像传输与图像通信,高清晰度电视,机器人视觉及图像测量,办公室自动化,像跟踪及光学制导,医用图像处理与材料分析中的图像分析系统,遥感图像处理和空间探测,图像变形技术等等。从所列举的图像技术的多方面应用及其理论基础可以看出,它们无一不涉及高科技的前沿课题,充分说明了图像技术是前沿性与基

基于深度神经网络的人脸图像识别

第39卷第1期 辽宁工业大学学报(自然科学版) V ol.39, No.1 2019年 2 月 Journal of Liaoning University of Technology(Natural Science Edition) Feb. 2019 收稿日期:2018-05-23 基金项目:国家自然科学基金项目(61502216);大学生创新创业计划训练项目(201801069) 作者简介:王恩侃(1997-),男,山西吕梁人,本科生。 曹玉东(1971-),男,辽宁铁岭人,副教授,博士。 DOI:10.15916/j.issn1674-3261.2019.01.007 基于深度神经网络的人脸图像识别 王恩侃,曹玉东,汪金涛 (辽宁工业大学 电子与信息工程学院,辽宁 锦州 121001) 摘 要:概述了深度神经网络的最新进展情况,着重深入分析了VGG-Net 深度神经网络模型,相比于传统学习方法,深度学习能达到更高的识别准确率, 但是存在训练和测试时间较长、字典存储量偏大等问题。在不降低识别率的前提下,通过改进模型结构和优化参数,减少训练时间,实现了轻量化计算。在FaceScrub 人脸图像数据集上验证了改进算法的有效性。 关键词:深度学习;VGG-Net 网络;人脸图像识别 中图分类号:TP391 文献标识码:A 文章编号:1674-3261(2019)01-0029-04 Face Image Recognition Based on Deep Neural Network W ANG En-kan, CAO Y u-dong, W ANG Jin-tao (School of Electronics & Information Engineering, Liaoning University of Technology, Jinzhou 121001, China ) Abstract: The recent progress of deep neural network is summarized, and the VGG-Net neural network model is analyzed. Compared with traditional methods, deep learning methods can achieve higher recognition accuracy, but there are problems such as long training and testing time, and larger dictionary storage. On the premise that the recognition rate is not reduced, the lightweight calculation is realized by improving the model structure and optimizing parameters and reducing training time. The effectiveness of the improved algorithm is verified on FaceScrub face image data set. Key words: deep learning; VGG-Net network; face image recognition 近几年,深度学习技术以人工神经网络模型为基础,突破了三层结构的限制,其表示能力大幅度提高,并在计算机视觉领域取得了成功。深度学习网络主要包括卷积神经网络、循环神经网络、自编码器和长短时记忆网络等。卷积神经网络特别适合处理二维数据,在图像处理和识别领域有很多成功的应用。也是第一个用于解决重要商业应用的网络。循环和递归网络适合处理与时间相关的序列数据。计算机硬件不断发展,深度学习神经网络在计算机视觉领域大放异彩,在图像检索、图像分类领域均取得突破性进展。 2012年,多伦多大学的Hinton 教授首次把深度神经网络应用到图像分类任务上,极大降低了图 像的分类错误率[1]。短短几年的时间,深度学习技术发展迅猛。常见的深度神经网络结构有纽约大学教授Yann LeCun 提出的LeNet-5[2]、Face AI 团队提出的DeepFace [3]、DeepID [4]等。在人脸识别中较为成功的深度卷积网络有DeepFace 、DeepID 以及VGG-Face 等深度网络结构[5-9]。其中DeepFace 网络结构庞大,对于训练图片消耗的资源也较大。汤晓欧教授团队提出的DeepID 网络开创了用深度网络来学习图像的特征,随着数据集的扩大,其本身的分类正确率和验证数据集的识别准确率都在增加。为更好地处理遮挡图片的识别,改进算法DeepID2[7]在回归函数式中加入验证信号,通过对识别信号和验证信号进行加权组合,提高了类内区分

Kohonen算法实现自组织特征映射神经网络

Kohonen算法实现自组织特征映射神经网络 Kohonen算法实现自组织特征映射神经网络 2010-12-23 14:28设有现有一个样本数据集,含有4个模式类,,,,各个类别含有5个数据,每个数据是一个二维向量[x,y]。则需要设定4个输出层神经元来构建SOM网络,由于输入数据是二维的向量,所以输入层神经元有2个。 为了使SOM网络的设计和实行过程在作图中清晰可见,对输入的样本数据集均进行归一化处理。: A = 0.8776 0.4794 0.8525 0.5227 0.8253 0.5646 0.7961 0.6052 0.7648 0.6442 : B= -0.6663 0.7457 -0.7027 0.7115 -0.7374 0.6755 -0.7702 0.6378 -0.8011 0.5985

: C= -0.5748 -0.8183 -0.5332 -0.8460 -0.4903 -0.8716 -0.4461 -0.8950 -0.4008 -0.9162 : D= 0.9602 -0.2794 0.9729 -0.2311 0.9833 -0.1822 0.9911 -0.1328 0.9965 -0.0831 第一步:设定初始初始权值w,暂时设定为位于极坐标0°,90°,180°,270°角处的四个单位向量;设定初始学习率rate1max和学习率最小值rate1min;设定初始领域半径r1max和领域半径截止值r1min;设定输出层神经元个数为4。 第二步:输入新的模式向量X,即输入以上四类数据样本集A,B,C,D为X。 接着开始Kohonen算法的迭代运算过程,求解最佳权值w即聚类中心

自组织神经网络的优化

自组织多项式神经网络的优化 摘要:由组数据处理方法(GMDH )自动构建和训练的自组织多项式神经网络(SOPNN )模型仅仅优化了 SOPNN 网络顶层节点的权值,该模型的主要缺点是只进行了模型权值的部分优化。为了估计经过改善所 获得模型能达到的近似精确度,粒子群优化(PSO )已经被使用去优化所有多项式节点的权值。因为在计 算上PSO 模型通常是昂贵和耗时的,为此使用了一个更加有效的Levenberg-Marquardt (LM )算法去优化 SOPNN 。由LM 算法优化后的SOPNN 模型性能上胜过了基于ANN 和SVM 的模型。本文的研究是基于时 间约束下热动力影响的液体流动测量的元模型。通过多层叠加震荡递推关系的学习,我们演示了优化后的 SOPNN 模型的显著特性。 关键词:多项式神经网络;GMDH ;LM 算法;粒子群优化 绪论 SOPNN 网络的构建是通过将低阶多项式与多层多项式结构相结合,在这个网络中,低阶 多项式的系数用以最小化近似误差,其值是通过多项式回归获得。GMDH 模型在数字计算机 上很容易执行,对于低复杂网络,可以获得合理的近似精度。因为GMDH 在多项式回归和模 型选择中使用的是独立的数据集,致其不支持过度拟合。当将其应用于非线性行为的实时补 偿时,GMDH 和其他常见的模型所采取的策略一样,其自组织特性会去除这个复杂结构模型 和参数。 往往是通过对单个参数的测量评价SOPNN 网络的性能,例如最小方差,其主要是最小 化了模型的近似误差而并非模型的复杂度。当建立具有时间约束性应用的模型时,其约束可 以被有效的嵌入到模型选择指标中。当考虑相对于复杂度的精度时,与多层感知器(MLP ) 比较,原SOPNN 模型的性能处于劣势。 由GMDH 算法优化的SOPNN 模型只是对模型权值的部分优化,因为GMDH 算法仅仅优 化了输出节点的权值。在多次训练迭代中,被多项式回归计算后的权值仍然不变。模型在被 遗传编程和反向传播(BP )训练后,其精度和预测可以有很大的提高。但是BP 往往会在局部 最小值处卡住,所以本文提出了一种更加强大的优化方法去训练其权值。 粒子群优化算法(PSO )是一种自然仿生算法,其通过模仿鸟群的飞行来优化模型的权 值。PSO 可以优化所有多项式节点的权值,在实验中用于估计原SOPNN 模型的近似能力。 因为PSO 模型在计算上是昂贵和费时的,之后,我们采用了一种更加复杂的LM 算法去优化 模型的权值。通过模拟,LM 算法的收敛速度数倍于SOPNN 模型。 1、GMDH 、PSO 、LM 算法 1.1、GMDH 算法 如下图所示是一个完全的2层前向3维系统,图中i p ,λ表示一个对应于λ层第i 个节点的 低阶低维多项式。

相关文档
最新文档