基于VC++的人脸识别系统的设计与实现含源程序

目录

摘要............................................................. III 第1章绪论 (1)

1.1引言 (1)

1.2国内外研究现状与人脸识别的发展阶段 (2)

1.3人脸识别的研究内容 (3)

1.4相关学科 (4)

1.5小结 (5)

第2章人脸检测技术研究 (6)

2.1人脸检测问题分类 (6)

2.2人脸模式特征提取法[11] (8)

2.2.1肤色特征 (8)

2.2.2 灰度特征[12] (8)

2.3人脸检测方法分类 (9)

2.3.1 基于知识的方法 (10)

2.3.2 基于统计模型的人脸检测方法 (11)

2.3.3 基于模板的方法[19] (15)

2.4小结 (16)

第3章基于隐马尔可夫模型HMM的人脸识别 (17)

3.1相关背景概念 (17)

3.2隐马尔可夫模型HMM构成元素[16] (18)

3.3隐马尔可夫模型HMM原理 (19)

3.4隐马尔可夫模型基本算法[1] (20)

3.4.1 前向－后向算法 (20)

3.4.2 维特比算法 (24)

3.4.3 Baum－Welch 算法[1] (25)

3.5隐马尔可夫模型在人脸识别中应用 (28)

3.5.1 人脸图像HMM模型状态的确定 (28)

3.5.2 观察值序列 (29)

3.5.3 基于离散余弦变换（DCT）的特征提取方法 (30)

3.5.4 HMM建模训练和人脸识别工作流程 (32)

3.6改进的隐马尔可夫模型在人脸识别中的应用 (35)

3.6.1 观察向量的提取[15] (35)

3.6.2 人脸参数训练[15] (35)

3.6.3 人脸的识别 (36)

3.7小结 (37)

第4章人脸识别系统设计与试验 (38)

4.1人脸识别系统涉及的软件和硬件 (38)

4.1.1 软件部分 (38)

4.1.2 硬件部分 (42)

4.2人脸识别系统 (43)

4.2.1 用户界面介绍 (43)

4.2.2 主要模块介绍 (43)

4.2.3 程序实现界面 (47)

4.2.4 相关人脸数据库 (48)

4.3人脸识别试验 (51)

4.3.1 用Yale人脸库进行人脸识别试验 (51)

4.3.2 用ORL人脸库进行人脸识别试验 (54)

4.3.3 用自建的人脸库进行人脸识别试验 (56)

结论 (60)

致谢 (61)

参考文献 (62)

附录 (64)

摘要

人脸识别技术是生物特征识别技术的重要组成部分，是一个基于多个学科的非常活跃的研究课题。它主要包括了人脸检测、特征提取和人脸识别三方面内容。虽然人类能毫不费力地识别出人脸及其表情，但人脸的识别对于计算机却是一个难度极大的课题。

本文分析了有关人脸识别方面的最新研究成果和最新信息，对所涉及到的学科和存在的问题做了简单的介绍。然后，把人脸识别技术分为人脸检测和人脸识别分别进行系统的探讨和研究。第二章是人脸检测部分，分析了人脸检测问题、人脸模式特征、基于知识和基于统计的人脸检测方法。第三章是人脸识别技术研究部分，在这章中，重点介绍了基于隐马尔可夫模型的人脸识别技术。最后引出嵌入式隐马尔可夫模型的相关知识。

最后，本论文基于MFC和OpenCV1.0，在VC环境下编译生成系统，对系统的各个主要模块进行了详细的分析。系统生成后，分别运用YALE人脸库、ORL人脸库和自建的人脸库进行人脸识别试验，测试系统识别正确率，并把数据纪录到表格中。

关键词: 人脸检测；人脸识别；隐马尔可夫模型（HMM）；嵌入式隐马尔可夫模型(EHMM)

Abstract

Face recognition technology is an important branch of pattern recognition，which is based on varies kinds of subjects。It is one of the most active and challenging tasks for research。It includes two parts: Face Detection and Face Recognition。Despite the fact that human faces are essentially similar，people are very easy skilled at recognizing the identities of people from their faces。It is very easily for the people to recognize faces and expressions。As to computers，face recognition is an extremely difficult task。

This paper summarizes and analyzes the latest results of research and information on face recognition，and makes a brief introduction to the problem of face recognition。Then，the problem of face recognition technology is divided into face detection and face recognition，and will have a deep discussion on the two areas respectively。The second chapter is part of Face Detection，there will have the analysis about the problem of face detection，knowledge-based and statistics-based face detection methods。Chapter 3 is the face recognition technology，and in this chapter，the paper focuses on the face recognition system which is based on the Hidden Markov model。Finally，there will present the relevant knowledge of the embedded hidden Markov model。

Finally，the system is implemented successfully based on the MFC and OpenCV 1.0 in the VC environment，and will give a detailed analysis about the main module of the system。The experiment using YALE face database，the ORL face database，and the database which is made by myself in order to verify the correct rate of the system。The data will be recorded in the table。

Key words: Face Detection；Face Recognition；Hidden Markov Model；Embedded Hidden Markov Model

目录

摘要............................................................. III 第1章绪论 (1)

1.1引言 (1)

1.2国内外研究现状与人脸识别的发展阶段 (2)

1.3人脸识别的研究内容 (3)

1.4相关学科 (4)

1.5小结 (5)

第2章人脸检测技术研究 (6)

2.1人脸检测问题分类 (6)

2.2人脸模式特征提取法 (8)

2.2.1肤色特征 (8)

2.2.2 灰度特征 (8)

2.3人脸检测方法分类 (9)

2.3.1 基于知识的方法 (10)

2.3.2 基于统计模型的人脸检测方法 (11)

2.3.3 基于模板的方法 (15)

2.4小结 (16)

第3章基于隐马尔可夫模型HMM的人脸识别 (17)

3.1相关背景概念 (17)

3.2隐马尔可夫模型HMM构成元素 (18)

3.3隐马尔可夫模型HMM原理 (19)

3.4隐马尔可夫模型基本算法 (20)

3.4.1 前向－后向算法 (20)

3.4.2 维特比算法 (24)

3.4.3 Baum－Welch 算法 (25)

3.5隐马尔可夫模型在人脸识别中应用 (28)

3.5.1 人脸图像HMM模型状态的确定 (28)

3.5.2 观察值序列 (29)

3.5.3 基于离散余弦变换（DCT）的特征提取方法 (30)

3.5.4 HMM建模训练和人脸识别工作流程 (32)

3.6改进的隐马尔可夫模型在人脸识别中的应用 (35)

3.6.1 观察向量的提取 (35)

3.6.2 人脸参数训练 (35)

3.6.3 人脸的识别 (36)

3.7小结 (37)

第4章人脸识别系统设计与试验 (38)

4.1人脸识别系统涉及的软件和硬件 (38)

4.1.1 软件部分 (38)

4.1.2 硬件部分 (42)

4.2人脸识别系统 (43)

4.2.1 用户界面介绍 (43)

4.2.2 主要模块介绍 (43)

4.2.3 程序实现界面 (47)

4.2.4 相关人脸数据库 (48)

4.3人脸识别试验 (51)

4.3.1 用Yale人脸库进行人脸识别试验 (51)

4.3.2 用ORL人脸库进行人脸识别试验 (54)

4.3.3 用自建的人脸库进行人脸识别试验 (56)

结论 (60)

致谢 (61)

参考文献 (62)

附录 (64)

第1章绪论

1.1 引言

近些年来，生物特征的身份认证技术得到了迅速的发展，此技术结合多种学科，是一种前沿的多学科性综合技术，主要结合认知科学，图像处理，计算机图形学，小波分析，机器视觉和模式识别等多个领域。把人脸作为认证的目标已经拥有了几十年的历史，并不是只能在电影中才能看到，现代社会已经可以实现这样的功能，当然还有明显的不足，运用人脸图像来身份识别，主要是因为人的面貌属于人本身固有的生物特征，这种特征具有不可复制，难于伪造的特点，具有唯一性和稳定性，可以作为身份识别的依据。人脸识别的研究可以追溯到上个世纪六、七十年代，经过几十年的曲折发展已日趋成熟，人脸识别是模式识别和计算机视觉的交叉领域。人脸识别将计算机视觉和模式识别结合在一起，广泛地运用在机器人等学科中。作为人类几个外在鉴别特征之一，人脸识别自动鉴别和人类自动分辨有着重要的意义。

计算机人脸识别技术也就是利用计算机分析人脸图象，进而从中提取出有效的识别信息，用来“辨认”身份的一门技术。人脸识别技术应用背景广泛，可用于公安系统的罪犯身份识别、驾驶执照及护照等与实际持证人的核对、银行及海关的监控系统及自动门卫系统等。虽然人类的人脸识别能力很强，能够记住并辨别上千个不同人脸，可是计算机则困难多了。其表现在：人脸表情丰富；人脸随年龄增长而变化；人脸所成图象受光照、成象角度及成象距离等影响[8]。

如今，虽然在这方面的研究已取得了一些可喜的成果，但是人脸识别技术FRT （Face Recognition Technology）在实用应用中仍面临着很严峻的问题，因为人脸五官的分布是非常相似的，而且人脸本身又是一个柔性物体，表情、姿态或发型、化妆的千变万化都给正确识别带来了相当大的麻烦。如何能正确识别大量的人并满足实时性要求是迫切需要解决的问题。总之，要让计算机象人一样方便准确地识别大量的人脸尚需不同学科研究领域的科学家共同做出不懈的努力。

1.2 国内外研究现状与人脸识别的发展阶段

人脸识别是一个算是古老却又年轻的课题，言其古老是因为早在上个世纪，法国Galton就已经开始了这方面的研究，直到七十年代中期以前，典型的模式识别的分类技术始终还是用人脸正面或者侧面特点的距离来度量，而且重点使用的是从侧面人脸图像上提取的几何特征。这一阶段，对图像的约束条件较多，而提取出的特征数目少，自动提取特征的准确度也十分的低。八十年代，对FRT的研究仍处于冷凝状态，没有什么进展。进入九十年代，该课题受到了前所未有的重视，原因是多方面的：首先是在安全系统即商贸系统中有应用需要；其次是受其他技术发展的影响。在九十年代前期，研究的重心集中在分割和特征提取以及设计系统的或神经网络的分类器方面，采用一些传统的统计方法，如：Karhunen—Loeve变换等或新的神经网络技术。这时的识别工作基本上是在实验室里用规模比较小的数据库进行测试，而且多半是用静态图像。除此之外，视频流能提供丰富的人脸信息，因此较多的研究小组和公司把工作重心转移到基于多样本的统计方法或神经网络方法的研究上去。但是，在将理论向实用化转化的过程中，人们认识到只用单样本进行识别的重要性和困难性，言其重要性是因为FRT的一个重要应用是证件核实，在很多应用场合往往只有一张照片可以利用。它的困难性是显然的，因为一张照片的信息量比多张照片的信息量要少多了，人脸丰富的三维通过单张照片是不可能全部反映出来的[17]。

此外，国外已经有许多学校在研究人脸识别技术，研究涉及的领域也非常的广，其中有从感知和心理学角度探索人类识别人脸机理的，如美国Texas at Dallas大学的Abdi和Toole小组，由Stirling大学的Bruce教授和Glasgow大学的Burton教授合作领导的小组等；也有从视觉机理角度进行研究的，如英国的Graw小组和荷兰Groningen大学的Petkov小组等。在用静态图像或视频图像做人脸识别的领域中，比较有影响的有MIT的Media实验室的Pentland小组，他们主要是用基于KL变换的本征空间的特征提取法，名为“本征脸（eigenface）；还有C.vonder Malsburg小组，他领导了美国的Southern California大学和德国的Bochum大学合作，采用动态链接结构和弹性图像匹配等方法；还有Perinceton大学Cox领导的NEC小组等；从1994年开始，一些科研单位和公司开始将研究成果转移为实用产品，如Miros公司的True Face，Visinocs公司的Facelt，ZNBochum GmbH公司研制的ZN—Face等[17]。

而我国国内也有不少的人从事人脸识别研究，主要有上海交通大学的李介谷等研究基于计算机视觉场模型的人脸识别研究技术，清华大学的边肇祈等从事基于KL变换的人脸识别研究，东南大学的程永清等从事基于统计方法，主要是奇异值分解方法的人脸识别研究，另外哈尔滨工业大学的贾小光和原上海工业大学的郑坚平等都在正面人像的识别方面做过工作。还有很多的研究者。

人脸识别的输入图像通常有三种情况：正面，倾斜，侧面。由于实际情况的要求，对人脸正面模式研究最多，它发展大致可分为三个阶段[17]：

(1)第一阶段是研究人脸识别所需要的面部特征，这方面以Bertillon、Allen和Parke 为代表。Bertillon的系统用一条简单语句与数据库中的人脸相关联，Allen为待识别人脸设计了有效、逼真的描写，Parke用计算机实现了Allen的方法，生成了较高质量的人脸灰度图模型。总的来说，这一阶段工作主要依赖于人的操作，还不能完成自动的人脸识别工作。

(2)第二阶段是人机交互识别，代表性工作有：Goldstion、Harmon和Lesk用几何特征参数来表示人脸正面图像。他们采用高维特征矢量表示人脸面部特征；Kara和Kobayashi使用基于统计的识别方法，用欧氏距离表征人脸。T.Kanade（M.Nagao）使用积分投影方法计算出一族人脸特征参数，再利用模式分类技术与标准人脸匹配。

(3)第三阶段是自动机器人脸识别是近年来发展起来的，随着计算机的快速发展，自动人脸模式识别方法取得了较大的进展。目前，自动识别技术主要分为三大类：几何特征法、统计特征法和连接机制法。

1.3 人脸识别的研究内容

人脸识别最初包括了人脸检测，是一个多环节的综合性课题，但近年来，由于其人脸检测在安全访问控制，视觉监测，基于内容的检索和新一代人机界面等领域的应用价值，开始作为一个独立的课题受到了研究者的普遍重视。所以在人脸识别的研究中，主要是包括了人脸检测、特征提取和人脸识别三部分内容。

人脸检测：人脸检测的目的很明显，就是为了测试在画面中有没有人脸，人脸定位是将人脸从背景中分割出来，并让系统明白人脸或者人脸上的某些器官在图像上的位置。很多算法中，在人脸检测出来的同时完成了定位。

特征提取：识别方法的不同决定了人脸特征一般也不同，比如说在基于几何特征

的识别方法中，第一步要提取特征点，然后由特征点构造特征矢量，在基于统计的识别方法中，本征脸法是利用图像相关矩阵的本征值构造特征矢量，隐马尔可夫过程法是对多个样本图像的空间序列训练出一个HMM的模型，它的参数就是特征值，模板匹配法用相关系数作特征，而神经网络方法则直接用归一化后的灰度图像作为输入，没有专门的特征提取过程，这是要区别开来的。

人脸识别：我们最终的目的就是要把人脸给识别出来，将待识别的图像的特征与库里图像的特征进行匹配，它要解决的问题是将某张人脸与库里已登记的某个名字或代号对应起来。如果已经提取到了比较具体的特征值，识别就等于特征的匹配问题了，而对于那些基于图像灰度信息的识别方法如模板匹配，神经网络等的，就相对复杂些，不过最终还是归到匹配的问题。

1.4 相关学科

要建立一套完整的人脸识别系统（Face Recognition System），必然要综合运用

如下几大学科领域的知识，只有把这几大学科的知识综合起来，才能顺利的达到识

别目的。相关的学科有：

数字图像处理[2]

这是一门用计算机对图像数据进行加工处理的学科，它主要有以下几方面的内容：图像的数字化、图像增强、图像复原、图像的压缩编码、图像分割、图像描述

以及运动图像的处理等。这些内容渗透在FRT的诸多环节中。

模式识别

模式识别[1]，就是通过计算机用数学技术方法来研究模式的自动处理和判读。

我们把环境与客体统称为“模式”。随着计算机技术的发展，人类有可能研究复杂

的信息处理过程。信息处理过程的一个重要形式是生命体对环境及客体的识别。计

算机识别的显著特点是速度快，准确性高，效率高。这门学科使用计算机的方法实

现人的模式识别能力，即对各种事物或现象进行分析、描述、判断和识别。在人脸

识别中，如果是个人识别，则每一个人就是一个模式，预先存在数据库里的图像就

是样本；如果是性别识别，种族识别和年龄识别，则不同的性别、种族或年龄区别

构成一个模式；如果是表情识别，则不同的表情就是一个模式。本文以下的内容是

通过HMM这样的方式进行的人脸识别建模。

计算机视觉

视觉是人类获取信息的主要来源，也是适应复杂、变化环境的感知基础。人类

的视觉系统利用投影到视网膜上的二维的像对物体进行三维的理解。为此，计算机

需要具有处理、分析和理解图像的能力。计算机视觉是一门用计算机来实现人的视

觉功能，实现客观三维世界的识别的学科。

神经网络[13]

人工神经网络是一门以对大脑的生理研究成果为基础，以用机器模拟大脑的某

些机理与机制，实现某方面功能为目的的学科。人是万物之灵，区别人与动物的是

其发达的大脑及进化的智慧。研究神经网络，特别是神经学习的机理，对认识和促

进人自身发展有特殊的意义。人工神经元网络也许永远无法代替人脑，但它能帮助

人类扩展对外部世界的认识和智能控制。神经网络有许多具有非线性映射能力的神

经元组成，神经元之间通过权系数连接。网络的信息分布式就存在连接系数中，使

网络具有很高的容错性和鲁棒性。神经网络技术已被有效地用到组合优化、图像处理、模式识别、自动控制等方面。由于它的高鲁棒性能解决输入模式有噪声干扰和

部分有缺损地问题，它地自组织、自适应学习功能能放松传统识别方法所需的约束

条件，所以神经网络技术对某些识别问题显示出很大的优越性。基于神经网络技术

的人脸识别方法是人脸识别研究领域中的一大重要分支。

1.5 小结

本章主要是初步介绍了本次论文所涉及的基本的概念，对人脸识别这个前沿课题进行了大体的分析，首先通过引言来引出了人脸识别的重要性，然后分析了国内外的研究现状，提出了人脸识别的三个发展阶段，然后又分析了人脸识别所要研究的内容，主要分为人脸检测，特征提取和人脸识别三大步骤。最后，本章提出了与人脸识别相关的课题以及现状人脸识别技术存在的问题。基于人脸识别的内容分类，在下一章中，将会进一步深入的研究人脸检测，结合特征提取，对人脸检测进行归纳和分析。

第2章人脸检测技术研究

人脸检测问题最初来源于人脸识别，人脸检测主要指在输入图像中确定所有人脸的位置、大小、位姿的过程。人脸检测研究具有重要的学术价值。人脸是一类具有相当复杂的细节变化的自然结构目标，此类目标的检测问题具有高度挑战性，其主要的难点有两方面，一方面是由于人脸内在的变化所引起：(1) 人脸具有相当复杂的细节变化，不同的外貌如脸形、肤色等，不同的表情如眼、嘴的开与闭等；(2) 人脸的遮挡，如眼镜、头发和头部饰物以及其他外部物体等；另一方面由于外在条件变化所引起：(1) 由于成像角度的不同造成人脸的多姿态，如平面内旋转、深度旋转以及上下旋转，其中深度旋转影响较大；(2) 光照的影响，如图像中的亮度、对比度的变化和阴影等。(3) 图像的成像条件，如摄像设备的焦距、成像距离，图像获得的途径等等。

2.1 人脸检测问题分类

人脸检测问题包含的内容十分的广泛，总结成以下表格2－1来总结面临问题的分类[11]。

表格 2－1 人脸检测问题分类

以上表2－1可知，人脸的图像所包含的模式特征十分的丰富，在这些特种中，如何提取出有用的特征来进行人脸检测是一个关键的问题。人脸模式具有复杂的变化，一般需要采用同时提取多个模式的方式，即特征综合的方法。

一般的，根据利用特征的色彩属性可以将人脸检测方法分为基于肤色特征的方法和基于灰度特征的方法两类。前者适用与构造快速的人脸检测和人脸跟踪算法，后者

利用了人脸区别于其它物体的更为本质的特征，是人脸检测领域研究的重点。根据特征综合时采用的不同模型，可以将基于灰度特征的方法分为两大类：基于启发式（知识）模型的方法和基于统计模型的方法。由于人脸检测问题的复杂性，无论那一类方法都无法适应所有的情况，一般都针对人脸检测领域内某个或某些特定的问题。下图2－1是人脸模式的特征图[11]。

图2－1 人脸模式的特征

图2－2 各种特征综合

2.2 人脸模式特征提取法[11]

人脸模式的特征包括肤色特征和灰度特征。

2.2.1肤色特征

肤色作为人脸的重要信息，不受面部的细节特征的影响，对于旋转，表情等变化情况都能适用，具有相对的稳定性并且和背景颜色区分明显。所以，肤色特征在人脸检测中是一种常用的方法。肤色特征主要由肤色模型描述。使用何种形式的肤色模型与色度空间（Chrominance Space）的选择密切相关。可以从两个方面考察某种色度空间：（1）在该色度空间中能否用给定的模型描述“肤色”区域的分布；（2）色度空间中“肤色”与“非肤色”区域的重叠有多少。人脸检测常用的色度空间主要有：RGB （红、绿、蓝三基色）、rgb（亮度归一化的三基色）、SHI（饱和度、色调、亮度）、YIQ（NTSC制的光亮度和色度模型）、YUV（PAL制的光亮度和色度模型）、YCbCr （CCIR601编码方式的色度模型，与YUV在数学上具有等价性）、CIEL*a*b（国际照明委员会提出的基于色度学的彩色模型）等。

一般而言，常用的肤色模型有高斯模型、混合高斯模型和直方图模型。Terrillon 等考察了归一化的r-g、CIE-xy、归一化的TSL、CIE-DSH、HSV、YIQ、YES、CIE-L*u*v 和CIE-L*a*b九种色度空间，比较了高斯模型和混合高斯模型在不同色度空间中的性能，发现除了少数情况外，一般需要使用混合高斯模型才能较好地描述肤色区域的分布。Terrillon等同时指出，最终限制检测性能的因素是不同色度空间中“肤色”与“非肤色”区域的重叠程度。Jones等研究了RGB空间中“肤色”与“非肤色”象素的分布，根据标定出肤色区域的近二万幅图片（包含约二十亿个象素）建立了三维直方图，在此基础上比较了直方图模型和混合高斯模型，发现前者的性能略好于后者。除上述三种肤色模型外，还有直接利用几何参数描述肤色区域分布范围的模型、三维投影模型、基于神经网的肤色模型等。此外也有同时考虑“肤色”与“非肤色”象素分布的基于贝叶斯方法的模型。

2.2.2灰度特征[12]

灰度特征包括了人脸灰度分布特征，器官特征，模板特征，人脸轮廓特征等。

其中，人脸灰度分布特征包括了镶嵌图特征和直方图特征等。轮廓是人头部的重要

特征。Craw 等首先在低分辨率图象中使用一个轮廓模板匹配出人脸的大致范围，然后在高分辨率图象中使用Sobel 算子获得边缘的位置和方向，并连接出完整的人脸轮廓。Wang 等提取边缘特征并根据广义Hough 变换抽取椭圆形状信息。

人脸核心区域（眼睛、鼻子、嘴区域）具有独特的灰度分布特征。Yang 等首先提出了人脸的镶嵌图（Mosaic Image ，又称为马赛克图）特征。所谓镶嵌图就是将图象划分为一组大小相同的方格，每个方格的灰度为格中各个象素的平均值。镶嵌图特征是指这些块的值应满足的约束规则。Lv 等依据人脸的左右对称性，通过提取投影直方图特征检测人脸的旋转角度，再提取镶嵌图特征。Dai 等提取空间灰度共现矩阵（SGLD ）特征等等。人脸区域内的各个器官（如双眼、鼻子、嘴等）是人脸的重要特征。Kouzani 等使用人工神经网分别检测眼睛、鼻子、嘴以及人脸的整体特征。 人脸区域的灰度本身可以作为模板特征，通常取仅包含双眼、鼻子和嘴的面部中心区域作为共性的人脸模板特征，排除掉头发、脸颊两侧变化很大的部分。被广泛地用于基于统计学习的人脸检测方法中。

2.3 人脸检测方法分类

人脸检测的最终的目的在于判断一幅给定的图像中是否含有人脸，如果有，则确定其位置和空间分布。人脸检测的对象广义上讲不仅是整张人脸，还包括眼睛、鼻子等面部器官，从它们的特征所反映出的信息是进行人脸检测的依据，因此选择合适的模型特征是人脸检测关键问题之一。人脸检测的主要方法如图2－3所示。

图2－3 人脸检测主要方法分类