人脸特征提取与识别参考

本科生毕业设计（论文）文献综述题目：人脸特征提取与识别

姓名：

学号：

学院：

专业：

年级：

指导教师：（签名）系主任（或教研室主任）：（签章）

目录

1 前言 (1)

2 人脸特征提取与识别方法 (1)

2.1 基于几何特征的方法 (1)

2.2 基于特征脸的方法 (2)

2.3 局部特征分析LFA方法 (3)

2.4 基于弹性模型的方法 (4)

2.5 神经网络方法 (4)

2.6 其他方法 (5)

3 总结 (5)

致谢： (6)

参考文献： (6)

人脸特征提取与识别

1前言

近年来，Internet和多媒体技术飞速发展，多媒体（包括图像、视频等）数据规模急剧膨胀。为了快速、准确地找到感兴趣的图像或视频，人们提出了基于内容的图像检索(content-based image retrieval，简称CBIR)技术，研究让计算机对图像进行分类和检索的算法。CBIR涉及图像内容表示、相似性度量、高维索引技术等方面。[1]图像内容的表示是需要首先解决的问题。为了实现对图像内容的存取、访问和检索，MPEG-7提出了图像内容描述子的概念，例如颜色描述子、纹理描述子、形状描述子等。

图像颜色内容通常用颜色直方图来表示，纹理特征以纹理模式区分图像，形状特征用于包含特定形状对象的图像检索。颜色直方图（或称为颜色谱）因其简单、有效的性能而在大多数CBIR系统中得到应用，但是颜色直方图对纹理图像的检索效果不好。不同的纹理图像可能有非常相似的颜色直方图。

所谓图像纹理，它反映的是图像的一种局部结构化特征，具体表现为图像像素点某邻域内像素点灰度级或者颜色的某种变化，而且这种变化是空间统计相关的，它由纹理基元和基元的排列两个要素构成。纹理分析方法有统计方法、结构方法和基于模型的方法。

2人脸特征提取与识别方法

人脸识别本质上是三维塑性物体二维投影图像的匹配问题，它的困难体现在：(1)人脸塑性变形(如表情等)的不确定性；(2)人脸模式的多样性(如胡须、发型、眼镜、化妆等)；(3)图像获取过程中的不确定性(如光照的强度、光源方向等)。识别人脸主要依靠人脸上的特征。也就是说依据那些在不同个体上存在的较大差异而对同一个人则比较稳定的度量。由于人脸变化复杂，因此特征表述和特征提取十分困难。

在对人脸图像进行特征提取和分类之前一般需要做几何归一化和灰度归一化。几何归一化是指根据人脸定位结果将图像中人脸变换到同一位置和同样大小，灰度归一化是指对图像进行光照补偿等处理，光照补偿能够一定程度地克服光照变化的影响而提高识别率。

2.1 基于几何特征的方法

人脸由眼睛、鼻子、嘴巴、下巴等部件构成，正因为这些部件的形状、大小和结构上的各种差异才使得世界上每个人脸干差万别，因此对这些部件的形状和结构关系的几何描述，可以作为人脸识别的重要特征。几何特征最早是用于人脸侧面轮廓的描述与识别，首

先根据侧面轮廓曲线确定若干显著点，并由这些显著点导出一组用于识别的特征度量如距离、角度等。Jia等由正面灰度图中线附近的积分投影模拟侧面轮廓图是一种很有新意的方法。[2]

采用几何特征进行正面人脸识别一般是通过提取人眼、口、鼻等重要特征点的位置和眼睛等重要器官的几何形状作为分类特征，但Roder对几何特征提取的精确性进行了实验性的研究，结果不容乐观。[3]可变形模板法可以视为几何特征方法的一种改进，其基本思想是：设计一个参数可调的器官模型(即可变形模板，如图2-1，图2-2所示)，定义一个能量函数，通过调整模型参数使能量函数最小化，此时的模型参数即做为该器官的几何特征。这种方法思想很好，但是存在两个问题，一是能量函数中各种代价的加权系数只能由经验确定，难以推广；二是能量函数优化过程十分耗时，难以实际应用。[4]

图2-1 可变形模板法的眼模型

图2-2 可变形模板法的嘴模型

基于参数的人脸表示可以实现对人脸显著特征的一个高效描述，但它需要大量的前处理和精细的参数选择。同时，采用一般几何特征只描述了部件的基本形状与结构关系，忽略了局部细微特征，造成部分信息的丢失，更适合于做粗分类，而且目前已有的特征点检测技术在精确率上还远不能满足要求，计算量也较大。

2.2 基于特征脸的方法

Turk和Pentland提出特征脸的方法，它根据一组人脸训练图像构造主元子空间，由于主元具有脸的形状，也称为特征脸(如图2-3所示)。识别时将测试图像投影到主元子空

间上，得到一组投影系数，和各个己知的人脸图像比较进行识别。Pentland 等报告了相当好的结果，在200个人的3000幅图像中得到95％的正确识别率，在FERET数据库上对150幅正面人脸象只有一个误识别。但系统在进行特征脸方法之前需要作大量预处理工作，如归一化等。

图2-3 Pentland 得到的特征脸(主特征向量)

在传统特征脸的基础上，研究者注意到特征值大的特征人脸识向量(即特征脸)并不一定是分类性能好的方向，据此发展了多种特征（子空间）选择方法，如Peng的双子空间方法、Weng的线性歧义分析方法、Belhumeur的FisherFace方法等。事实上，特征脸方法是一种显式主元分析人脸建模，一些线性自联想、线性压缩型BP网则为隐式的主元分析方法。它们都是把人脸表示为一些向量的加权和，这些向量是训练集叉积阵的主特征向量，Valetin对此作了详细讨论。总之，特征脸方法是一种简单、快速、实用的基于变换系数特征的算法，但由于它在本质上依赖于训练集和测试集图像的灰度相关性，所以还有着很大的局限性。[5]

2.3 局部特征分析LFA方法

主元子空间的表示是紧凑的，特征维数大大降低，但它是非局部化的，其核函数的支集扩展在整个坐标空间中，同时它是非拓扑的，某个轴投影后邻近的点与原图像空间中点的邻近性没有任何关系，而局部性和拓扑性对模式分析和分割是理想的特性，似乎这更符合神经信息处理的机制，因此寻找具有这种特性的表达十分重要。基于这种考虑，Atick 提出基于局部特征的人脸特征提取与识别方法。这种方法在实际应用取得了很好的效果，它构成了Facelt软件的基础。

局部特征分析（Local Feature Analysis，LFA）是一种基于特征表示的面像识别技术，源于类似搭建积木的局部统计的原理。LFA 基于所有的面像(包括各种复杂的式样)都可以从由很多不能再简化的结构单元子集综合而成。这些单元使用复杂的统计技术而形成，它们代表了整个面像，通常跨越多个像素（在局部区域内）并代表了普遍的面部形状，但并不是通常意义上的面部特征。实际上，面部结构单元比面像的部位要多得多。

然而，要综合形成一张精确逼真的面像，只需要整个可用集合中很少的单元子集(12～40特征单元)。要确定身份不仅仅取决于特性单元，还决定于它们的几何结构(比如它们的相关位置)。通过这种方式，LFA 将个人的特性对应成一种复杂的数字表达方式，可以进

行对比和识别。“面纹”编码方式是根据脸部的本质特征和形状来工作的，它可以抵抗光线、皮肤色调、面部毛发、发型、眼镜、表情和姿态的变化，具有强大的可靠性，使它可以从百万人中精确地辨认出一个人。银晨面像识别系统用的就是这种方法。

2.4 基于弹性模型的方法

Lades等人针对畸变不变性的物体识别提出了动态链接模型（DLA）[6]，将物体用稀疏图形来描述，其顶点用局部能量的多尺度描述来标记，边则表示拓扑连接关系并用几何距离来标记，然后应用塑性图形匹配技术来寻找最近的己知图形。Wiscott等人在此基础上作了改进，用FERET等图像库做实验，用300幅人脸图像和另外300幅图像作比较，准确率达到97.3％；此方法的缺点是计算量非常巨大。

Nastar将人脸图像I(x，y)建模为可变形的3D网格表面(x，y，I(x, y))，从而将人脸匹配问题转化为可变形曲面的弹性匹配问题[N1]。利用有限元分析的方法进行曲面变形，并根据变形的情况判断两张图片是否为同一个人。这种方法的特点在于将空间(x，y)和灰度I(x，y)放在了一个3D 空间中同时考虑，实验表明识别结果明显优于特征脸方法。

Lanitis等提出灵活表现模型方法，通过自动定位人脸的显著特征，将人脸编码为83 个模型参数，并利用辨别分析的方法进行基于形状的人脸识别。

2.5 神经网络方法

目前神经网络方法在人脸识别中的研究方兴未艾。Valentin 提出一种方法，首先提取人脸的50 个主元，然后用自相关神经网络将它映射到5 维空间中，再用一个普通的多层感知器进行判别，对一些简单的测试图像效果较好；Intrator等提出了一种混合型神经网络来进行人脸识别，其中非监督神经网络用于特征提取，而监督神经网络用于分类。Lee 等将人脸的特点用六条规则描述，然后根据这六条规则进行五官的定位，将五官之间的几何距离输入模糊神经网络进行识别，效果较一般的基于欧氏距离的方法有较大改善；Laurence等采用卷积神经网络方法进行人脸识别，由于卷积神经网络中集成了相邻像素之间的相关性知识，从而在一定程度上获得了对图像平移、旋转和局部变形的不变性，因此得到非常理想的识别结果；Lin等提出了基于概率决策的神经网络方法(PDBNN)，其主要思想是采用虚拟(正反例)样本进行强化和反强化学习，从而得到较为理想的概率估计结果，并采用模块化的网络结构(OCON)加快网络的学习。这种方法在人脸检测、人脸定位和人脸识别的各个步骤上都得到了较好的应用。其它研究还有：Dai等提出用Hopfield 网络进行低分辨率人脸联想与识别；Gutta等提出将RBF 与树型分类器结合起来进行人脸识别的混合分类器模型；Phillips等人将Matching Pursuit滤波器用于人脸识别；还有人用统计学习理论中的支撑向量机（SVM）进行人脸分类。[7]

神经网络方法在人脸识别上的应用比起前述几类方法来有一定的优势，因为对人脸识

别的许多规律或规则进行显性的描述是相当困难的，而神经网络方法则可以通过学习的过程获得对这些规律和规则的隐性表达，它的适应性更强，一般也比较容易实现。

2.6 其他方法

Brunelli等对模板匹配方法作了大量实验，结果表明在尺度、光照、旋转角度等各种条件稳定的情况下，模板匹配的效果优于其他方法，但它对光照、旋转和表情变化比较敏感，影响了它的直接使用。Goudail等人采用局部自相关性作为人脸识别的判断依据，它具有平移不变性，在脸部表情变化时比较稳定。

在最近的一些工作中，Benarie等提出VFR的表示框架并将它用于人脸识别的工作中，Lam等人研究了不同视点下的人脸匹配和识别问题，Vetter 等人讨论了由单幅人脸图像生成其他视点的人脸图像的可能性，Mirhosseini等则探讨了多种信息融合的人脸识别方法。[8]

3总结

作为模式识别、图像分析与理解等领域的典型研究课题，人脸识别不仅在理论上具有重要价值，而且在安全、金融等领域具有重要的应用前景，因此在学术界和产业界都受到了广泛的关注，目前已经出现了一些实用的商业系统。然而，由于图像采集条件和人脸自身属性的变化，例如图像采集时的光照、视角、摄像设备的变化，人脸的表情、化妆、年龄变化等，都可能使得同一人的不同照片表观差别很大，造成识别上的困难。因此，提高人脸识别系统对这些变化的鲁棒性成为该领域研究人员的重要目标之一。为实现鲁棒的识别，可以从人脸建模、分类器设计等不同角度入手：前者试图从寻求对各种外界条件导致的图像变化具有不变性的人脸描述入手；而后者则试图使得分类器对特征的变异有足够的鲁棒性。另外，也可以同时从两个角度入手解决问题。

在人脸识别的早期，基于表观(appearance)的人脸识别方法往往直接采用图像灰度作为特征进行分类或者特征选择的基础，如Correlation，Eigenfaces，Fisherfaces等。而近年来，对图像灰度进行多尺度、多方向的Gabor 小波变换逐渐成为主流的思路之一，这主要是因为Gabor 小波可以很好地模拟大脑皮层中单细胞感受野的轮廓，捕捉突出的视觉属性，例如空间定位、方向选择等。特别是Gabor 小波可以提取图像特定区域内的多尺度、多方向空间频率特征，像显微镜一样放大灰度的变化，这样，人脸图像中的眼睛、鼻子和嘴以及其他一些局部特征被放大。因此，采用Gabor 变换来处理人脸图像，可以增强一些关键特征，以区分不同人脸图像。Gabor 小波也因此在人脸识别中得到了广泛的应用，如弹性图匹配、基于Gabor 特征的Fisher 判别、基于AdaBoost的Gabor 特征分类等。但是，由于多尺度、多方向的Gabor 分解使得数据的维数大量增加，尤其当图像尺寸偏大时更为严重，为避免维数灾难问题必须进行降维。弹性图匹配方法仅对人脸

图像中部分关键特征点进行Gabor 变换，并将人脸描述为以这些特征点位置为顶点、以其Gabor 变换系数为顶点属性、以其关键点位置关系为边属性的属性图，从而将人脸识别问题转化为图匹配问题，但该方法对特征点的选择和配准有较高的要求。直接降维的方法是在Gabor 变换系数下采样，然后采用Fisher 判别分析方法进一步提取特征，但简单下采样很可能造成一些重要信息的丢失。[9]

近年来，基于局部二值模式(local binary pattern,简称LBP)的人脸识别方法受到人们的关注，该方法来源于纹理分析领域。它首先计算图像中每个像素与其局部邻域点在亮度上的序关系，然后对二值序关系进行编码形成局部二值模式，最后采用多区域直方图作为图像的特征描述。该方法在FERET 人脸图像数据库上取得了很好的识别性能。LBP 方法本质上提取的是图像边缘、角点等局部变化特征，它们对于区分不同的人脸是很重要的。但是，边缘特征有方向性和尺度差异，角点特征也同样有不同的尺度，或者说边缘、角点等图像特征的方向性和尺度包含了更多的可以区分不同人脸的细节信息。

致谢：

感谢一直以来给予我指导的李剑敏老师，在这期间给老师添了不少麻烦。李老师总是在百忙之中尽量的抽出时间来给我们分析、解决研究和设计中所遇到的各种问题。谢谢所有帮助过我的人。

参考文献：

[1]施智平，胡宏，李清勇，史忠植，段禅伦。基于纹理谱描述子的图像检索。北京：软件学报，2005。

[2]H.Zabrodsky et al. IEEE Trans.PAMI,1995,17:1154∽1166

[3]张俊,何昕,李介谷.基于面部几何特征点提取的人脸识别方法. 红外与激光工程, 1999年8 月第28卷

第4期

[4]山世光.面部特征检测与识别的研究与实现.[工学硕士学位论文].哈尔滨工业大学硕士学位论文,1999

年7月

[5]Turk M, Pentland M. Eigenfaces for Recognition. J Cognitive Neurosci, 1991,3(1):71-7941

[6]Lades M., Vorbruggen J.C., Buhmann J., Lange J., C. von der Malsburg, R.P.Wurtz, and

W.Konen, Distortion Invariant Object Recognition in the Dynamic Link Architecture, IEEE Trans. Computers, vol. 42, no. 3, pp. 300-311, Mar. 1993.

[7]Y.Dai and Y.Nakano. Pattern Recognition, 1996,29:1007~1017

[8]Morimoto C, Yacoob, Davis L. Recognition of head gesture using hidden markov models.

In:Proc International Conference on Automatic

Face-and-Gesture-Recognition,Zurich,1995,1105—111027

[9]张文超，山世光，张洪明，陈杰，陈熙霖，高文。基于局部Gabor 变化直方图序列的人脸描述与

识别。北京：软件日报，2006。