关于人脸识别的研究综述——潘亮亮

关于人脸识别技术的最新进展综述

潘亮亮1

(中国科学院深圳先进技术研究院，广东深圳)

摘要：人脸识别是人类最常用的身份辨识手段，也是生物特征识别研究最活跃的领域之一。在这篇综述报告中，我调查了近几年来关于人脸识别技术的最新进展。首先我会介绍基于几何特征的3D人脸检测和识别技术，重点会介绍基于鼻补丁和表达曲线的识别算法。接着会介绍深度学习技术在人脸识别方面的贡献。最后，我希望能够从当前的研究现状中找到灵感，提出更鲁棒的识别算法。

关键词：人脸识别；人脸检测

A Survey of Recent Advances in face recognition technology

ll.pan1

(1.Shenzhen Institutes of Advanced Technology，Chinese Academy of Sciences，Shenzhen，Guangdong，China) Abstract：Face recognition is the most common means of human identity identification,and it is also one of the most active areas of biological feature recognition research.In this review report,I surveyed the recent advances in face recognition technology.First,I will introduceface detection and recognition technology based on3D geometric features.And i will focused introduce recognition algorithm based on the nasal patches and curve for expression.Next i will introduce the contribution of deep learning on face recognition technology.Finally,I wish to find inspiration from the current status of research,proposes a more robust recognition algorithm.

Key words：face recognition;face detection

1.简介：

最早的人脸识别的研究始于19世纪末，而现

代的研究始于20世纪60年代，20世纪90年代以

来，随着高性能计算机的出现，人脸识别方法有了

重大突破成为研究热点，进入了真正的机器自动识

别阶段。人脸识别是利用人脸部的稳定特征进行身

份识别的，它是一种无侵害性的、方便、友好的生

物特征识别方式，所以很可能会成为最容易被人们接受的生物特征识别手段。

人脸检测与识别技术包括三个阶段：人脸的检测定位、人脸的特征提取、人脸的识别；人脸的特征提取与人脸识别关系较密切，很多场合认为它们属于同一个阶段。识别流程图1.：

目前的人脸识别方法主要有三种：基于几何特征的人脸识别方法、基于代数特征的人脸识别方法、基于连接机制的识别方法。虽然它们都曾取得了一定的成功，但是仍各有其缺点。近年来，除了以奇异值特征为代表的代数特征方法以及基于K-L变

图1：人脸识别流图

换的特征脸方法取得了新进展外，小波变换、神经网络、支持向量机等方法均在人脸识别研究中取得了很广泛的应用。目前，基于人脸三维几何特征的方法得到了广泛的使用，是目前人脸识别方向上一个非常受欢迎的方向。

1.1基于几何特征和代数特征的人脸识别方法

基于几何特征的人脸识别方法主要利用人脸上一些不易改变的特征或者属性，如，形状、文理以

及边缘特征等，来检测人脸，它的优点是对人脸的表情、姿态、旋转等有不错的鲁棒性，但是它的缺点在于很难提取稳定的特征，对检测的样本图片的质量要求高，受光照、噪声等影响严重。主要有模板匹配算法以及基于外观形状的算法。基于代数特征的人脸识别方法主要是将人脸图像转化为以像素为单位的灰度矩阵，利用灰度矩阵的特征来进行人脸的检测和识别。在前几年，主成分分析（PCA），Fisher线性判别（LDA），特征脸（Eigenfaces），拉普拉斯脸（Laplacianfaces）等基于几何特征的人脸识别方法得到了广泛的研究和使用。尤其是PCA 方法，PCA方法用于人脸识别的应用主要分为四个步骤：1）人脸图像的预处理；2）读入人脸库并训练特征子空间；3）投影训练图像和测试图像到同一个子空间；4）设定一定大小的阈值，进行判别。但近几年的人脸识别研究很少在这方面单独研究，大部分是和几何特征融合在一起进行研究。它的优点是具有一定的稳定性，对不同亮度和表情有一定的鲁棒性。最早的基于特征的尝试之一是Kanade等人[1]，他用简单的图像处理方法提取16个面部参数—即距离，面积和角度的比率，以及使用简单的欧式距离匹配，在每人2张图片20个不同的人的数据库上实现了75%的准确率的性能。大部分的人脸识别的应用都是在一些复杂的场景，尤其受到光照因素的影响。解决这个问题传统的方法可以大致分为三类：基于外观，基于归一化，和基于特征的方法。在直接的基于外观的方法中，训练的样本是从不同的照明条件下收集并直接用于学习的各种照明变化的全局模型，但它需要大量的训练图像和一个富有表现力的特征集，否则它必须包括一个良好的预处理，以减少照明变化。基于归一化的方法寻求图像缩小到更“规范”的形式，照明变化被抑制。直方图均衡化就是这种方法中最简单的一种。这种方法是相当有效的，但他们的处理空间不均匀变化的能力仍然有限。第三种方法直接从给定的图像集提取光照不敏感的特性。这些功能集包括从几何特征到图像衍生特征，例如边缘图，LBP，Gabor小波和局部自相关滤波器。虽然这些特征在原始灰度值有很大的改进，但对发生在现实世界的人脸图像的复杂光照变化还是相当有限的。综合的框架，V Karthikeyan等人在2014年提出了结合以上三种优势的结构[9]——合成归一化梯度结构(integral normalized gradient)。整个过程可以被看作是一个图像的流水线。首先输入图像，使用Retinex或者SQI 方法对原图像做平滑滤波。同时对原始图像做x,y 方向的梯度处理。然后将平滑后的图像与梯度化的图像分别归一化N={Nx,Ny}，将两幅归一化的图像进行重构，将重构的结果和原始图像进行融合。得到最终用于识别的图像。该系统在不能光照的条件下伟伟图像的识别率达到了88.1%，且只有0.1%错误识别率。但是这个模型的预处理过程过于繁琐。近几年的一些研究文献中基于外观形状的方法大多是利用脸部轮廓的3D模型测作检测，主要是利用基于曲率的几何特征进行匹配。最早的应用不变函数用于三维面部识别技术是十多年前，那时候，人们开始从微分几何中引入一些几何属性，例如主曲率，高斯曲率等。Song等人的工作[2]检测出人脸的三个区域眼睛，鼻子和嘴的特征，然后通过计算这些区域的几何特征——欧式距离，面积，角度和体积，利用这些几何特征来进行人脸的识别匹配，但是这种方法预处理过程太繁琐。Zaeri等人[3]研究了一种新的三维人脸图像采集和捕获系统,一个用于三维人脸图像特征特性及特征提取的试验台，被证明了它的有效性。但是它的识别率仍然有待提高。因为纹理特征在识别对象和场景时能够确定感兴趣对象的均匀性，亮度，密度，粗细，平滑性，规律性等等。Yousra Ben Jemma等人09年层发表[5]提出通过利于Gabor系数得到的几何距离和纹理特征相结合的方法能够产生非常好的识别效果。于是，A Suruliandi等于在13年，又提出了一种结合几何特征和纹理特征的心方法[4]，并且在JAFFE和ESSEX数据集上的实验结果表明，纹理描述局部二元模式能够实现将所有所考虑的问题达到更好的识别精度。VD Kaushik等人在[7]中提出了一种新的从3D人脸提取特征几何建模的方法。它描述了一个新的自动姿态和表情不变特征提取算法来提取眉毛，鼻子和三维人脸数据的嘴唇特征。该方法既不使用强度信息也不使用纹理来提取特征，因此，该算法对缩放，旋转，姿势和照明的改变都不敏感。Y Lei 等人提出的基于PCA几何特征和二维人脸识别的

融合方法[6]。首先利用主成分分析的方法对2D均衡的灰度图像捕捉到近似度前20的脸，然后利用几何特征从这20个脸模型进行3D面部识别。这种方法的好处是效率高，效果好，它一定程度上避免了不停验证3D模型所带来的复杂的匹配过程。近期Emambakhsh M等人又在PAMI上发表了新的识别模型[8]，该模型深入研究了人脸鼻区的3D模型用于身份认证，和传统的3D面部识别的研究相比，本文只利用鼻子区域的3D模型，效率高，解决了传统3D模型高存储的问题。所提出的方法是基于一个非常一致和准确的具有里程碑意义的算法，它克服了鼻区域的鲁棒分割的问题。免训练，且它在很大程度上能够解决化妆、表情、假发、等外在因素的影响。它的具体算法分为五步：1）对鼻尖位置进行粗检测，再对面部进行分割，对准鼻区域裁剪。2）利用一个非常准确和一致的鼻界标定算法检测到鼻区域的7个关键点。3）利用基于Gabor小波滤波器的深度图的曲面法线的特征提取算法进行特征提取。4）定位一组球形补丁和曲线在鼻子区域，以提供特征描述符。5）最后利用基于启发式遗传算法（GA）的特征选择来检测在不同的面部表情中最稳定的球形补丁和曲线。本文的主要贡献是提出了一种新型的基于曲面法线的识别算法，并对3D鼻区域的识别潜力进行全面评估。另外的一个贡献是，利用一个快速的主成分分析（PCA）自相关方法，用于面部姿势校正。且该模型在FRGC数据集上取得了最高的识别率。（FRGC数据集是被广泛认为是最大的，广泛使用的三维人脸数据集,有557个实例），且在Bosphorus数据集和BU-3DFE数据集上也都取得了非常好的识别效果。

1.2基于连接机制的人脸识别方法

基于连接机制的人脸识别方法主要有神经网络的方法和弹性匹配法，近几年的神经网络方法在人脸识别的研究上取得了显著的成果，尤其是深度学习方法。“深度学习的初衷是模拟人脑的认知机理。在某些重要的人脸识别测试集上，深度学习模型已经达到甚至超出了人类的识别水平。”[14]2013年香港中文大学汤晓鸥教授的研究组Yi.Su等人提出了一种结合卷积网络(ConvNet)和玻尔兹曼机(RBM)在宽泛条件下的进行人脸验证的模型[10]。它的主要贡献是利用混合的深度网络从人脸对的原始像素直接学习有关联的能够表明身份相似性的视觉特征。该模型中的深度卷积网络（ConvNets）模拟初级视觉皮层从由经过滤器训练过的两幅人脸图像中提取局部关联的视觉特征。这些相关联的特征进一步经过多层卷积网络的处理，提取高层次和全局的特征。多组卷积网络的运用是为了实现鲁棒性以及从不同方面描绘人脸相似性。顶层的RBM从互补的高层特征中执行推断，这些高层特征是从不同的卷积网络组中经过分层池化得到。该模型实现了在LFW上取得了92.52%的识别率。（LFW是人脸识别领域最受关注的测试集，样本来自互联网的名人人脸照片，用于评估在非可控条件下人脸识别的性能。LFW的测试任务是判断一对人脸照片是来自同一个人还是不同的人。测试集包含6000对人脸图像[14]）。和当时LFW上精确度更高的三种方法相比[11],[12],[13]，该模型有着以下两点优势：第一，以上三种算法都采用了复杂的对齐点（分别采用了95个点，27个点和9个点），该模型只使用了三个点。第二，以上三种方法都使用手工标注的特征（SIFT或者LBP）坐标基本特征，而该模型使用原始像素作为基本特征。2014年汤晓鸥教授的组Yi.Su等人提出了模型[15],该模型通过深度学习学习一系列的高层特征表示——深度隐藏识别特征（DeepID），用于脸部识别和验证。我们验证了DeepID能够通过具有挑战的多级面孔的识别任务被有效的学习，同时它们能够推广到其他任务以及在新的训练集上进行验证。此外DeepID的泛化能力会随着被预测的人脸类别的增加而提升。DeepID 特征从深度卷积网络（ConvNets）的最后一个隐含层神经元中激活获取。所提取的特征是从人脸的不同区域提取的，能够形成互补和完整的表述。任何最优的分类器都能够基于这些高维表示的学习用于人脸验证。并且在LFW上获得了97.45%的精确度。与此同时A.Daminaou等人引入了一个高效的贝叶斯框架训练分层的高斯过程的映射。新的深度高斯(DG)模型[16]是一种基于高斯过程映射的深度信念网络。整个数据被建模成混合高斯模型的输出，输入的高斯过程是被另一个GP所管理。单层模式相当于一个标准的GP或者GP-LVM模型，通过估计模型的边缘变化进行推断。深度信念网络通常应用于比较大的数据集，使用随机梯度下降算法进行优化。该模型在LFW数据集上获得了98.52%的准确率，实现了比人的识别精度更高的突破。近几年

人脸识别的主要面临的挑战仍然是创造有效的特征表现，减少由个人内部的变化引起的改变以及扩大不同人之间的特征差异。Yi.Sun等人在NIPS2014上发展的论文[17]表明利用深度学习以及使用人脸识别和人脸验证的监督信号能够解决这个问题。提出的深度识别-验证特征（DeepID2）利用精心设计的卷积网络进行学习。人脸识别任务通过从不同的识别部分提取DeepID2特征，增加了识别的人之间的差异；人脸验证任务通过从相同的识别体提取DeepID2特征，降低了验证人内部变化引起的差异。简短讲，DeepID2通过学习非线性特征变换使类内变化达到最小，而同时使不同身份的人脸图像间的距离保持恒定。实验表明被学习的DeepID特征能够推广到新的从未见过的训练集。并且在LFW数据集上实现了99.15%的精确度。随后，汤晓鸥教授的研究组又在DeepID2的基础上提出了DeepID2+的模型[20],DeepID2+通过采用更大的网络结构、更大的训练集（特别是更多的身份类别），以及将监督信号加到每个卷积-池化层中，对DeepID2作了改进，进一步提升了人脸识别的准确性[14]。具体地，该模型增加隐藏表示的维度以及对前面的卷积层增加监督信息。通过实例研究，作者提出实现深度神经网络性能提升的三个至关重要的因素：稀疏性、选择性、鲁棒性。（1）经过观察神经激励是适度稀疏的，适度的稀疏能够最大化深度网络的判别性能。（2）网络更深层的神经元在身份验证中更具有特征的选择性。我们能够验证不同子集的神经元，这些神经元当不同的特性或属性都存在的时候要么是不停兴奋的，要么是被印制的。虽然DeepID2+在训练的时候没有教会他如何区分属性，但是它已经间接的学习到了这些深层的概念。（3）DeepID2+对于闭塞（面部局部被遮挡等情况）更鲁棒。他们工作的主要贡献在于不仅提高了人脸识别的精确度，与此同时也提出了有价值的方向，帮助人们理解深度学习，以及对目前的一些计算机视觉方向的研究，例如稀疏表示，属性学习，以及遮挡处理等有一定的指导意义。2015年继DeepID2+之后，随着深度学习网络层“越来越深”的发展，汤晓鸥教授的研究组再次提出两个非常深的神经网络结构[21]，简称DeepID3，用于人脸识别。这两种框架是从堆叠的卷积与最初提出的VGG网络以及GoogLeNet网重建得到，并让它们用于人脸识别。训练过程中，联合的识别-验证监督信号被添加到中间层和最后的特征提取层。提出的两种框架在LFW 上共同实现了99.53%的人脸验证准确率，以及最高的96.0%的人脸识别准确率。DeepID3网络继承了DeepID2+网络的一些特点，包括在最后的几层特征提取层权重独享，以及在前面层添加监督信号。但是DeepID3更深，包括10到15个非线性的特征提取层，相当于DeepID2+网络的5倍。经过对比试验DeepID3对包含错误样本的数据集识别率更好。层数的加深一定程度上增强了网络对腐蚀样本的鲁棒性。

2讨论

目前人脸识别的研究非常的多，并且在各个数据集上都不停的刷新着识别率。但是距离有效的应用还有着很大的提升空间。目前最火的方法是基于深度学习的方法，它保持着多个数据集的最高识别率。但是对于大部分要求实时监测的人脸识别系统，利用深度学习方法，几十层甚至上百层的网络去训练匹配显然是低效的。但是一些简单有效的基于几何特征的识别方法对于环境、光照、化妆等因素的鲁棒性很差。随着一些基于3D模型方法研究的深入，我觉得一些立体几何特征（比如鼻子的3D轮廓，嘴角的3D轮廓）结合PCA等传统方法的模型在保证识别高效的同时能够克服一些光照、化妆等因素的影响。

3结语

此次做综述的学习过程中，查阅了很多资料，但是很多都是没有用的，因为是第一次做综述，很多方面没有科学的方法，加上时间也比较紧迫，一个多礼拜的时间总结的这些方法比较乱，没有很强的体系，希望在后面得到老师、师兄师姐的修改建议，进一步完善这次综述。

参考文献(References)：

[1]T.Kanade,"Picture Processing System by Computer Complex and

Recognition of Human Faces,"Kyoto University,Japan,PhD.Thesis 1973.

[2]Song,Y.;Wang,W.&Chen,Y.(2009).Research on3D Face

Recognition Algorithm,First International Workshop on Education Technology and Computer Science,2009

[3]Zaeri,N.(2011).Feature extraction for3D face recognition system,

Proceedings of IEEE,2011

[4]A Suruliandi,RR Rose,K Meena.A combined approach using textural

and geometrical features for face recognition，Ictact Journal on Image &Video Processing,2013,3(4)

[5]Yousra Ben Jemaa and Sana Khanfir,“Automatic Local Gabor

features extraction for face recognition”,International Journal of Computer Science and Information Security,Vol.3,No.1,2009. [6]Y.Lei，H Lai，Q Li.Geometric Features of3D Face and Recognition

of it by PCA,Journal of Multimedia,2011,6(2):207-216

[7]VD.Kaushik,VK Pathak,Geometric Modeling of3D-Face Features

and Its Applications Journal of Computers,2010,5(9):1305-1314 [8]Emambakhsh M,Evans A.Nasal Patches and Curves for

Expression-robust3D Face Recognition.IEEE Transactions on Pattern Analysis&Machine Intelligence,May2016

[9]V Karthikeyan，K Vijayalakshmi，P Jeyakumar.An Efficient Method

for Face Recognition System In Various Assorted Conditions”Eprint Arxiv,2014

[10]Y.Sun,X.Wang,and X.Tang.Hybrid deep learning for computing

face similarities.IEEE Int’l https://www.360docs.net/doc/b19477351.html,puter Vision,2013.

[11]T.Berg.et.Tom-vs-pete classifiers and identity-preserving alignment

for face verification.In Proc.BMVC,2012.1,2,7

[12] D.Chen,X.Cao,F.Wen,and J.Sun.Blessing of dimensionality:

High-dimensional feature and its efficient compression for face verification.In Proc.CVPR,2013.1,2,7

[13]K.Simonyan,O.M.Parkhi,A.Vedaldi,and A.Zisserman.Fisher

vector faces in the wild.In Proc.BMVC,2013.1,2,7

[14]王晓刚,孙祎,汤晓鸥.深度学习从统一子空间分析到联合深度

学习：人脸识别的十年历程.中国计算机学会通信第1卷第4期.

2015

[15]Y.Sun，X.Wang，X.Tang,Deep Learning Face Representation from

Predicting10,000Classes.CVPR2014:1891-1898

[16] A.Daminaou and https://www.360docs.net/doc/b19477351.html,wrence.Deep gaussian processes.JMLR,

31:207–215,2014.

[17]Y.Sun,X.Wang,and X.Tang.Deep learning face representation by

joint identification-verification.Neural Information Processing Systems,2014

[18]Y.Taigman,M.Yang,M.Ranzato,L.Wolf.Web-Scale Training for

Face Identification.arXiv:1406.5266,2014.

[19]Y.Taigman,M.Yang,M.Ranzato,and L.Wolf.Deepface:Closing the

gap to human-level performance in face verification.IEEE Int’l Conf.

Computer Vision and Pattern Recognition,2014.

[20]Y.Sun,X.Wang,and X.Tang.Deeply learned face representations are

sparse,selective,and robust.arXiv:1412.1265,2014.

[21]Y.Sun,D.Liang,X.Wang,and X.Tang.DeepID3:Face Recognition

with Very Deep Neural Networks arXiv:1502.00873,2015