基于筛选评估准则的非正面人脸合成方法

肖志涛1，伊

靓1，李月龙2，张

芳1，耿

磊1，吴

骏1

（1.天津工业大学电子与信息工程学院，天津

300387；2.天津工业大学计算机科学与软件学院，天津

300387）

摘要：针对传统方法合成的正面人脸图像中信息丢失和变形的问题，提出了一种基于筛选评估准则的非正面人

脸图像合成方法.人脸筛选评估准则融合了脸部对称性、正脸差异水平和人脸水平扭转角度3方面信息，其中人脸水平扭转角度利用细节上的眼部信息来评价人脸的正面水平，而脸部对称性和正脸差异水平分别对人脸的左右和垂直方向进行整体评价，综合这三方面信息可有效地排除低质量侧脸图像对合成正脸图像的干扰.首先进行标记点检测跟踪，然后基于此对同一人的多幅侧脸图像进行筛选，最后进行插值运算合成正面人脸，并在FERET 图像库中对该方法进行实验验证.结果表明：通过本文筛选准则可有效滤除合成中低质量、强干扰的侧脸图像，可降低姿态问题对人脸识别精度的干扰，最终合成精确逼近真实正面人脸的合成图像.

关键词：非正面人脸合成；筛选评估准则；人脸识别中图分类号：TP391

文献标志码：A

文章编号：１６７１－０２４Ｘ（２０15）０2－００69－０6

Non-frontal face image synthesis method based on source screening criteria

XIAO Zhi-tao 1，YI Jing 1，LI Yue-long 2，ZHANG Fang 1，GENG Lei 1，WU Jun 1

（1.School of Electronics and Information Engineering ，Tianjin Polytechnic University ，Tianjin 300387，China ；2.School of Computer Science and Software Engineering ，Tianjin Polytechnic University ，Tianjin 300387，China ）

Abstract ：To solve the problem of information missing and deformation of the traditional synthesized frontal face image ，a

non-frontal face image synthesis method based on source screening criteria is proposed.The source screening criteria combines the facial symmetry ，the frontal face image differences level and the horizontal rotating angle.The horizontal rotating angle uses the details of the eye information to assess the level of the front face.The left-to-right and vertical direction is separately assessed according to the facial symmetry and the frontal face image differences https://www.360docs.net/doc/da11051105.html,bining these three aspects can availably exclude interference of low -quality non-frontal face image in synthesizing the frontal face.Firstly ，marking points are detected and tracked.Then ，multi-view face images of same person are screened to obtain the high-quality ，low-interference non-frontal face images as the best synthetic input source images.Finally ，frontal face images are synthesized by calculated interpolation.Experimental findings on the FERET databases demonstrate that the source screening criteria can availably screen out low-quality ，strong-interference non-frontal face images and reduce the impact of pose questions on the precision of face recognition algorithm effectively.The synthesized frontal view face can approximate the ground truth frontal view face.

Key words ：non-frontal face image synthesis ；source screening criteria ；face recognition

收稿日期：2014-12-15

基金项目：国家自然科学基金资助项目（61302127，11326198）；天津市高等学校科学发展基金计划项目（20120805）

通信作者：肖志涛（1971—），男，教授，博士生导师，研究方向为图像处理与模式识别.E-mail ：xiaozhitao@https://www.360docs.net/doc/da11051105.html,.

天津工业大学学报

ＪＯＵＲＮＡＬＯＦＴＩＡＮＪＩＮＰＯＬＹＴＥＣＨＮＩＣＵＮＩＶＥＲＳＩＴＹ

第34卷第2期２０15年4月

Vol.34No.2April 2015

随着科学技术的不断发展，人们对于人脸识别技

术的期望越来越高，姿态多样性这个困扰人脸识别研究的主要难题也日渐为学术界所重视.能将非正面人脸矫正为正面人脸的图像合成技术已成为模式识别等方向的主要研究热点[1].目前合成方法主要分为基于三维模型的方法和基于二维模型的方法[2].基于三维

模型的人脸合成方法主要利用图形学和几何变换的方法将三维图像投影还原成二维图像.Blanz 等[3]利用大量三维人脸数据的样本构建三维可变模型，该模型将二维人脸图像进行匹配，获取人脸三维的外形和纹理上的参数，最后合成正面人脸图像，该方法的合成结果逼近真实情况，但其数据量较大，训练和优化过

天津工业大学学报第34卷

程十分耗时.Ramnath等[4]建立了一个由三相机标定构建的三维形状模型，该方法可以实现更好的视角匹配鲁棒性；Liebelt等[5]提出了由深度相机获取的深度信息来表示三维形状的方法，该方法具有较好的匹配性能.但是上述两篇文献中只有侧脸图像合成正脸图像的二维形状，而无法实现正脸纹理的合成.基于二维图像的正面人脸合成方法无须建立三维模型，因而在实际中操作简单，运算速度快，因此近年来被广泛应用.Chai等[6]提出了局部线性回归的方法，将图像划分为许多重叠的、大小相等的矩形块，这种方法合成的图像自然、平滑，而且较接近真实值，但这种矩形分块的方法需要去除脸颊的纹理来保持对应纹理块的一致性，因此合成后的正脸图像中仅包含人脸正面中心区域.Kim等[7]提出了子空间回归方法，与文献[6]中提到的局部线性回归方法不同的是，对图像经主成分分析（principal component analysis，PCA）降维后的数据做线性回归，大大地提高了线性回归的效率，但是由于这是一种全局的回归方法，因此其合成图像的效果不如局部线性回归的方法.Alba-Castro等[8]提出了对称辅助正脸合成算法（symmetry-aided frontal view syn－thesis，SFVS），是一种以点分布模型（point distribution model，PDM）和正面人脸对称性为基础的合成方法，但该方法会造成人脸不自然，对称之后的人脸特征（例如痣、疤痕等）会存在丢失或者多余的情况.杜志军等[9]提出基于主动形状模型（active shape models，ASM）的人脸合成方法，通过研究侧脸和正脸之间的映射关系来合成正面人脸，该方法计算速度快，定位精度高.但是，伴随着视频监控系统的普及，待处理的非正脸图像的数目增长得越来越快，因此从视频中采集的图像有可能存在姿态变化较大、脸部信息严重缺损或者侧脸图像发生畸变等现象.这些图像可能会导致合成的正脸图像信息大量缺失，对人脸识别造成干扰.针对上述问题，本文提出了一种基于筛选评估准则的人脸合成方法.其中评估准则包括人脸水平扭转角度、脸部对称性和正脸差异水平，实现对人脸的细节方面以及左右、上下方向的整体方面的评估.本文方法具体分为3部分：①采用ASM算法对输入的人脸图像进行检测定位，确定人脸的精确位置；②本文提出一种对低质量的侧脸图像进行筛选的方法，缩小了合成后的正脸与标准图像间的差异，同时保证得到的正脸图像自然并接近真实人脸；③利用Delaunay三角剖分方法，并依据纹理映射关系，对转正的正脸中信息缺失的部分进行插值运算，最终合成正面人脸图像.本文提出的方法可有效地排除低质量侧脸图像的干扰，进

而有效地合成逼真的正面人脸图像，提升了人脸识别的精度.

1人脸标记点定位

本文方法是以人脸轮廓标记点为基础的，轮廓标记点定位是计算机视觉经典研究问题，目前已有众多成熟的方法.人脸特征点定位是为了准确描述人脸轮廓，寻找有用的关键点，为后面的筛选准则和正则化提供精确的特征信息.本文选用Cootes等[10]提出的ASM算法.ASM计算快速，标记点定位精度高，可以局限整体外形模型，且对遮挡、姿态和光照变化有一定的鲁棒性，可以准确定位侧脸图像的主要轮廓.定位算法主要分为3步：

（1）通过对人脸的训练集中大批训练样本的外形实例进行统计，选用Procrustes Analysis方法[11]对所有外形进行对齐.

（2）对对齐后的外形做PCA分析，构造可以反映目标物体外形变化规律的外形统计模型，其模型公式为：

X=X+P·b（1）式中：X为标定的训练集人脸外形均值；P为由人脸形状的协方差矩阵的特征向量构成的矩阵；b为PCA后的形状统计模型参数.

（3）定位侧面人脸的标记点，首先采用局部纹理模型在标记点周围进行搜索，接着利用外形模型对标记点集合进行外形限制，并在二者之间进行反复迭代，最后收敛至标准外形，完成标记点定位.人脸轮廓标记点的结果如图1所示.

2侧面人脸图像的筛选

在视频中可能会采集到姿态变化较大或者不符合人脸定位的非正脸图像，这些偏转角度大的人脸图像存在严重的自遮挡，无法实现正脸图像合成.除此之外，如图2所示，每幅图从直方图、局部二值模式（local binary pattern，LBP）[12]进行比较，可以看出正侧

图1人脸标记点定位结果

Fig.1Location results of facial marking

points

70——