3D模型的多姿态人脸识别

3D 模型的多姿态人脸识别

张小平,李夏忠,刘志镜

(西安电子科技大学计算机信息应用研究中心　陕西西安　710071)

摘　要:多姿态人脸识别是当前人脸识别中的难点,识别率普遍不是很高。本文提出了一种利用正面、侧面照片建立起三维虚拟人脸模型,然后对待识别照片进行角度估计,把模型库中的每一个3D 模型在该角度附近进行多次投影,搜索出与待识别照片相似度最高的照片。这种方法可以有效的提高人脸识别率,增强人脸识别系统的鲁棒性。

关键词:人脸识别;三维模型;多姿态;角度计算

中图分类号:T P 36811 文献标识码:B 文章编号:1004373X (2003)1405904

Pose var ied Face Recogn ition Ba sed on 3D m odel

ZHAN G X iaop ing ,L I X iazhong ,L I U Zh ijing

(Computer Info r m ati on R esearch Center ,X idian U niversity ,X i ′an ,710071,Ch ina )

Abstract :Po se varied Face R ecogn iti on is a nu t of face recogn iti on and has a low rati o of recogn iti on at p resen t 1A w ay is

p resen ted by bu ilding the 3D virtual person model u sing fron t and side face pho to and then m ak ing the p ro jecti on of the each 3D model near the ro tating angle esti m ated by the unknow n pho to fo r m any ti m es and finding ou t the si m ilar pho to 1R ecogn iti on rati o can be raised effectively and system ′s robu st is increased also by th is m ethod

Keywords :face recogn iti on ;3D model ;po se

varied ;angle reckon

收稿日期:20030422

1　引　言

近年来,随着自动身份验证、视觉监视系统等应用领域的需求,计算机人脸识别技术受到了广泛的重视。但目前大多数研究集中在正面人脸图像的识别上,然而图像中人脸的姿态不一定是固定的,研究多姿态人脸识别是非常必要的。在这方面,B eym er 等采用引

入虚视点的方法,即将二维的图像和三维的人脸模型相结合,对多姿态的人脸图像进行识别,用这种方法进行识别计算非常复杂[1]。另外,L ades 等采用弹性匹配技术识别不同姿态的人脸[2],这种方法要求较为准确地定位特征,但是人脸通常缺乏足够的纹理信息难以满足这一要求。当前,处理人脸多姿态识别主要有3种方法:一是利用多姿态人脸数据库,通过定位两个

瞳孔点的位置加以配准,再对配准后特定姿态的人脸进行识别,这种方法需要很大的人脸数据库;二是利用与姿态无关的信息进行识别,如肤色模型,这种方法识别率不是很高;三是利用人脸三维几何特征进行识别,但对人脸旋转角度有限制。本文采用建立人脸的三维虚拟模型的方法对人脸进行识别,可以有效地

解决上述问题。2　三维虚拟人脸建模

本文采用从固定拓扑的一般人头模型变形的建模方法,由于人类面部特征的位置、分布基本上是一样的,特定人脸的模型可以通过对一个原始模型中特征和其他一些网格点位置进行自动或交互式的调整(保持拓扑不变)得到。为了使标准人脸网格体在形状上与特定人相吻合,在特征细节上仍需进一步地调整与修改。如果采用自动拟合方法,问题将转化为模式匹配问题,具体做法不在此讨论。自动拟合方法虽然自动化程度高,但计算时间长,而且由于噪声的影响,结果常常不是很理想。如果采用人机交互进行拟合,先将标准人脸图像的网格重叠到特定人的人脸图像上,然后利用鼠标拉动网格点使得标准人脸图像的眼眉、嘴、牙等主要对应部分尽可能地匹配,就可以使人脸模型更精确。

211　特定人脸3D 网格模型的建立

这里采用的是人机交互方式,系统的内部有一个原始的人头模型,以后所有特定模型的建立都是基于这个原始模型。假定包含整个原始模型的最小的立方体的高、宽、深度分别为h ,w ,d ,单位是象素点。可按

9

5

以下步骤建立一个特定人脸模型:

(1)显示正面的照片　用户在照片上定义人头所在的区域,区域的定义要求越小越好,正好把人头包括进去。用户在正面照片上定义的矩形的高和宽为

h f ,w f ,并给出了特定人头的最小外包含立方体的高

h ′

(=h f )和宽w ′(=w f )。(2)显示侧面照片　用户定义人头侧面所在的

最小矩形。这个矩形的高和宽为h s ,w s 。然后令h ′s =

h f ,w ′s =w s h ′s h s ,最小外包含立方体的深度d ′=w ′s 。

本文对相机的焦距,相机和模特的距离不做任何要求(在文献[3]中,对相机的位置和焦距有严格的要求,而文献[4]中则使用了复杂的算法从多张照片恢

复相机的位置),正面和侧面照片的焦距和距离可以有很大不同,其结果是有可能一张照片上的人头大,另一张照片上的人头小。本文通过使h ′s =h f ,基本上使得两张照片上的人头大小相同。

(3)对原始模型中的所有点进行变换　x ′=x

w ′ w ,y ′=y h ′ h ,z ′=z

d ′ d 。然后把原始模型网

格的正面投影到正面的照片上,网格的侧面投影到侧面的照片上,如图1所示。由于人类脸型和特征分布的规律性,原始网格和照片的形状和特征大致匹配。

图1　原始模型网络正侧面投影

(4)对网格中和照片不相匹配的地方进行调整　

为了达到在拉动模型网格点时周围其他网格点自动做相应的移动,即在现实上近似地模拟人脸皮肤的粘弹特性,需要建立一个自动变形模型。设V ={v 0,v 1,…,

v n ,v "1,v "2,…,v "m }是空间网格结点的集合,假设结

点v 0被移动到v ′0,被该移动所影响的其他结点v 1,v 2,…,v n 做相应运动,v "1,v "2,…,v "m 是固定结点,其中移动结点的新位置是我们所需要求出的。我们认为平衡状态是在结点移动和网线变化总和最小时达到,设

v ′1,v ′2,…,v ′n 是结点v 1,v 2,…,v n 的新位置,e ′1,e ′2,

…,e ′E 是平衡时的网线向量,T =(x ′1,y ′1,z ′1,x ′2,y ′2,z ′2,…,x ′n ,y ′n ,z ′n ),T 是结点v ′1,v ′2,…,v ′n 的坐标向量,其中E 是空间网格的网线个数。这一问题可

表示成如下优化问题:

m in T ∈R

3n

f (T )=C

∑n

i =1

‖v

i

-v i ′‖2

+

∑n

j =1

a j

‖e j

′

‖2

其中:c ,a 1,a 2,…,a E 是加权系数。

由于向量T 的元素个数较多,求解这一优化问题的计算量相对也较大。为了降低计算复杂性,在具体计算中,可考虑采取一些简化。我们称两结点间最少的网线个数为两结点“距离”。一般来讲,距离越大,影响越小。我们可以设定一个阈值,与被移动结点“距离”超过这一阈值的结点被当成固定点处理。阈值的选择可根据具体移动距离的大小来决定,如果移动距离较小,阈值可以选择的较小

。实践中,通常我们在3～6间选择。图2所示为与移动点v 相关的所有网格点的集合,取其中的距离阈值为3[5]。

图2　与移动点相关的点集

最后三维网格点(x ,y ,z )中的x ,y 坐标来自网格正面投影与正面照片的拟合,z 坐标来自网格侧面投影与侧面照片的拟合。经过这一步,得到特定人脸的3D 模型。

212　三维人脸网格体的磨光及显示

完成了变换之后,就得到了一张具有特定人脸特征的中性三维人脸网格体,这必然要涉及一个如何将三维人脸网格体在计算机屏幕上显示为具有真实感的人脸图形的问题。这就需要进行磨光、加光照等一系列可视化处理。对于由空间多边形构成的三维人脸网格体,我们应用曲面磨光技术将其表示为B ézier 片的集合[6],然后加上眼白、瞳孔、头发等附加信息,最后由正面(图3(a ))、侧面(图3(b ))照片合成具有一定真实感的特定三维人脸计算机图形(图3(c ))。3　旋转角度的估计及识别

人脸姿态的变化可以有6个自由度,即沿x ,y ,z

轴的平移和绕x ,y ,z 轴的旋转,如图4(a )所示。对沿x ,y 的平移,在图像上表现为人脸位置的变化,可以通过适当的检测方法处理,对沿z 轴的平移,在图像上表现为比例的变化,这可以通过前述的比例归一化处理。

6

文献[5]讨论的利用眼球旋转解决了处理绕z 轴的旋转。因此上述6个自由度的变化只有2个难以直接从图像上确定,即绕x 和y 轴的旋转。在一般的应用系统中主要用到对于绕y 轴旋转的斜视图像,所以这里重点讨论对于绕y 轴旋转的角度确定,用下面的算法进行初步估计

:

图3　人脸模拟过程

311　旋转角度的初步估计算法

假设人脸是左右对称的,当人脸图像没有旋转时,其中分线正好位于人脸图像的中间,如图4b 所示,

线AB 是旋转后的中分线,其偏离了人脸图像的中心位

置,线CD 是图像的中心线位置。人脸器官的中分线的旋转角度也就是图像的旋转角度。

图4　人脸的各种旋转

如图4(c )所示嘴巴处的水平切面,P 是中分线

在嘴巴处与水平切面的交点。线O P 和Z 轴的夹角Ηro t _m ,就是从嘴部计算出的旋转角度

。其计算公式是:Ηro t _m =arcsin (d

r )其中:d 是人脸器官中分线和轮廓中分线之间的距离;

r 是嘴处脸的轮廓的宽度的1 2。

同样,如图4(c ),当d 是鼻子、眼睛处人脸器官中分线和轮廓中线之间的距离,而r 分别是鼻子、眼睛处脸的轮廓的宽度的1 2时,可以分别求出鼻子和眼睛处的旋转角度Ηro t _n ,Ηro t _e 。为了减少旋转角度带来的误差,文献[7]取人脸的旋转角度Ηrot 为上述3个角度的均值,即:

Ηro t =(Ηro t _m +Ηro t _n +Ηro t _e )

3 在这里把他取为粗值(例如30°

),对其进行进一步的角度推算。

312　旋转角度的精确计算和人脸识别过程

利用D 1S 1C 法[8]进行角度的优化推算和人脸的

识别,如图5所示。为简单起见,识别方法采用相关系数法。

在这里,相关系数的计算公式是:

f (x )=

E {I T T }-E {I T }E {T }

Ρ(I T )Ρ(T )

其中:f (x )为待识别照片和人脸模型在角度为x

处投影的照片之间的相关系数;I T 为待识别照

片;T 为人脸模型在角度为x 处投影的照片;I T T 为照片灰度值的点点相乘;E {}为均值算子;Ρ为照片的标准均方差。

将待识别照片和数据库中所有的人脸模型在Ηrot (初步估计的旋转角度)处投影的照片进行匹配,并分别计算出他们的相关系数Θx 。选择Θx ≥Β的数据库中的人脸模型,Β的选取是根据经验而得(如取017)。假设满足要求的有N 个人脸模型,我们再将待识别照片和这N 个人脸模型依次进行更详细、更精确的比较,步骤如下:

(1)对每一个满足要求的人脸模型按照D 1S 1C 方法分别将待识别照片和投影照片相匹配,得到与这个

人脸模型的投影照片相匹配的最大相关系数:

Θx _m ax i =Θx =f (x 3

)。 D 1S 1C 方法如下:

设初值为x 0=Ηro t ,步长?x =1。

①令k =0,若f (x 0+?x )≥f (x 0),则转

②;否则令?x =-?x 2且转②;

②计算x k +1=x k +?x ,f (x k +1);③若f (x k +1)≥f (x k ),则令?x =?x +?x ,k =

k +1转②;否则令?x =?x 2,x m =x k +1,x m +1=x m

-?x ,x m -

1

=x k ,x m -

2

=x k -1;

④在{x m -2,x m -1,x m +1,x m }中若f (x m +1)<

f (x m -1),则丢掉x m ,令x b =x m -1;否则丢掉x m -2,令

x b =x m +1;

⑤令x a =x b -?x ,x c =x b +?x ,做二次插值:

Y =x b +f (x a )-f (x c )

2[f (x a )-2f (x b )+f (x c )]?x

⑥若 f (x a )-f (x c )

f (x a

) <Ε,则停,x 3=y ;否则以y 为新的起点,令x 0=y ,?x =?x 4转①。

(2)Θx _m ax x =m ax{Θx _m ax i ,其中I =1,…,N },使Θx _m ax x 所对应的旋转角度就是要求的角度Ηro t ,如果Θx _m ax x ≥Α,则认为待识别的人就是Θx _m ax x 所对应的人,Α的选取是根据经验而得(如取0185)。

1

6

当然,其中可能出现几个Θx 均相同,且为最大值,这时可以结合其他角度的照片重新进行查找,或者给出几个参考候选对象。对于绕x 轴旋转的角度计算,只要给定初值x 0,也可以用上面的算法

。

图5　D 1S 1C 法

4　结　语

本文提出的解决人脸多姿态变化的方法在实际人脸识别系统中应用效果很好,并且对人脸偏转的方向和偏转角度的大小没有限制,但绕x 轴旋转的角度初值不容易确定,影响了识别速度,还有待于进一步研究!

参　考　文　献

[1]　B eym er D 1Po se

invarian t face recogn iti on

u sing real and virtual view s [D ]1A I L ab ,M IT ,

19961

[2]　L adesM ,V o rb ruggen et a l 1D isto rti on invari

an t ob ject recogn iti on in the dynam ic link arch itectu re [J ]1IEEE T ran sCom p u ter ,1993,

42(3):3003111

[3]　B rian Cuen ter ,C indy Gri m m ,et a l 1M ak ing

Faces [J ],Com p u ter Grap h ics P roceedings ,19981

[4]　F rederic P igh in ,Jam ic H ecker ,et a l 1

Syn thesizing realistic facial exp essi on s from p ho tograp h s [J ],Com p u ter Grap h ics P roceedings ,19981

[5]　晏洁,高文1基于一般人脸模型修改的特定人

脸合成技术[J ]1计算机学报,1999,11(5)

1

[6]　晏洁1显示具有真实感的三维合成人脸图形的

两种方法[J ]1计算机工程,1998,24(1):49521

[7]　张卫国,王展,兰军,等1一种基于几何特征

的斜视人脸图像特征恢复方法[J ]1计算机应用研究,2000,(4):86871[8]　陈开周1最优化计算方法[M ]1西安:西安电

子科技大学出版社,19951

[9]　张翔宇,林志勇,华蓓,等1从正面侧面照片

合成三维人脸[J ]1计算机应用,2000,(7)1

作者简介　张小平　男,1964年出生,讲师。主要研究方向为多媒体。

李夏忠　男,1977年出生,硕士研究生。主要研究方向为模式识别、图像处理。刘志镜　男,1957年出生,教授。主要研究方向为多媒体网络、图像处理。

(上接第58页)

[3]　W illiam Stallings 1C ryp tograp hy and netw o rk

secu rity :P rinci p les and p ractice [M ]12nd editi on 1P ren tice H all ,Inc 1,19991[4]　N ati onal in stitu te of standards and

techno logy 1Secu re H ash Standard 1Federal Info rm ati on P rocessing Standard ,F IPS PU B 1801,1995,(4)1

[5]　N ati onal in stitu te of standards and

techno logy 1D ata Encryp ti on Standard (D ES )1Federal Info rm ati on P rocessing

Standard ,F IPS 46

3,1999,(10)1

[6]　C rack ing D ES code all in a day ′s w o rk fo r

secu rity exp erts 1h ttp : cnn 1com T ECH com p u ting 9901 21 descrack 1idg index 1h tm l 1See also "R SA Code B reak ing Con test A gain W on by D istribu ted 1N et and E lectron ic

F ron tier Foundati on (EFF )D ES Challenge IIIB roken in R eco rd 22Hou rs "1

h ttp : www 1rsasecu rity 1com new s p r

990119

11h tm l 1

作者简介　杨观懂　男,1979年出生,浙江温州人,杭州商学院信息与电子工程学院电子信息专业本科毕业生。

陈添丁　男,指导老师,浙江大学通信与信息系统博士毕业。主要研究方向为无线多媒体通信、网络可编程路由器和网络通信安全。

2

6