计算机视觉与图像处理

基于SURF算法人脸检测识别跟踪技术的研究

项有元

（上海大学机电工程与自动化学院，上海200072）

摘要：人脸检测识别跟踪技术已经成为机器人视觉研究领域的热点问题。基于SURF的特征提取与匹配算法对处理两幅图像之间发生平移、旋转、仿射变换情况下的匹配问题，具有很强的匹配能力，而且速度较快。本文主要介绍SURF 算法的基本原理，并将该算法与层叠分类器相结合，应用于人脸检测识别中，然后运用OPencv的函数库进行编程，在实验室中采用XBox360视觉传感器kinect采集图像,检测人脸得到了很好的实验效果。实验证明：SURF算法对人脸尺寸变化、旋转，光照变化都有很强的鲁棒性。

关键词：SURF；层叠分类器；人脸检测

Research on Face Detecting Recognition and Tracking Technique Based

on SURF Algorithm

XIANG You-yuan

(School of Mechanical and Electrical Engineering and Automation, Shanghai University, Shanghai 200072, China)

Abstract: Face detection recognition tracking technology has become a hotspot in the field of robot vision research. The algorithm which based on the SURF of feature extraction and matching can deal with translation, rotation, affine transformation of matching problem that happened between two images , and has a strong ability to match, and the speed is fast. This paper mainly introduces the basic principle of SURF algorithm, and the combination of application of the algorithm and the cascade classifier in face detection recognition, and then use OPencv function library for programming .At last,it uses XBox360 visual sensor kinect to collect image in the laboratory, and can get a good experimental result.This experimental proof: that SURF algorithm has a strong robustness in face size changing, rotation, illumination changing.

Key words: SURF; Cascade Classifier; Face Detecting

人脸识别是机器人视觉研究领域很重要的一个方面,对家庭服务机器人来说，机器人需要去识别主人与陌生人，所以就要采用人脸识别技术。人脸识别的研究内容主要包括以下几个方面:

(1)人脸检测:在输入的图像中寻找人脸区域。

(2)人脸的规范化:校正人脸在尺度、光照和旋转等方面的变化。

(3)特征提取:从人脸图像中映射提取一组反映人脸特征的数值表示样本。

(4)特征匹配:将待识别人脸与已知人脸比较,得出相关信息。

当人脸的光照、表情、旋转发生比较大的变化,或者图像存在部分模糊的情况时,其识别准确率会明显降低,这是人脸识别中需要克服的一大技术难题。

本文提出了一种基于SURF算法进行人脸识别的方法。实验结果表明,该算法对人脸尺寸变化、旋转，光照变化都有很强的鲁棒性，且识别速度比较快。

1SURF算法和层叠分类器的基本原理的提出及怎么运用

1.1SURF算法的基本原理的提出

作为尺度不变特征变换算法（Sift算法）的加速版，Surf算法在适中的条件下完成两幅图像中物体的匹配基本实现了实时处理。其Sift算法的三大工序为，(1)提取关键点；(2)对关键点附加详细的信息（局部特征）也就是所谓的描述器；(3)通过两方特征点（附带上特征向量的关键点）的两两比较找出相互匹配的若干对特征点，也就建立了景物间的对应关系。提取关键点和对关键点附加详细的信息（局部特征）也就是所谓的描述器可以称做是Sift特征的生成，即从多幅图像中提取对尺度缩放、旋转、亮度变化无关的特征向量。那么，SURF算法又是基于怎样的原理可以快速准确的识别特征点并匹配的，这是本文将要研究的一个问题。

1.2层叠分类器的原理提出

对人脸检测的研究最初可以追溯到20 世纪70 年代，早期的研究主要致力于模板匹配、子空间方法，变形模板匹配等。近期人脸检测的研究主要集中在基于数据驱动的学习方法，如统计模型方法，神经网络学习方法，统计知识理论和支持向量机方法，基于马尔可夫随机域的方法，以及基于肤色的人脸检测。目前在实际中应用的人脸检测方法多为基于层叠分类器学习算法的方法。那么层叠分类器又是怎样的方法，也是本文研究的一个重点。

1.3实验室下SURF算法和层叠分类器应用于人脸检测效果研究

算法主要是拿来用的，本文将给出在实验室环境下检测这两种算法在家庭服务机器人脸检测中的效果，给出几个检测图。

2SURF算法和层叠分类器基本原理的介绍和应用

2.1SURF算法基本原理

Surf算法在适中的条件下完成两幅图像中物体的匹配基本实现了实时处理，其快速的基础实际上只有一个——积分图像haar求导。

2.1.1 构建Hessian矩阵

Hessian矩阵是Surf算法的核心，为了方便运算，假设函数f(x，y)，Hessian矩阵H是由函数，偏导数组成：

（1）

H 矩阵判别式为：

（2）

判别式的值是H 矩阵的特征值，可以利用判定结果的符号将所有点分类，根据判别式取值正负，来判别该点是或不是极值点。在SURF 算法中，用图像像素l(x ，y)代替函数值f(x ，y)，选用二阶标准高斯函数作为滤波器，通过特定核间的卷积计算二阶偏导数，这样便能计算出H 矩阵的三个矩阵元素L 。从而计算出H 矩阵：

（3）

（4）

L(X ，t)是一幅图像在不同解析度下的表示，可以利用高斯核G(t)与图像函数I(X)在点X(X ，y)的卷积来实现，核函数G(T)具体表示如式(5)，g(T)为高斯函数，t 为高斯方差。同理。通过这种方法可以为图像中每个像素计算出其H 行列式的决定值，并用这个值来判别特征点。为方便应用，Herbert Bay 提出用近似值现代替L 。为平衡准确值与近似值间的误差引入权值叫，权值硼随尺度变化，则H 矩阵判别式可表示为：

（5）

（6）

2.1.2 构建尺度空间

图像的尺度空间是这幅图像在不同解析度下的表示，由式(4)知，一幅图像j(X)在不同解析度下的表示可以利用高斯核G(t)的卷积来实现，图像的尺度大小一般用高斯标准差来表示。在计算视觉领域，尺度空间被象征性的表述为一个图像金字塔，其中，输入图像函数反复与高斯函数的核卷积并反复对其进行二次抽样，这种方法主要用于Sift 算法的实现，但每层图像依赖于前一层图像，并且图像需要重设尺寸，因此，这种计算方法运算量较大，而SURF 算法申请增加图像核的尺寸，这也是SIFT 算法与SURF 算法在使用金字塔原理方面的不同。算法允许尺度空间多层图像同时被处理，不需对图像进行二次抽样，从而提高算

??????????????????????=2

22

222)),((y f y x f y x f x f y x f H 2

22222)(det ???

? ?????-????=y x f y f x f H ??

?

???=),(),(),(),(),(σσσσσx L x L x L x L x H yy xy xy xx 22)()(x t g t G ??=

2)9.0()det(xy yy xx approx D D D H -=()

)()(t X I t G X L *=，

法性能。

2.1.3 精确定位特征点

所有小于预设极值的取值都被丢弃，增加极值使检测到的特征点数量减少，最终只有几个特征最强点会被检测出来。检测过程中使用与该尺度层图像解析度相对应大小的滤波器进行检测，以3×3的滤波器为例，该尺度层图像中9个像素点之一图2检测特征点与自身尺度层中其余8个点和在其之上及之下的两个尺度层9个点进行比较，共26个点，图1中标记…x?的像素点的特征值若大于周围像素则可确定该点为该区域的特征点。

图1 滤波器示意图

Fig.1 Diagram of the filter

2.1.4主方向确定

为保证旋转不变性[8I，首先以特征点为中心，计算半径为6s(S为特征点所在的尺度值)的邻域内的点在z、y方向的Haar小波(Haar小波边长取4s)响应，并给这些响应值赋高斯权重系数，使得靠近特征点的响应贡献大，而远离特征点的响应贡献小，其次将60。范围内的响应相加以形成新的矢量，遍历整个圆形区域，选择最长矢量的方向为该特征点的主方向。这样，通过特征点逐个进行计算，得到每一个特征点的主方向。

图2 主方向示意图

Fig.2 Diagramof main direction

2.1.5 特征点描述子生成

首先将坐标轴旋转为关键点的方向，以确保旋转不变性。接下来以关键点为中心取8×8的窗口。图左部分的中央黑点为当前关键点的位置，每个小格代表关键点邻域所在尺度空间的一个像素，利用公式求得每个像素的梯度幅值与梯度方向，箭头方向代表该像素的梯度方向，箭头长度代表梯度模值，然后用高斯窗口对其进行加权运算,每个像素对应一个向量，长度为，为该像素点的高斯权值，方向为，图中蓝色的

圈代表高斯加权的范围（越靠近关键点的像素梯度方向信息贡献越大）。然后在每4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点，如图右部分示。此图中一个关键点由2×2共4个种子点组成，每个种子点有8个方向向量信息。这种邻域方向性信息联合的思想增强了算法抗噪声的能力，同时对于含有定位误差的特征匹配也提供了较好的容错性。

图3 特征点描述子

Fig.3 descriptor of keypoint

2.2层叠分类器的应用

目标检测方法的基本步骤为：首先，利用样本（大约几百幅样本图片）的harr 特征进行分类器训练，得到一个级联的boosted分类器。分类器中的"级联"是指最终的分类器是由几个简单分类器级联组成。在图像检测中，被检窗口依次通过每一级分类器，这样在前面几层的检测中大部分的候选区域就被排除了，全部通过每一级分类器检测的区域即为目标区域。

分类器训练完以后，就可以应用于输入图像中的感兴趣区域(与训练样本相同的尺寸)的检测。检测到目标区域(汽车或人脸)分类器输出为1，否则输出为0。为了检测整副图像，可以在图像中移动搜索窗口，检测每一个位置来确定可能的目标。为了搜索不同大小的目标物体，分类器被设计为可以进行尺寸改变，这样比改变待检图像的尺寸大小更为有效。所以，为了在图像中检测未知大小的目标物体，扫描程序通常需要用不同比例大小的搜索窗口对图片进行几次扫描。

目前支持这种分类器的boosting技术有四种：Discrete Adaboost, Real Adaboost, Gentle Adaboost and Logitboost。"boosted" 即指级联分类器的每一层都可以从中选取一个boosting算法(权重投票)，并利用基础分类器的自我训练得到。

根据上面的分析，目标检测分为三个步骤：

1、样本的创建

2、训练分类器

3、利用训练好的分类器进行目标检测。

具体上网方法框架可以分为以下三大部分:

第一部分，使用Harr-like特征表示人脸，使用“ 积分图”实现特征数值的快速计算;

第二部分，使用Adaboost算法挑选出一些最能代表人脸的矩形特征( 弱分类器)，按照加权投票的方式将弱分类器构造为一个强分类器;

第三部分，将训练得到的若干强分类器串联组成一个级联结构的层叠分类器，级联结构能有效地提高分类器的检测速度。

实际操作中，主要是从以下几个方面建立层叠分类器：

(1)在一个20*20 的图片提取一些简单的特征（称为Harr特征）它的计算方法就是将白色区域内的像素和减去黑色区域，因此在人脸与非人脸图片的相同位置上，值的大小是不一样的，这些特征可以用来区分人脸和分人脸。

(2)目前 的方法是使用数千张切割好的人脸图片，和上万张背景图片作为训练样本。训练图片一般归一化到 20*20 的大小。在这样大小的图片中，可供使用的 haar 特征数在 1 万个左右，然后通过机器学习算法 —adaboost 算法挑选数千个有效的 haar 特征来组成人脸检测器。

(3)学习算法训练出一个人脸检测器后，便可以在各个场合使用了。使用时，将图像按比例依次缩放，然后在缩放后的图片的 20*20 的子窗口依次判别是人脸还是非人脸。

而在实验室里，当我们应用层叠分类器检测人脸时，我们通常只要使用opencv 库里已有的分类器就行了，而不需要自己创建分类器。

2.3 实验室下SURF 算法和层叠分类器应用于人脸检测效果研究

实验室中，首先必须要在电脑里装下Opencv ，将视觉传感器kinect 连接到电脑上并装上驱动程序。在Visual studio2010编译环境下写出程序，编译运行。

系统首先提取模板图像,利用SURF 算法检测出模板图像的特征点,并记录特征点描述信息。通过摄像头捕捉视频帧,对提取的每一帧图像,使用SURF 算法提取该帧图像特征点信息与模板图像相比较,得到最终匹配结果后用矩形窗表示人脸区域,图3给出该系统流程图。

失败

成功

图4 程序流程图 Fig.4 Diagram of program

实验结果表明，不管人脸在旋转、灯光明暗、移动等复杂情况下，该算法都可以实时的捕捉到人脸并跟踪。下图为实验室里人脸在复杂灯光下且头部转动时捕捉到的人脸头像。当捕捉到人脸的时候，就会用一个框将人脸框起来，提示捕捉到了。

开始

提取模板

提取视频帧 模板匹配 处理下帧

标记人脸区域 判定

图5 实验室里捕捉到的人脸头像

Fig.5 image captured in the lab

致谢本文是在杨磊老师的指导下独立完成的，杨老师在计算机视觉与图像处理课上，一丝不苟，对学生们认真负责，向我们详细讲解了各种图像处理算法，并组织我们自己阅读大量论文，做PPT，并且做实验。在此，要特别感谢杨老师一学期以来的谆谆教导！

参考文献：

[1] 周志铭,余松,煜张,瑞杨小康.一种基于SIFT算子的人脸识别方法[D].上海：上海交通大学电子工程系图像通信与信息处

理研究所.

[2] 时磊,谢晓方,乔勇军.基于SURF算法和OpenCV的人脸特征检测技术研究[D].烟台：海军航空工程学院兵器科学与

技术系

[3] 彭欣,刘富强,宋华军.基于SURF 目标跟踪算法研究[D]东营：中国石油大学信息与控制工程学院

[4] 许广毅,王杨.基于SIFT特征的单样本人脸识别研究湖北：军事经济学院