人脸图像检测与识别方法综述
综述
《自动化技术与应用》
2004年第
23卷第
12期
Survey
人脸图像检测与识别方法综述
王科俊
,姚向辉
(哈尔滨工程大学自动化学院
,黑龙江哈尔滨
150001)
摘要
:本文对人脸识别技术中的检测和识别分成两部分进行了讨论。首先
,系统的整理分析了人脸检测的各种方法。其次
,作为
人脸识别技术的第二个环节
,对人脸的各种识别方法进行了比较性的论述
,重点讨论了当前热点的识别算法。最后对人脸
识别技术的发展方向进行了展望。
关键词
:人脸检测
;人脸识别
;特征提取
;模式识别
中图分类号
: TP391141 文献标识码
:A 文章编号
: 100327241 (2004) 1220005205
Survey of Human Face Detection and Recognition
WANG Ke -jun ,YAO Xiang -hui
(College of Automatization , Harbin Engineering University , Harbin 150001 ,China) Abstract :This paper describes the problem of human face detection and recognition. Firstly it synthesizes and analyzes the methods of human face de2
tection systematically from the view of the classification of human face detection ,
detection effect and future prospect.
of the Human face recognition , this paper discusses different recognition methods comparatively. It emphasizes the recognition algorithm
mostly used at present and views the trend of human face recognition.
As the second stage
Key words :Face detection ; Face recognition ; Feature extraction ; Pattern recognition
1 引言
自从美国
9. 11事件后
,人的身份确定问题就不仅仅是为了
银行存款、电子商务、家庭安全等服务了
,而是提升到了国家安
全的角度
,如何利用人体的生物特征
(如指纹、人脸、虹膜、掌纹
等)迅速判断并确定一个人的身份成了现在各个国家重点研究
的技术。这就迫切需要生物识别技术的发展和完善。
生物识别技术在上个世纪已经有了一定的发展
,其中应用
最广泛的是指纹识别技术
,在全球生物识别市场上指纹识别占
了
53 %份额
,这说明指纹识别技术已经趋近于成熟
,但是人脸
识别技术的研究目前还处于起步阶段。指纹、掌型、虹膜等识别
技术都需要被识别者配合
,但人的面部识别则可以用摄像头远
距离捕捉图像
,在当事人不知不觉的情况下完成身份确认识别
工作
,这对反恐怖活动等有非常重大的意义。
人脸的检测与人脸的识别是人脸识别技术两个不可分的部
分
,一个完整的人脸识别系统将是这两部分的有机结合
,为了论
述方便
,下文将对人脸检测和识别的各种方法分别进行论述。
收稿日期
:2004 -006 -10
2 人脸的检测方法
目前很多人脸识别技术的研究工作都是假定图像中的人脸
已经被检测和定位
,而为了设计出一个自动人脸识别系统
,快速
而高效的检测出人脸是比较关键的一步。目前人脸检测还是一个相当困难的工作
,还有许多问题有待解决。
国内外比较流行的人脸检测方法主要有
:基于特征的人脸
检测算法
[1 ]、基于统计的人脸检测算法、基于模板的人脸检测算
法和基于人脸彩色信息的检测算法
[7 ]等。
2. 1 基于面部重要特征的人脸检测方法
基于特征的人脸检测方法是利用人脸的先验知识导出的规
则来进行人脸检测的。人脸各个器官的分布总是存在着一定的规律性
,例如人的两个眼睛总是对称分布在人脸的上半部分
,鼻
子和嘴唇中心点的连线基本与两眼之间的连线垂直
,嘴巴绝对
不会超过眼睛的两端点
,如果这个人的双眼距离为
d,那么双眼
到嘴的垂直距离一般在
0. 8 —1. 25倍的
d,人们就可以利用这些
描述人脸局部特征分布的规则来进行人脸检测。当满足这些规则的图像区域找到后
,则认为一幅人脸已被检测出来
,然后可以
对候选的人脸区域进行进一步的论证
,以确定候选区域是否是
Techniques of Automation & Applications |
. 1994-2009 China Academic Journal Electronic Publishing House. All rights reserved. https://www.360docs.net/doc/7f13104983.html,
《自动化技术与应用》
2004年第
23卷第
12期综述
Survey
实现人脸的检测。实际上
,人脸检测问题被转化为了统计模式
识别中的二分类问题。
为一维
)通过某种变换
,转换到另外一个空间
,在这个空间上
,人
基于特征空间的方法的思想是将人脸的二维图像(可转化(2)基于特征空间的方法2. 3 基于模板匹配的人脸检测方法人脸。
这种方法所存在的问题主要是
:检测率不高
,如果图像背景
中存在类人脸区域
,则必然会导致误检
;对于不同视角的人由于
某些人脸特征不可见
,所以不能使用这种方法检测
;用于描述人
脸特征之间关系的规则不易设计
,规则制定的过高或者过低会
造成拒识或误识。
基于面部重要器官特征的人脸检测方法在人脸识别研究的
初期应用比较多
,现在人们往往把它作为其它检测方法的辅助
手段。
2. 2 基于统计的人脸检测方法
基于统计的人脸检测方法
[3 ,4]不是针对人脸的某一特征
,它
是从整个人脸的角度出发
,利用统计的原理
,从成千上万张人脸
图像中提取出人脸共有的一些规律
,利用这些规律来进行人脸
的检测。
由于人脸图像的复杂性
,显式地描述人脸特征具有一定困
难
,因此基于统计的方法越来越受到重视。此类方法将人脸区域看作一类模式
,使用大量的
“人脸”与“非人脸”样本
,构造并训
练分类器
,通过判别图像中所有可能区域属于哪类模式的方法
脸特征与非人脸特征的区别能更好的体现出来了
,这样就可以
比较容易的进行人脸的检测。
主分量分析
(PCA , Principal -Component Analysis) [2 ,6 ]是一种
常用的方法。它是根据图像的统计特性进行正交变换
(K-L变
换),以消除原有向量各个分量间的相关性
,变换得到对应特征
值依次递减的特征向量
,即特征脸。具体的实现方法是
:同时使
用
N ×N象素分辨率的“人脸”和“非人脸”样本
,样本预处理后
按行列顺序展开为样本向量进行主分量分解。采用
k均值聚类
方法在特征空间中建若干个“人脸”簇
(Clusters) ,同时建立包围
“人脸”簇的若干个
“非人脸”簇
,以使“人脸”与“非人脸”模式的
边界区分开来。这种方法的一大难点就是非人脸的样本很难获得。因为随着环境的不同而不同
,非人脸区域很难有确定性。
特征空间方法还有因子分解方法
( Factor Analysis , FA)和
Fisher准则方法
( Fisher Linear Discriminant , FLD)。此外
,小波变
换也被用于人脸检测
,如小波变换中提取人脸的多分辨率特征
作为分类的依据。
特征空间方法优于其它方法的一点就是它能把特征压缩。
从而使计算量减小
,这对于搜索式的人脸检测来说是非常有价
值的。特征空间的方法无论是对于人脸检测还是人脸识别
,都
是很有前景的研究方向。
(3)基于人工神经网的方法
由于人工神经网络
(ANN)高度的自适应性
,它对于图像的
容忍度相当高
,对于平移、变形、噪声甚至局部残缺的图像都能
够保持一定的识别率
,因而有时候可能会达到传统方法很难达
到的可喜效果。人工神经网
(ANN)方法是把模式的统计特性隐
含在
ANN的结构和参数之中
,对于人脸这类复杂的、难以显式
描述的模式
,基于
ANN的方法具有独特的优势。
采用
3层以上的
BP网络或是
Hopfield网络
,取得足够量的
N ×N像素的人脸样本和非人脸样本
,作为神经网络输入的训练
样本
,进行人工神经网络的训练
,训练过程中不断调整网络的权
值和层数
,最后使网络能将人脸和非人脸能很好的区分开来。
然后用这个训练好的网络来对含有人脸图像的背景图像进行搜索
,找到符合条件的区域。这就是人工神经网络方法用于人脸
检测的基本原理。
人工神经网络虽然有它独特的优势
,但也有致命的缺点
,一
方面是用于训练输入的样本维数过高
,计算量太大
,不容易收
敛
,搜索的过程也会很慢。另外一个问题就是很难找到一个标
准的非人脸的样本
,来适应各种情况。
基于统计模型的人脸检测方法是目前比较流行的人脸检测
方法
,是解决复杂的人脸检测问题的有效途径。
早期基于模板匹配的检测方法
[8 ,9]是这样做的
:首先建立一
个标准的人脸模板
,由包含局部人脸特征的子模板构成
,然后对
一幅输入图像进行全局搜索
,对应不同尺度大小的图像窗口
,计
算与标准人脸模板中不同部分的相关系数
,通过预先设置的阈
值来判断该图像窗口中是否包含人脸。
Yullie等人
[10 ]提出了基于弹性模板的方法用于人脸的检
测。弹性模板
[11 ]是由一个根据被测物体形状而设定的参数化
的可调模板和与之相应的能量函数所构成
,能量函数要根据图
像的灰度信息、被测物体轮廓等先验知识来设计。当用弹性模板进行人脸检测时
,首先
,将可调模板在待测图像中移动
,并动
态地调整其参数
,计算能量函数。当能量函数到达最小值时
,根
据其位置和参数所决定的可调模板形状应该达到与人脸形状的最佳拟合
,这样就检测到了一幅人脸。这种方法的优点在于
,由
于使用的弹性模板可调
,能够检测不同大小、具有不同偏转角度
的物体。但是其缺点是检测前必须根据待测人脸的形状来设计弹性模板的轮廓
,否则会影响收敛的结果
;当对图像进行全局搜
索时
,由于要动态地调整参数和计算能量函数
,计算时间过长。
3 人脸的识别方法
人脸识别的研究已经有很长的历史
,最早可以追溯到上个
世纪法国人
Galton[11 ]的工作
,但真正有发展还是近
30年的事。
人脸识别的输入图像通常有
3种情况
:正面、倾斜、侧面。从
| Techniques of Automation & Applications
. 1994-2009 China Academic Journal Electronic Publishing House. All rights reserved. https://www.360docs.net/doc/7f13104983.html,
综述
《自动化技术与应用》
2004年第
23卷第
12期
Survey
1973年
Kanade[12]的工作起至今
,大多数人脸识别研究工作的对
象为正面或接近正面的人脸图像。人脸识别试验所采用的人脸库通常不大
,最常见的人脸库一般包括
100幅左右的人脸图像
,
如
MIT库、
Yale库、
CMU库、
ORL库
,这些均为小型库。目前国际
上还没有一个通用的大型标准人脸库。
人脸的特征提取和特征识别
(匹配
)是人脸识别中最为关键
的两个问题。事实上
,人脸识别研究的发展主要就体现在这两
个问题上
,即提取人脸的什么特征和用什么手段进行分类。
针对这两个问题
,人们提出了许多种人脸识别算法
:基于二
维
(三维
) [16 ]特征的人脸识别方案
;基于特征脸
(特征子空间
) [13 ]
的人脸识别算法
;基于模板匹配
(静态匹配和弹性匹配
)的人脸
识别算法
;基于人工神经网络的识别算法
[14] ;等灰度线法
[15] ;基
于特征融合的人脸识别算法
[17] ;隐马尔可夫模型方法等许多
种
,下面针对人们研究比较多的算法作进一步的论述。
3. 1 基于二维
(三维
)特征的人脸识别算法
基于二维特征的人脸识别方法是
Kanade[12 ]在人脸识别领
域首次提出的
,以后又经过了
Kaya和
Kobayashi[18 ]等人的进一步
研究和改进。
外型轮廓的大小、距
脸图像集的协方差矩阵的特征向量
脸图像集中每个人脸均可以精确的表示为特征脸的线性组合,
,因此特征脸是像脸的
,该人
此方法首先定位一些人脸特征点或是特征区域
,如眼睛虹
膜、鼻侧翼点、嘴角、下巴轮廓、眉毛、位置、这些特征脸形成了一个低维子空间,称为
“人脸子空间”
,每张人
离、角度、曲线等二维几何特征量
,这些二维几何特征量形成描脸图像在该低维子空间上的投影即作为识别特征。
述该人脸的特征向量
,其维数通常因系统的不同而从
10到
50
不等。这种方法到目前为止仍局限于正面视图
,对非图像平面
内的深度旋转不具有不变性
,很难扩展到多姿态人脸识别
,而且
因其丢失掉了许多纹理和结构信息
,对大的人脸库来说其识别
效果也是未知的。对于基于二维特征的方法
,早期人脸识别用
的比较多
,目前一般作为一种辅助的识别手段。
针对利用二维特征进行人脸识别的缺点
,人们提出的基于
三维特征的方法
,采用三维识别
[21]与传统的方法最大的区别就
在于
,人脸的信息可以更好的表现和存储
,例如人脸特征点的深
度信息及点之间的拓扑结构等等。通过更全面的信息
,可以较
好的解决识别过程中的误识率和虚警率问题
,同时由于三维人
脸模型具备光照无关性和姿态无关性的特点
,能够正确反映出
人脸的基本特性
,同时人脸主要的三维拓扑结构不受表情的影
响
,从而形成相对稳定的人脸特征表述。因此基于三维人脸模型的识别方法可以很好的解决目前在这一领域存在的研究瓶颈。国外研究者已经开始研究三维的面貌识别系统
,但研究很
不充分
,并且针对实际应用系统的研究更少。
国外三维人脸识别的典型方法主要是利用深度图像自身的几何特征
,利用深度图像处理技术
,分析面貌曲面的曲率等几何
特征
,对面貌曲面进行凹凸区域的分割、正侧面轮廓边缘的提取。早期三维图像面貌识别的研究有
Lapreste提出的基于轮廓
线的方法
,它是通过对人脸面貌曲率的分析
,提取轮廓线上的特
征点
,利用轮廓线作为特征进行面貌的识别。另外也有人从人
脸面貌深度图像中抽取凸区域
,这些凸区域形成了特征集
,计算
出所有凸区域相关的扩展高斯图
,两幅面貌特征的匹配就是利
用这些扩展高斯图像进行的。不过目前这些研究还只是处于初级阶段。
目前三维人脸识别算法还很不成熟
,主要面临如下困难
:
(1)数据获取困难
; (2)海量存储和计算量庞大
; (3)识别方法不
足等。但是
,由于三维人脸模型对人脸特征相对稳定和全面的
表述
,它对于解决人脸识别这个世界性难题定会有所帮助。
3. 2 基于特征脸
(特征子空间
)的人脸识别算法
特征脸
( Eigenface )这一术语是由
M. A. Turk和
A. P.
Pentland[6 ]提出的
,其思想来源于人们开发的一种用于主成分
(PCA)描述人脸照片的技术
,该技术用一组图片作为“基底”
,对
应每个人脸照片有一个权向量
,用该权向量和该“基底”的线性
组合可以重构原图片。
M. A. Turk和
A. P. Pentland[6]受其启发
,
利用重构权向量作为识别用的特征
,并找到了合适的
“基底”
,从
而开发出了
Eigenface识别技术。从数学上来说
,特征脸就是人
通过人脸向量向特征子空间作投影得到的向量称之为主分量特征
,主分量特征通过证明具有有如下几点性质
:
性质一主分量特征具有很强的信息压缩能力
,因为这一
技术最早是用于图像压缩。
性质二对于任何属于样本空间的人脸模式都有唯一的主分量特征与之相对应。
性质三主分量特征具有稳定性。即当输入的人脸模式向量有微小变化时候
,其对应的主分量特征变化将小于输入模式
的变化。这一点对于模式的分类是非常有利的。
性质四经过变换矩阵的映射
,随着空间维数的降低
,模式
之间的距离也得以缩小
,从而避免了在巨空间中进行分类的复
杂性。这对于人脸图像这样的大数据量的输入来说
,是非常有
价值的。
从主分量的上述性质
,不难发现
,利用特征脸的方法进行人
脸识别有其它人脸识别算法不能替代的优势
,所以在人脸识别
领域
,特征子空间的方法是人们研究的一个热门方向。
3. 3 基于模板匹配
(静态匹配和弹性匹配
)的人脸识
别算法
模板匹配
[5 ,8]方法的思想是
:库中存储着已知人脸的若干模
板
,这些模板即可以是整张人脸的灰度图像
(view
based) ,也可
以是各生理特征区域的灰度图像
( sub
view
based) ,如眼睛模
板、鼻子模板、嘴模板
,还可以选择经过某种变换的人脸图像作
Techniques of Automation & Applications |
. 1994-2009 China Academic Journal Electronic Publishing House. All rights reserved. https://www.360docs.net/doc/7f13104983.html,
《自动化技术与应用》
2004年第
23卷第
12期综述
Survey
为模板存储。为了取得光照的不变性
,有些系统采用经过梯度
滤波后的人脸图像作为模板。识别的时候
,经过同样变换的输
入图像的所有像素点位置与库中所有模板采用归一化相关度量进行匹配识别
,来达到分类的目的
,完成人脸的识别。上述为静
态模板匹配
,但是它存在着对不同表情的人脸鲁棒性差的缺点
,
针对这一情况
,人们提出了弹性模板匹配。
弹性模板匹配是根据待检测人脸特征的先验的形状信息
(通常利用小波特征
),定义一个参数描述的形状模型
,该模型的
参数反映了对应特征形状的可变部分
,如位置、大小、角度等
,它
们最终通过模型与图像的边缘、峰、谷和灰度分布特性的动态地交互适应来得以修正。由于模板变形利用了特征区域的全局信息
,因此可以较好地检测出相应的特征形状。由于可变形模板
要采用优化算法在参数空间内进行能量函数极小化
,因此算法
的主要缺点在于两点
:一、对参数初值的依赖程度高
,很容易陷
入局部最小
;二、计算时间长。针对这两方面的问题
,可采用了
一种由粗到细的检测算法
:首先利用人脸器官构造的先验知识、
面部图像灰度分布的峰谷和频率特性粗略检测出眼睛、鼻子、
嘴、下巴的大致区域和一些关键的特征点
;然后在此基础上
,给备等都会给人脸检测与识别系统带来很大的影响
,另外需要建
出了较好的模板的初始参数
,从而可以大幅提高算法的速度和立用于测试的标准数据库等等。精度。
人脸是塑性变形体
,与刚体不同
,更适合用弹性模型来描
弹性模板匹配的方法对比特征脸方法有一定的优势
,它一述。因此
,任何基于刚体特性的特征抽取方法都很难达到满意
般采用小波变换特征来描述人脸的局部信息
,并和人眼视网膜
对图像的响应相似
,而且一定程度上容忍光线等的干扰
,对细微
的表情不敏感。而且弹性匹配中的人脸模型还考虑了局部人脸
细节
,并保留了人脸的空间分布信息
,它的可变形匹配方式一定
程度上能容忍人脸从三维到二维投影引起的变形。目前国内利
用弹性模板匹配进行识别的还比较少
,但是从国外众多的关于
弹性匹配的研究结果来看
,它在人脸识别技术中有很重要的地
位。
3. 4 基于人工神经网络的人脸识别算法
作为一种非线性动力学系统
,神经网络在解决问题的自适
应性和鲁棒性方面表现出极好的特性。很早人们就证明了利用
神经网络进行联想记忆的可行性。
J.L. Perry和
J . M. Carney[19 ]
利用多层感知机设计了一个人脸识别系统。中国科技大学的杨
奕若等采用两种不同功能的神经网络组成模型的人脸识别系
统
,识别系统由压缩网络和识别网络组成
,输入人脸图像经压缩
网络压缩
(降维
),其隐含层输出再输入识别网络进行识别
,所实
现的识别系统对未学习的样本识别率达到了
76 %[20]。
通常利用神经网络进行识别需要考虑两方面的因素
: (1)选
择人脸图像的哪些参数作为神经网络的输入
; (2)选择何种神经
网络。
神经网络的输入策略有两种
:
第一类是将提取到的特征向量作为输入向量。这些特征向
量可以是由几何特征提取的特征向量
,也可以是全局特征提取
如
KL、KL -FSAT、WT等变换后得到的特征向量。
第二类是将人脸图像像素直接输入神经网络。输入可以是
全局人脸图像
,也可以是经过定位的局部人脸组分图像。
第一种输入策略可以有效的控制神经网络的规模
,提高神
经网络的运行速度
,但同时对提取特征的要求较高
,提取什么特
征以及提取多少特征才能满足识别的要求很难先验得出。而第二种输入策略对于特征提取的要求降低
,并可以根据样本集自
身的群体特性
(方差特征
)来进行特征选择
,但同时带来的问题
是网络的规模扩大而造成收敛的缓慢及不稳定
,计算量太大。
所以将全局的特征提取与人工神经网络结合起来可能会在人脸识别方面得到比较好的效果。
4 总结与展望
近二十年来
,研究者在人脸检测与识别技术方面取得了许
多成绩
,但是要设计并实现一个健壮的人脸检测识别系统
,还有
许多问题待于解决
:年龄变化、表情变化、光照变化、不同采集设
的效果。另外
,人脸识别是人类视觉的独特过程
,因此人脸识别
必须结合生理学和心理学的研究成果。最后
,人脸识别的复杂
性使得仅仅单独使用任何一种现有的方法都不可能取得很好的
识别效果。将各种方法有效综合是以后研究的必然趋势
,如何
与基于其它生物特征的鉴别系统结合以提高识别效率也是一个
有意义的研究方向。
相信随着计算机技术和生物识别技术的发展
,以及人脸的
检测与识别技术的不断完善
,在不远的将来
,一套准确而高效的
人脸检测与识别系统就会呈现在我们的面前。
5 参考文献
:
[1] YANG G. , HUANG T -S. Human face detection in complex back2 ground[J]. PatternRecognition1994,27 (1):53-63
[2] 乔宇
,黄席越
,柴毅
,基于加权主元分析的人脸识别
[J ].重庆
大学学报
:自然科学版
,2004 ,27 (3) :28 -31
人脸识别技术综述
人脸识别研究综述 摘要：论文首先介绍了人脸识别技术概念与发展历史，解释人脸识别技术的过程与优缺点；随后对近几年人脸识别技术的研究情况与一些经典的方法进行详细的阐述，最后提出人脸识别技术在生活中的应用与展望。 关键词：人脸识别研究现状应用与展望 一、概念 人脸识别技术是基于人的脸部特征，对输入的人脸图像或者视频流。首先判断其是否存在人脸，如果存在人脸，则进一步的给出每个脸的位置、大小和各个主要面部器官的位置信息。并依据这些信息，进一步提取每个人脸中所蕴涵的身份特征，并将其与已知的人脸进行对比，从而识别每个人脸的身份。 广义的人脸识别实际包括构建人脸识别系统的一系列相关技术，包括人脸图像采集、人脸定位、人脸识别预处理、身份确认以及身份查找等；而狭义的人脸识别特指通过人脸进行身份确认或者身份查找的技术或系统。 二、发展历史 人脸识别的研究历史比较悠久。高尔顿(Galton)早在1888 年和1910 年就分别在《Nature》杂志发表了两篇关于利用人脸进行身份识别的文章，对人类自身的人脸识别能力进行了分析。但当时还不可能涉及到人脸的自动识别问题。最早的AFR1的研究论文见于1965 年陈（Chan）和布莱索（Bledsoe）在Panoramic Research Inc.发表的技术报告，至今已有四十年的历史。近年来，人脸识别研究得到了诸多研究人员的青睐，涌现出了诸多技术方法。 三、过程与优缺点 人脸的识别过程： (1)首先建立人脸的面像档案。即用摄像机采集单位人员的人脸的面像文件或取他们的照片形成面像文件，并将这些面像文件生成面纹(Faceprint)编码贮存起来。 (2)获取当前的人体面像。即用摄像机捕捉的当前出入人员的面像，或取照片输入，并将当前的面像文件生成面纹编码。 (3)用当前的面纹编码与档案库存的比对。即将当前的面像的面纹编码与档案库
人脸识别文献综述
文献综述 1 引言 在计算机视觉和模式识别领域，人脸识别技术（Face Recognition Technology，简称FRT）是极具挑战性的课题之一。近年来，随着相关技术的飞速发展和实际需求的日益增长，它已逐渐引起越来越多研究人员的关注。人脸识别在许多领域有实际的和潜在的应用，在诸如证件检验、银行系统、军队安全、安全检查等方面都有相当广阔的应用前景。人脸识别技术用于司法领域，作为辅助手段，进行身份验证，罪犯识别等;用于商业领域，如银行信用卡的身份识别、安全识别系统等等。正是由于人脸识别有着广阔的应用前景，它才越来越成为当前模式识别和人工智能领域的一个研究热点。 虽然人类能够毫不费力的识别出人脸及其表情，但是人脸的机器自动识别仍然是一个高难度的课题。它牵涉到模式识别、图像处理及生理、心理等方面的诸多知识。与指纹、视网膜、虹膜、基因、声音等其他人体生物特征识别系统相比，人脸识别系统更加友好、直接，使用者也没有心理障碍。并且通过人脸的表情/姿态分析，还能获得其他识别系统难以获得的一些信息。 自动人脸识别可以表述为：对给定场景的静态或视频序列图像，利用人脸数据库验证、比对或指认校验场景中存在的人像，同时可以利用其他的间接信息，比如人种、年龄、性别、面部表情、语音等，以减小搜索范围提高识别效率。自上世纪90年代以来，人脸识别研究得到了长足发展，国内外许多知名的理工大学及TT公司都成立了专门的人脸识别研究组，相关的研究综述见文献[1-3]。 本文对近年来自动人脸识别研究进行了综述，分别从人脸识别涉及的理论，人脸检测与定位相关算法及人脸识别核心算法等方面进行了分类整理，并对具有典型意义的方法进行了较为详尽的分析对比。此外，本文还分析介绍了当前人脸识别的优势与困难。 2 人脸识别相关理论 图像是人们出生以来体验最丰富最重要的部分，图像可以以各种各样的形式出现，我们只有意识到不同种类图像的区别，才能更好的理解图像。要建立一套完整的人脸识别系统(Face Recognetion System，简称FRS)，必然要综合运用以下几大学科领域的知识： 2.1 数字图像处理技术 数字图像处理又称为计算机图像处理，它是指将图像信号转换成数字信号并利用计算机
单样本人脸识别综述
单样本人脸识别综述 南京杭空航天大学 ELSEVIER 摘要 当前人脸识别技术主要挑战之一在于样本收集的困难性。很少的样本意味着在收集样本时付出更少的劳动，在存储和处理它们是付出更少的代价。不幸的是，许多现有的人脸识别技术很大程度上依赖于训练样本集的规模和代表性，如果系统中仅有一个训练样本，则将会导致严重的性能下降甚至无法工作。这种情况称之为“单样本”问题，即给出每人一幅人脸的存储数据库，目标是仅根据单幅人脸图像在不同的姿态、光照等条件下从数据库中识别人脸图像的身份。由于训练集非常有限，这样的任务队当前大多数算法而言都是非常具有挑战性的。现有许多技术正试图解决该问题，本文的目的是对这些算法进行分类和评估，对较为突出的算法进行了描述和批判的分析。并讨论了诸如数据采集、小样本规模的影响、系统评估等一些相关问题，同时提出了一些未来研究中具有前景的方向。 关键词：人脸识别；单训练样本 1 引言 作为少数几个同时具有高精度和低干涉的生物特征方法，人脸识别技术在信息安全、法律事实和监控、智能车、访问控制等方面具有大量的潜在应用。因此，在过去20年中人脸识别技术已经受到了来自学术和工业方面的极大关注。近来，一些作者已经从不同方面调查和评估了现有的人脸识别技术。例如，Samal et al. [4] and Valentin et al. [5]分别对基于特征和基于神经网络的技术进行了调研。Yang等[6]评述了人脸识别技术，Pantic and Rothkrantz[7]对自动面部表达分析进行了调研，Daugman [3]指出了涉及人脸识别系统有效性的几个关键问题，而最近的综述应该是Zhao et al. [1],他对许多最新的技术进行了评论。 人脸识别的目的是从人脸图像的数据库中的静态图像或视频图像中识别或验证一个或多个人。许多研究工作集中在怎样提高识别系统的精度，然而，大部分研究工作似乎忽视了一个可能来源于人脸数据库的潜在问题，即可能由于样本采集的困难或由于系统存储空间的限制，数据库中可能对每一个人只存储了一副样本图像。在这种条件下，诸如特征脸（Eigenface）和Fisher人脸识别技术等传统方法将导致严重的性能下降甚至无法工作（详见第2节）。这个问题称之为单样本问题，即即给出每人一幅人脸的存储数据库，目标是仅根据单幅人脸图像在不同的姿态、光照等条件下从数据库中识别人脸图像的身份。由于其挑战性和现实应用的重要性，这个问题很快成为了人脸识别技术近年来的一个研究热点，许多专用技术被开发来解决该问题，例如合成虚拟样本，局部化单一训练图像，概率匹配和神经网络方法。 本文最主要的贡献是给出这些从单一人脸图像进行人脸识别的特定方法一个综合的、评论性的综述。我们相信这些工作是对参考文献[1–7]的一个有用的补充，这些文献中所考察的大多数技术没有考虑单样本问题。实际上，通过对这个问题更多的关注和技术的详细研究，我们希望这篇综述能够对这些技术的基本原则、相互联系、优缺点以及设计优化提供更多深刻的理解。对一些相关问题，如数据收集、小样本空间的影响以及系统评估等也进行了讨论。 接下来我们首先试图建立有关什么是单样本问题以及为什么、何时应道考虑这个问题的一个公共背景。特别的，我们也讨论了该问题所不需要考虑的方面。在第三节我们继续回顾有关该问题的前沿技术。借此，我们希望能够借鉴一些有用的经验来帮助我们更有效地解决这个问题。在第四节中，我们讨论了有关性能评估的几个问题。最后，在第五节中我们通过讨论几个具有前景的研究方向对单样本问题进行了总结。
面部表情识别实验报告分析
面部表情识别实验 实验报告 小组成员： 面部表情识别实验 西南大学重庆 400715
摘要：情绪认知是一种复杂的过程，它包含观察、分析、判断、推理等，是借助于许多线索，特别是借助面部那些活动性更大的肌肉群的运动而实现的。所以，情绪认知的准确度受多种因素的影响。 当我们与他人相互交往的时候，不管是不是面对面。我们都正在不断的表达着情绪，同时又正在观察，解释着的对方做出的表情，在人际交往过程中，情绪的表达和认知是十分的迅速和及时，那么人是借助于哪些表情来认知他人的情绪的呢？情绪识别实际上并不是针对表情本身的，而是针对这它背后的意义。例如：皱眉可能是一种情绪的表现，我们见到这种面部表情就试图解释潜在于它背后的情绪。尖锐，短促，声音嘶哑可能是一种情绪表现，我们听到这种语言表情就试图解释潜在于它背后的情绪捶胸，顿足可能是一种情绪的表现，我们见到这种动作表情就是试图解释潜在于它背后的情绪。对于这个复杂的问题，心理学家曾经做过许多的研究。 面部表情认知的研究可分为两个步骤：第一步是面部表情刺激物的制作或选择，这可以用专门拍摄(录像)或图示来描画，也可以用完全装扮出的活生生的表情或自发的表情等。第二步时对表情进行识别评定。也可以用多种方法，如自由评定法，即让被试自由地对表情给出情绪词汇；或限制评定法，即向被试提供各种提供各种情绪词汇或情绪情境，要求被试只能根据所提供的情绪词汇或者情绪情境进行分类或者匹配等；或参照自由评定法，即向被试提供参考线索（如情境，人格特征等），让其说出所表达的情绪的词汇等。 关键词：情绪表情认知线索
1 前言 传统心理学把情绪列为心理现象的三大方面之一。情绪也是心理学理论体系中一个不可缺少的研究环节。情绪（emotion）是体验，又是反应；是冲动，又是行为；它是有机体的一种复合状态。情绪的表现有和缓的和激动的，细微的和强烈的，轻松的和紧张的等诸多形式，广泛地同其他心理过程相联系。自古以来，科学家们十分注意探讨情绪之奥妙，但与情绪的重要性不相适应的是，长期以来情绪研究一直是心理学尤其是实验心理学研究中的一个薄弱环节。造成这一现象的最主要原因是情绪所特有的复杂性以及由此衍生出来的情绪研究方法学上的困难。我国心理学家孟昭兰（1987）将理论认为面部表情是传递具体信息的外显行为面部表情是提供人们在感情上互相了解的鲜明标记。情绪过程既包括情绪体验，也包括情绪表现，而表情既是情绪的外部表现，也是情绪体验的发生机制；既是最敏锐的情绪发生器，也是最有效的情绪显示器。这就从机制上说明了以面部肌肉运动模式作为情绪标志的根据。 面部表情（facial expression_r）的发生是有其客观的物质基础的：表情按面部不同部位的肌肉运动而模式化，面部反应模式携带着心理学的意义，那就是或快乐、或悲伤等具体情绪。但是，对表情进行测量的原则在于：所要测量的是面孔各部位的肌肉运动本身，而不是面部所给予观察者的情绪信息。该实验将14名被试分为两组进行表情认知的实验，实验目的在于通过实验了解面部表情认知的基本
人脸检测和识别技术的文献综述
人脸识别技术综述 摘要：在阅读关于人脸检测识别技术方面文献后，本文主要讨论了人脸识别技术的基本介绍、研究历史,人脸检测和人脸识别的主要研究方法，人脸识别技术的应用前景，并且总结了人脸识别技术的优越性和当下研究存在的困难。 关键词：人脸识别;人脸检测；几何特征方法;模板匹配方法;神经网络方法;统计方法;模板匹配;基于外观方法; 随着社会的发展，信息化程度的不断提高，人们对身份鉴别的准确性和实用性提出了更高的要求，传统的身份识别方式已经不能满足这些要求。人脸识别技术(FRT)是当今模式识别和人工智能领域的一个重要研究方向.虽然人脸识别的研究已有很长的历史,各种人脸识别的技术也很多,但由于人脸属于复杂模式而且容易受表情、肤色和衣着的影响,目前还没有一种人脸识别技术是公认快速有效的[1]基于生物特征的身份认证技术是一项新兴的安全技术，也是本世纪最有发展潜力的技术之一[2]。 1. 人脸识别技术基本介绍 人脸识别技术是基于人的脸部特征，一个完整的人脸识别过程一般包括人脸检测和人脸识别两大部分，人脸检测是指计算机在包含有人脸的图像中检测出人脸，并给出人脸所在区域的位置和大小等信息的过程[3]，人脸识别就是将待识别的人脸与已知人脸进行比较，得
出相似程度的相关信息。 计算机人脸识别技术也就是利用计算机分析人脸图象, 进而从中出有效的识别信息, 用来“辨认”身份的一门技术.人脸自动识别系统包括三个主要技术环节[4]。首先是图像预处理，由于实际成像系统多少存在不完善的地方以及外界光照条件等因素的影响，在一定程度上增加了图像的噪声，使图像变得模糊、对比度低、区域灰度不平衡等。为了提高图像的质量，保证提取特征的有有效性，进而提高识别系统的识别率，在提取特征之前，有必要对图像进行预处理操作；人脸的检测和定位，即从输入图像中找出人脸及人脸所在的位置，并将人脸从背景中分割出来，对库中所有的人脸图像大小和各器官的位置归一化；最后是对归一化的人脸图像应用人脸识别技术进行特征提取与识别。 2. 人脸识别技术的研究历史 国内关于人脸自动识别的研究始于二十世纪80年代，由于人脸识别系统和视频解码的大量运用，人脸检测的研究才得到了新的发展利用运动、颜色和综合信息等更具有鲁棒性的方法被提出来变形模板，弹性曲线等在特征提取方面的许多进展使得人脸特征的定位变得更为准确。 人脸识别的研究大致可分为四个阶段。第一个阶段以Bertillon，Allen和Parke为代表，主要研究人脸识别所需要的面部特征；第二个阶段是人机交互识别阶段；第三个阶段是真正的机器自动识别阶段；第四个阶段是鲁棒的人脸识别技术的研究阶段。目前，国外多所
人脸识别技术综述解读
人脸识别研究 代上 （河南大学环境与规划学院河南开封 475004） 摘要：现今世界经济发展迅速，而面对繁杂的社会安全问题却显得有些捉襟见肘，人脸识别技术能够因通过面部特征信息识别身份而受到广泛关注。人脸识别通常使用采集含有人脸图像或视频流的设备，将收集到的人脸信息进行脸部检测,进而与数据库中已有信息进行对比确定被识别对象的身份,已经广泛的应用于公共安全、教育等多个方面，且在以后的社会发展中具有很大的应用前景。本文主要对人脸识别的发展历程、主要识别方法予以总结概括，并对其应用范围与发展趋势进行分析。 关键词：人脸识别；方法；应用；发展 1引言 人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术。该项技术目前应用到社会的各个领域，例如个人家庭自动门的安全系统、犯罪人的身份识别系统、银行自动取款的服务系统等。 人脸识别系统给人带了很多方便，应用能力很强，但是人脸识别仍然有很多阻碍其发展的困难之处。主要表现在：在收集图像中目标自身的影响；在系统收集图像的过程中容易受到各种外界因素以及系统收集图像之后由于其它因素造成的面部损伤所带来的影响；随着时间的变迁，人的面部逐步发生变化的影响。这些都对人脸识别技术的发展造成了一定的困难，也使得该项技术面临着多种挑战性。 2 人脸识别研究的发展历史与研究现状 2.1发展历史 很早在19世纪80年代就有关于通过人脸对人类的身份进行辨别的论文发表，但是由于技术水平与设备的限制，人脸识别技术并没有受到重视。直到20世纪60年代末，Blcdsoc[1]提出了人脸识别研究的雏形，人脸识别技术才被人们接受。 在人脸识别研究的早期阶段，人们主要研究的是人脸识别的各种方法，但是在实际应用方面却没有得到实质性的进展。 进入20世纪90年代末的时候，人脸识别技术进入了一个快速发展阶段，在这个时期各种新的人脸识别方法相继出现，并创建了人脸图像数据库，对人脸识别的发展起到了巨大的促进作用。在实际应用方面也取得了很大的进展，运用人脸识别技术的产品逐渐进入了社会市场。 进入21世纪以后，人脸识别技术已经逐步发展成熟，但是由于非理想条件如（光照、天气、姿态）的影响，对人脸识别技术的要求也更高。为了解决这些不利因素所造成的影响，研究者们一直努力寻找更加趋于完美的方法，从而减少这些因素所带来的不利影响。 2.2研究现状 近几年来，人脸识别技术已经从以前的认知阶段发展到了实际应用阶段。但是由于每个人的面部都会因为各种不同的原因发生改变，这给人脸识别带来了不小的影响。如光照不同
人脸识别技术综述 论文
本科生毕业论文（设计） 题目人脸识别技术综述 学院计算机学院 专业计算机科学与技术 学生姓名陶健 学号 0643041077 年级 2006 指导教师周欣 教务处制表 二Ο年月日
人脸识别技术综述 计算机科学与技术 学生陶健老师周欣 [摘要]随着社会信息化，网络化得不断发展，个人身份趋于数字化，隐性化，如何准确的鉴定，确保信息安全得到越来越多的重视。人脸识别，一种应用比较广泛的生物识别方法，在基于人脸固有的生物特征信息，利用模式识别和图行图像处理技术来对个人身份进行鉴定，在国家安全，计算机交互，家庭娱乐等其他很多领域发挥着举足轻重的作用，能提高办事效率，防止社会犯罪等，有着重大的经济和社会意义。 本文主要研究了人脸识别在图像检测识别方面的一些常用的方法。由于图像处理的好坏直接影响着定位和识别的准确率，因此本文对图像的一些识别算法做了着重的介绍，例如基于二维Gabor小波矩阵表征人脸的识别算法，基于模型匹配人脸识别算法等。此外，本文还提及了一般人脸识别系统的设计，并着重介绍了图像预处理环节的光线补偿，图像灰度化等技术，使图像预处理模块在图像处理过程中能取到良好的作用，提高图像识别和定位的准确率。 [主题词]：人脸识别；特征提取；图像预处理；光线补偿
Face Recognition Overview Computer Science Student：TAO Jian Adviser: ZHOU Xin [Abstract] With the information society, network was growing, personal identity tends to digital, hidden, how to accurately identify, to ensure that information security is more and more attention. Face recognition, an application of biometric identification methods more widely, based on biometric facial information inherent in the use of pattern recognition and image processing techniques to map line of personal identity ,play a great role in the national security, computer interaction, family entertainment and many other areas. Face recognition can improve efficiency, prevent social crime, of course it has significant economic and social significance. This paper studies aspects of face recognition in image detection and some common methods of identification. As the image processing directly impact on the accuracy of location and identification, so some of image recognition algorithm will be focused presentation, such as Gabor wavelet-based two-dimensional matrix representation of face recognition algorithms, model-based matching face recognition algorithm. In addition, the article also mentioned a general recognition system design, and highlights the image preprocessing part of the light compensation, gray image techniques, the image preprocessing module in the image processing to get to the good , and improve image recognition and positioning accuracy. [Key Words] Face recognition; feature extraction; image preprocessing; light compensation
人脸表情识别
图像处理与模式识别 ------人脸表情识别介绍摘要：人脸表情是我们进行交往和表达情绪的一种重要手段，不经过特殊训练，人类对其面部表情往往很难掩饰，所以，通过对人脸表情进行分析，可以获得重要的信息。人脸表情识别是人机交互的智能化实现的一个重要组成部分，也是模式识别、图像处理领域的一个重要研究课题，近几年来，受到了越来越多的科研人员的关注。 本文综述了国内外近年来人脸表情识别技术的最新发展状况，对人脸表情识别系统所涉及到的关键技术: 人脸表情特征提取，做了详细分析和归纳。 关键词：人脸定位；积分投影；人脸表情识别；流形学习；局部切空间排列Abstract:Facial expression is a kind of important means that we communicate and express the special training, People often difficult to conceal their facial , by the analyzing facial expression, we can obtain important information. Facial expression recognition is an important component that the implementation of human-computer interaction, and an important research topic in the field of pattern recognition, image processing, in recent years, more and more researchers focus on this topic. In this paper,we present the latest development of this area,and give a detailed analysisand summary for facial
人脸自动识别方法综述_周杰
人脸自动识别方法综述 周 杰,卢春雨,张长水,李衍达 (清华大学自动化系,北京100084) 摘 要: 人脸自动识别是模式识别、图像处理等学科的一大研究热点,近几年来关于人脸识别的研究取得了很大进展.本文重点对近三、四年来人脸识别的研究进行综述并对各种方法加以评论. 关键词: 人脸自动识别;人脸检测;人脸定位 中图分类号: TP39114 文献标识码: A 文章编号: 0372-2112(2000)04-0102-05 A Su rvey of Automa tic Human Face Recognition ZHOU Jie,LU Chun -yu,ZHANG Chang -shui,LI Yan -da (De partment o f Automation ,Tsinghua Unive rsit y ,Be ijing 100084,China) Abstract: Automatic human face recogni tion is attractive in pattern recogniti on and i mage processing.In this paper we gave a survey of automatic human face recogni tion,mainly ai ming at the latest progress. Key words: automatic hu man face recognition;face detection;face localization 1 引言 随着社会的发展,各个方面对快速有效的自动身份验证的要求日益迫切.由于生物特征是人的内在属性,具有很强的自身稳定性和个体差异性,因此是身份验证的最理想依据.这其中,利用人脸特征进行身份验证又是最自然直接的手段,相比其它人体生物特征它具有直接、友好、方便的特点,易于为用户所接受[1]. 人脸识别是人类视觉最杰出的能力之一,它的研究涉及模式识别、图像处理、生理学、心理学、认知科学,与基于其它生物特征的身份鉴别方法以及计算机人机感知交互领域都有密切联系,因此早在六七十年代即引起了研究者的强烈兴趣.进入九十年代,由于各方面对人脸识别系统的迫切需求,人脸识别的研究重新变得非常热门.目前美国等国有许多研究组在从事人脸识别的研究,这些研究受到军方、警方及大公司的高度重视和资助,美国军方每年还专门组织人脸识别比赛以促进这一领域的发展.在国内,也开始有一些学校从事人脸识别相关的研究.近几年来关于人脸识别的研究取得了很大进步,国际上发表有关论文的数量大幅增长,IEEE 的PAM I 汇刊还于1997年7月出版了人脸识别专辑,每年的国际会议上关于人脸识别的专题也屡屡可见.而目前人脸识别综述的文章还是截止到1994年,因此我们认为非常有必要对近几年的研究工作进行一下总结.在本文中我们将对人脸识别方法进行综述,其中主要介绍近三、四年的研究工作,之前的研究工作请参看文[2,3]. 2 人脸自动识别系统 人脸自动识别系统包括两个主要技术环节(如图1所 示):首先是人脸检测和定位,即从输入图像中找到人脸及人脸存在的位置,并将人脸从背景中分割出来,然后才是对归一化的人脸图像进行特征提取与识别 . 图1 人脸自动识别系统构成 这两个环节的研究独立性很强.由于在很多特定情况下人脸检测与定位的工作比较简单,因此/特征提取与识别0环节得到了更为广泛和深入的研究;而近几年来随着人们越来越关心各种复杂情形下的人脸自动识别系统,人脸检测与定位才得到了较多的重视. 评价一个人脸自动识别系统的标准,一个是误识率即将某人错识别为其他人,另一个是虚警率即将其他人识别为这个人.这二者之间是存在矛盾的,所以在实际问题中往往需要进行某种折衷.如,在安全性要求较高的计算机登录系统中,必须要求虚警率要尽可能低,而误识率则可以高一些,这样只是增加合法用户的等录时间,并不会降低计算机系统的安全性.这一点同样适用于特征提取与识别环节,但是对于人脸检测与定位,我们一般则要求误识率要尽可能低,因为这样才可以保证所要识别的人不会在这一步就丢失. 收稿日期:1999-03-15;修订日期:1999-07-06基金项目:自然科学基金(No.69775009)资助课题 第4期2000年4月电 子 学 报ACTA ELECTRONICA SINICA Vol.28 No.4 April 2000
面部表情识别与面孔身份识别的独立加工与交互作用机制_汪亚珉
心理科学进展 2005，13（4）：497~516 Advances in Psychological Science 面部表情识别与面孔身份识别的 独立加工与交互作用机制* 汪亚珉1，2 傅小兰1 （1中国科学院心理研究所，脑与认知国家重点实验室，北京 100101）（2中国科学院研究生院，北京 100039） 摘 要面孔识别功能模型认为，面部表情识别与面孔身份识别是两条独立的并行路径。以往诸多研究者都认可并遵循二者分离的原则。但近期研究表明，面部表情识别与面孔身份识别存在交互作用。首先总结和分析已有的面部表情识别的研究成果，评述神经心理学与认知神经科学研究中的论争，然后介绍人脸知觉的分布式神经机制以及相关的实验证据，最后提出面部表情识别与面孔身份识别的多级整合模型，并展望研究前景。 关键词面孔身份识别，面部表情识别，面孔识别功能模型，人脸知觉的分布式神经模型，多级整合模型。分类号 B842 面孔识别一直备受研究者关注。20世纪70年代，Ekman和Frisen系统地研究了人脸基本表情的文化普遍性，并从解剖学角度提出了6种基本的面部表情[1]。20世纪80年代，Bruce和Young系统地研究了人对面孔的识别及其影响因素，提出了经典的面孔识别功能模型[2]。自此，面孔识别成为认知科学研究领域中的热点问题之一。 人能轻易地从不同表情中识别出同一个人的面孔（即面孔身份识别，facial identity recognition），也能从不同人的面孔上识别出同一种表情（即面部表情识别，facial expression recognition），识别得如此精巧，以至众多研究者相信，识别面孔与识别表情 收稿日期：2005-04-24 * 本研究得到中国科技部973项目（2002CB312103）、国家自然科学基金重点项目（60433030）和面上项目 （30270466）、中国科学院心理研究所创新重点项目 （0302037）经费支持。 通讯作者：傅小兰，E-mail: fuxl@https://www.360docs.net/doc/7f13104983.html, 两者相互独立，互不干扰[2～7]。那么，这种分离识别究竟是如何实现的？面孔身份识别与面部表情识别究竟是彼此独立的还是相互作用的？这已成为认知科学（尤其是计算机视觉）面孔识别研究领域中亟待解决的一个重要问题。 在过去开展的大量研究中，对面孔身份识别问题的探讨相对比较深入，而对面部表情识别的研究则囿于经典功能模型，并未能取得实质性进展。近年来随着脑认知研究技术的发展，面部表情识别的研究也在不断深入，研究者对面部表情识别与面孔身份识别间的关系也提出了新的阐释。本文在综述已有研究的基础上，试图进一步探讨面部表情识别与面孔身份识别之间的独立加工与交互作用机制。首先，基于经典面孔识别功能模型，分析传统的面孔身份识别与面部表情识别的并行分离加工观点，以及行为学、神经心理学与认知神经科学的研究发现；其
自发表情识别方法综述
收稿日期：２０１５-０４-０３；修回日期：２０１５-０５-２６ 基金项目：国家自然科学基金资助项目（６１４６３０３４） 作者简介：何俊（１９６９-），男，江西东乡人，副教授，硕导，博士，主要研究方向为人机交互技术、模式识别等（ｂｏｘｈｅｊｕｎ＠ｔｏｍ．ｃｏｍ）；何忠文（１９８６-），男，江西九江人，硕士研究生，主要研究方向为人机交互技术、模式识别等；蔡建峰（１９９０-），男，河北人，硕士研究生，主要研究方向为人机交互；房灵芝（１９８８-），女，山东人，硕士研究生，主要研究方向为人机交互． 自发表情识别方法综述* 何 俊，何忠文，蔡建峰，房灵芝 （南昌大学信息工程学院，南昌３３００３１） 摘 要：介绍了目前自发表情识别研究的现状与发展水平，详细阐述了自发表情识别研究的内容和方法，以及自发表情识别研究的关键技术，旨在引起研究者对此新兴研究方向的关注与兴趣，从而积极参与对自发表情识别问题的研究，并推动与此相关问题的进展。关键词：表情识别；自发表情；特征提取 中图分类号：ＴＰ３９１．４１ 文献标志码：Ａ 文章编号：１００１-３６９５（２０１６）０１-００１２-０５ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１-３６９５．２０１６．０１．００３ Ｓｕｒｖｅｙｏｆｓｐｏｎｔａｎｅｏｕｓｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｒｅｃｏｇｎｉｔｉｏｎ ＨｅＪｕｎ，ＨｅＺｈｏｎｇｗｅｎ，ＣａｉＪｉａｎｆｅｎｇ，ＦａｎｇＬｉｎｇｚｈｉ （Ｉｎｆｏｒｍａｔｉｏｎ＆ＥｎｇｉｎｅｅｒｉｎｇＣｏｌｌｅｇｅ，ＮａｎｃｈａｎｇＵｎｉｖｅｒｓｉｔｙ，Ｎａｎｃｈａｎｇ３３００３１，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｈｉｓｐａｐｅｒｉｎｔｒｏｄｕｃｅｄｔｈｅａｃｔｕａｌｉｔｙａｎｄｔｈｅｄｅｖｅｌｏｐｉｎｇｌｅｖｅｌｏｆｓｐｏｎｔａｎｅｏｕｓｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｒｅｃｏｇｎｉｔｉｏｎａｔｔｈｅ ｐｒｅｓｅｎｔｔｉｍｅ，ａｎｄｐａｉｄｐａｒｔｉｃｕｌａｒａｔｔｅｎｔｉｏｎｔｏｔｈｅｋｅｙｔｅｃｈｎｏｌｏｇｙｏｎｔｈｅｒｅｓｅａｒｃｈｏｆｓｐｏｎｔａｎｅｏｕｓｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｒｅｃｏｇｎｉｔｉｏｎ．Ｔｈｉｓｐａｐｅｒａｉｍｅｄｔｏａｒｏｕｓｅｒｅｓｅａｒｃｈｅｒｓ’ａｔｔｅｎｔｉｏｎａｎｄｉｎｔｅｒｅｓｔｓｉｎｔｏｔｈｉｓｎｅｗｆｉｅｌｄ，ｔｏｐａｒｔｉｃｉｐａｔｅｉｎｔｈｅｓｔｕｄｙｏｆｔｈｅｓｐｏｎｔａｎｅ-ｏｕｓｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｒｅｃｏｇｎｉｔｉｏｎｐｒｏｂｌｅｍｓａｃｔｉｖｅｌｙ，ａｎｄｔｏａｃｈｉｅｖｅｍｏｒｅｓｕｃｃｅｓｓｅｓｃｏｒｒｅｌａｔｅｄｔｏｔｈｉｓｐｒｏｂｌｅｍ．Ｋｅｙｗｏｒｄｓ：ｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｒｅｃｏｇｎｉｔｉｏｎ；ｓｐｏｎｔａｎｅｏｕｓｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎ；ｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎ 表情识别被视为未来情感人机交互的重要技术［１］ ，吸引了国内众多高校和科研机构的参与和研究［２～６］。但目前国内 外研究中比较常用的表情数据库中的人脸表情大都固定为正面，任务仅限于识别Ｅｋｍａ提出的六种基本表情（愤怒、高兴、悲伤、惊讶、厌恶和恐惧）。这不仅与实际表情不相符，而且忽视了真实表情中特有的脸部肌肉形变与头部运动之间的时空相关性。谷歌申请的新一代表情识别专利，挤眉弄眼方可解锁手机；荷兰开发的诺达斯（Ｎｏｌｄｕｓ）面部表情分析系统是世界上第一个商业化开发的面部表情自动分析工具，用户使用该系统能够客观地评估个人的情绪变化，可以跟踪人的表情变化。但二者均要求测试者的头姿基本保持不动，实时连续头姿估计阻碍了其在手机等智能终端领域的应用。因此，面向实际应用的 非正面表情识别研究在国内外日益受到重视［７，８］ 。 近十几年来，开展自发表情识别研究的机构主要有美国的加利福尼亚大学、卡耐基梅隆大学机器人研究所、匹兹堡大学心理学系，伊利诺伊大学、沃森研究中心、贝克曼研究所、伦斯勒理工学院、麻省理工大学媒体实验室、丹佛大学、德克萨斯大学计算机视觉研究中心、新泽西技术学院、芬兰的奥卢大学计算机科学与工程系机器视觉组、荷兰的阿姆斯特丹大学信息学院、澳大利亚的昆士兰科技大学科学与工程学院、加拿大的麦吉尔大学、日本的庆应义塾大学、爱尔兰的爱尔兰国立大学计算机视觉和成像实验室，中国的清华大学和中国科学技术大学等已经有人做了大量工作。目前该领域比较重要的国际会议包括计算机视觉与模式识别会议（ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ，ＣＶＰＲ）、模式识别会议 （ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ，ＩＣＰＲ）、人脸与姿态自动识别会议（ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＡｕｔｏｍａｔｉｃＦａｃｅＧｅｓｔｕｒｅＲｅｃｏｇｎｉｔｉｏｎ，ＦＧＲ）。关于非正面表情识别的研究文章 逐年增多，但国内还只是刚开始涉足该领域的研究［９］ ，一些非 正面表情识别中的关键技术尚有待突破。但总的来说，对目前自发表情识别的研究和探索还处于初级阶段，对自发表情识别的研究还需要研究人员共同的努力。本文介绍了常用的自发表情数据库以及自发表情识别关键技术研究进展。 １ 自发表情数据库 １）ＵＳＴＣ-ＮＶＩＥ数据库 ＵＳＴＣ-ＮＶＩＥ（ｎａｔｕｒａｌｖｉｓｉｂｌｅａｎｄｉｎｆｒａｒｅｄｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｓ） 数据库［１０］ 是由中国科学技术大学安徽省计算与通讯软件重点 实验室建立的一个大规模的视频诱发的集自发表情和人为表情的可见光和红外自发表情数据库。其中自发表情库由自发的表情序列和夸张帧组成，人为表情库仅由中性帧和夸张帧组成。该表情数据库包含年龄在１７～３１周岁的２１５名被试者的自发和人为的六种表情。 ２）ＶＡＭ数据库 ＶＡＭ数据库［１１］ 采用的是以参加电视访谈节目（ＴＶｔａｌｋ ｓｈｏｗ）的方式诱发的自发表情数据库，记录了节目中年龄在１６～６９周岁的６位男嘉宾和１４位女嘉宾总共２０位嘉宾的面部表情和语音信息。该数据集由８３４名评估者使用两种方式进行评估：ａ）采用Ｅｋｍａｎ的六种基本表情类别进行标注；ｂ） 第３３卷第１期２０１６年１月 计算机应用研究 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓＶｏｌ．３３Ｎｏ．１Ｊａｎ．２０１６
表情识别技术综述
表情识别技术综述 摘要：表情识别作为一种人机交互的方式，成为研究的热点。基于对表情识别的基本分析，文章重点介绍了面部表情识别的国内外研究情况和面部表情特征的提取方法。 关键词：表情识别；特征提取；表情分类。 前言：进入21世纪，随着计算机技术和人工智能技术及其相关学科的迅猛发展，整个社会的自动化程度不断提高，人们对类似于人和人交流方式的人机交互的需求日益强烈。计算机和机器人如果能够像人类那样具有理解和表达情感的能力，将从根本上改变人与计算机之间的关系，使计算机能够更好地为人类服务。表情识别是情感理解的基础，是计算机理解人们情感的前提，也是人们探索和理解智能的有效途径。如果实现计算机对人脸表情的理解与识别将从根本上改变人与计算机的关系，这将对未来人机交互领域产生重大的意义。 正文：一、面部表情识别的国内外研究情况 面部表情识别技术是近几十年来才逐渐发展起来的，由于面部表情的多样性和复杂性，并且涉及生理学及心理学，表情识别具有较大的难度，因此，与其它生物识别技术如指纹识别、虹膜识别、人脸识别等相比，发展相对较慢，应用还不广泛。但是表情识别对于人机交互却有重要的价值，因此国内外很多研究机构及学者致力于这方面的研究，并己经取得了一定的成果。 进入90年代，对面部表情识别的研究变得非常活跃，吸引了大量的研究人员和基金支持。美国、日本、英国、德国、荷兰、法国等经济发达国家和印度、新加坡都有专门的研究组进行这方面的研究。其中MIT的多媒体实验室的感知计算组、CMu、Ma州大学的计算机视觉实验室、Standford大学、日本城蹊大学、大阪大学、ArR研究所的贡献尤为突出。 国内的清华大学、哈尔滨工业大学、中科院、中国科技大学、南京理工大学、北方交通大学等都有专业人员从事人脸表情识别的研究，并取得了一定的成绩。在1999年的国家自然科学基金中的“和谐人机环境中情感计算理论研究”被列为了重点项目。同时中国科学院自动化所、心理所以及国内众多高校也在这方面取得了一定的进展。2003年，在北京举行了第一届中国情感计算与智能交互学术会议，会议期间集中展示了国内各研究机构近几年来从认知、心理、模式识别、系统集成等多种角度在情感计算领域取得的研究成果，一定程度上弥补了我国这方面的空白。国家“863”计划、“973”项目、国家自然科学基金等也都对人脸表情识别技术的研究提供了项目资助。 二、面部表情特征的提取方法 表情特征提取是表情识别系统中最重要的部分，有效的表情特征提取工作将使识别的性能大大提高，当前的研究工作也大部分是针对表情特征的提取。 目前为止的人脸面部表情特征提取方法大都是从人脸识别的特征提取方法别演变而来，所用到的识别特征主要有:灰度特征、运动特征和频率特征三种阎。灰度特征是从表情图像的灰度值上来处理，利用不同表情有不同灰度值来得到识别的依据。运动特征利用了不同表情情况下人脸的主要表情点的运动信息来进行识别。频域特征主要是利用了表情图像在不同的频率分解下的差别，速度快是其显著特点。在具体的表情识别方法上，分类方向主要有三个:整体识别法和局部识别法、形变提取法和运动提取法、几何特征法和容貌特征法。 整体识别法中，无论是从脸部的变形出发还是从脸部的运动出发，都是将表情人脸作为一个整体来分析，找出各种表情下的图像差别。其中典型的方法有:基于特征脸的主成分分析(prineipalComponentAnalysis，pCA)法、独立分量分析法(Indendent ComPonent Analysis，ICA)、Fisher线性判别法(Fisher’s Linear Discriminants，FLD)、局部特征分析(LoealFeatureAnalysis，LFA)、Fishe诞动法(Fisher^ctions)、隐马尔科夫模型法(HideMarkovModel，HMM)和聚类分析法。
人脸识别方法综述
人脸识别方法报告 人脸识别（Face Recognition）是指给定一个静止或动态图像，利用已有的人脸数据库来确认图像中的一个或多个人。 人脸自动识别系统包括人脸检测与定位和特征提取与人脸识别两个主要技术环节，如图所示： 1.人脸检测与定位部分 检测图像中是否有人脸图像，若有，将其从背景中分割出来，并确定其在图像中的位置。 在某些控制拍摄条件的场合，如证件照等，背景相对简单，定位比较容易。而在复杂背景下获得的图像，由于人脸在图像中的位置是未知的，此时人脸的检测与定位将受到以下诸因素的影响：( 1) 人脸在图像中的位置、旋转角度和尺度的变化；( 2) 发型 和化妆会遮盖某些特征；( 3) 图像中的噪声。 2.特征提取与人脸识别 这部分主要分为三个部分，分别是图像预处理、特征提取、人脸识别。 图像预处理：为了更精确地获得图像的有效特征信息，在特征提取前一般需要对图像做几何归一化和灰度归一化的处理。前者是指根据人脸定位结果将图像中的人脸位置、尺度调整到同一位置和同样大小；后者主要是采用光照补偿等处理方法解决光照变化对检测的影响。 特征提取：进行特征提取时根据所采取识别方法的不同，具体提取的特征形式也不相同。如在基于几何特征的识别方法中，需要提取特征点，然后构造特征矢量；在基于统计的特征脸方法中则是提取图像相关矩阵的特征矢量来构造特征脸；在模板匹配法中提取相关系数做为特征；而在基于神经网络的识别中一般不需要专门的特征提取过程。 人脸识别：特征提取结束后，下一步就是人脸识别。在数据库中预先存放了已知的人脸图像或有关的特征值，识别的目的就是将待识别的图像或特征与数据库中数据进行匹配。识别任务分为两类：人脸辨认，确定输入图像为库中哪一个；人脸证实，验证某人的身份是否属实。 常用的人脸识别方法有： 1.基于几何特征的人脸识别方法 基于几何特征的人脸识别方法，是在抽取人脸图像上显著特征的相对位置及其参数的基础上进行识别。早期的人脸识别是用手工确定人脸特征点的位置并将其输人计算机中，其工作的流程：检测出面部特征点，通过测量这些关键点之间的相对距离（欧式距离)，得到描述每个脸的特征矢量，如眼睛、鼻子和嘴的位置和宽度，眉毛的厚度和弯
人脸识别概述
概述 什么是人像识别 人像识别，又叫人脸识别，特指利用分析比较人脸视觉特征信息进行身份鉴别的计算机技术。 人像识别概述 广义的人像识别实际包括构建人像识别系统的一系列相关技术，包括人脸图像采集、人脸定位、人像识别预处理、身份确认以及身份查找等；而狭义的人像识别特指通过人脸进行身份确认或者身份查找的技术或系统。 人像识别的优势 人像识别的优势在于其自然性和不被被测个体察觉的特点。 所谓自然性，是指该识别方式同人类（甚至其他生物）进行个体识别时所利用的生物特征相同。例如人像识别，人类也是通过观察比较人脸区分和确认身份的，另外具有自然性的识别还有语音识别、体形识别等，而指纹识别、虹膜识别等都不具有自然性，因为人类或者其他生物并不通过此类生物特征区别个体。 不被察觉的特点对于一种识别方法也很重要，这会使该识别方法不令人反感，并且因为不容易引起人的注意而不容易被欺骗。人像识别具有这方面的特点，它完全利用可见光获取人脸图像信息，而不同于指纹识别或者虹膜识别，需要利用电子压力传感器采集指纹，或者利用红外线采集虹膜图像，这些特殊的采集方式很容易被人察觉，从而更有可能被伪装欺骗。 人像识别的困难 虽然人像识别有很多其他识别无法比拟的优点，但是它本身也存在许多困难。人像识别被认为是生物特征识别领域甚至人工智能领域最困难的研究课题之一。人像识别的困难主要是人脸作为生物特征的特点所带来的。人脸在视觉上的特点是： 第一，不同个体之间的区别不大，所有的人脸的结构都相似，甚至人脸器官的结构外形都很相似。这样的特点对于利用人脸进行定位是有利的，但是对于利用人脸区分人类个体是不利的；
第二，人脸的外形很不稳定，人可以通过脸部的变化产生很多表情，而在不同观察角度，人脸的视觉图像也相差很大，另外，人像识别还受光照条件（例如白天和夜晚，室内和室外等）、人脸的很多遮盖物（例如口罩、墨镜、头发、胡须等）、年龄等多方面因素的影响。 在人像识别中，第一类的变化是应该放大而作为区分个体的标准的，而第二类的变化应该消除，因为它们可以代表同一个个体。通常称第一类变化为类间变化（inter-class difference），而称第二类变化为类内变化（intra-class difference）。对于人脸，类内变化往往大于类间变化，从而使在受类内变化干扰的情况下利用类间变化区分个体变得异常困难。 人像识别的技术细节 一般来说，人像识别系统包括图像摄取、人脸定位、图像预处理、以及人像识别（身份确认或者身份查找）。系统输入一般是一张或者一系列含有未确定身份的人脸图像，以及人脸数据库中的若干已知身份的人脸图象或者相应的编码，而其输出则是一系列相似度得分，表明待识别的人脸的身份。 人像识别技术原理图剖析 人像识别的算法种类 基于人脸部件的多特征识别算法(MMP-PCA recognition algorithms)。 基于人脸特征点的识别算法（Feature-based recognition algorithms）。 基于整幅人脸图像的识别算法（Appearance-based recognition algorith ms）。 基于模板的识别算法（Template-based recognition algorithms）。 利用神经网络进行识别的算法（Recognition algorithms using neural n etwork）。