小波变换详解
基于小波变换的人脸识别
近年来,小波变换在科技界备受重视,不仅形成了一个新的数学分支,而且被广泛地应用于模式识别、信号处理、语音识别与合成、图像处理、计算机视觉等工程技术领域。小波变换具有良好的时频域局部化特性,且其可通过对高频成分采取逐步精细的时域取样步长,从而达到聚焦对象任意细节的目的,这一特性被称为小波变换的“变聚焦”特性,小波变换也因此被人们冠以“数学显微镜”的美誉。
具体到人脸识别方面,小波变换能够将人脸图像分解成具有不同分辨率、频率特征以及不同方向特性的一系列子带信号,从而更好地实现不同分辨率的人脸图像特征提取。
4.1 小波变换的研究背景
法国数学家傅立叶于1807年提出了著名的傅立叶变换,第一次引入“频率”的概念。傅立叶变换用信号的频谱特性来研究和表示信号的时频特性,通过将复杂的时间信号转换到频率域中,使很多在时域中模糊不清的问题,在频域中一目了然。在早期的信号处理领域,傅立叶变换具有重要的影响和地位。定义信号(t)f 为在(-∞,+∞)内绝对可积的一个连续函数,则(t)f 的傅立叶变换定义如下:
()()dt e t f F t j ωω-?
∞
-∞
+= (4-1) 傅立叶变换的逆变换为:
()()ωωπ
ωd e F t f t j ?
+∞
∞
-=
21 (4-2)
从上面两个式子可以看出,式(4-1)通过无限的时间量来实现对单个频率
的频谱计算,该式表明()F ω这一频域过程的任一频率的值都是由整个时间域上的量所决定的。可见,式(4-1)和(4-2)只是同一能量信号的两种不同表现形式。
尽管傅立叶变换可以关联信号的时频特征,从而分别从时域和频域对信号进行分析,但却无法将两者有效地结合起来,因此傅立叶变换在信号的局部化分析方面存在严重不足。但在许多实际应用中,如地震信号分析、核医学图像信号分析等,研究者们往往需要了解某个局部时段上出现了哪个频率,或是某个频率出现在哪个时段上,即信号的时频局部化特征,傅立叶变换对于此类分析无能为力。
因此需要一种如下的数学工具:可以将信号的时域和频域结合起来构成信号的时频谱,描述和分析其时频联合特征,这就是所谓的时频局部化分析方法,即时频分析法。1964年,Gabor 等人在傅立叶变换的基础上引入了一个时间局部化“窗函数”g(t),改进了傅立叶变换的不足,形成窗口化傅立叶变换,又称“Gabor 变换”。
定义“窗函数”(t)g 在有限的区间外恒等于零或很快地趋于零,用函数(t )g -τ乘以(t)f ,其效果等同于在t =τ附近打开一个窗口,即:
()()()dt e t g t f G t j f ωττω-+∞
∞--=?, (4-3)
式(4-3)即为函数f(t)关于g(t)的Gabor 变换。由定义可知,信号(t)f 的Gabor 变换可以反映该信号在t =τ附近的频谱特性。其逆变换公式为:
()()()ττωτωπ
ωd G t g e d t f f t j ,21
?
?+∞
∞
---
= (4-4)
可见()τω,f G 的确包含了信号(t)f 的全部信息,且Gabor 窗口位置可以随着
τ的变化而平移,符合信号时频局部化分析的要求。
虽然Gabor 变换一定程度上克服了傅立叶变换缺乏时频局部分析能力的不
足,且兼顾信号的时频分辨率,但其本身仍存在不可克服的局限性,即Gabor 窗口不具有自适应性,其大小是固定不变的,因此Gabor 变换只能进行单一分辨率的分析。而在实际研究中,我们常常希望窗口的大小会随着频率的高低而改变,比如在研究高频信号时,希望窗口开得小一点;反之,在研究低频信号时,则希望窗口开得大一点,这样才更符合实际研究中低频信号分辨率比高频信号分辨率低的特点,因此需要研究更好的解决办法来改善Gabor 变换的不足。
为了克服前面所描述的傅立叶变换和Gabor 变换存在的不足,学者们提出了小波变换(Wavelet Transform)。
4.2 小波变换与逆变换
4.2.1 连续小波变换和离散小波变换
小波变换是一种窗El 面积(即窗口大小)固定但窗口形状可变的时频局部化分析方法,其高频部分的时间分辨率较高而频率分辨率较低,而低频部分的频率分辨率较高而时间分辨率较低,因此对信号具有良好的自适应性,被冠以“数学显微镜”的美誉。小波变换又可分为连续小波变换和离散小波变换两种。
连续小波变换的概念是由Morlet 等人提出[1]。设()x ψ为小波变换的核函数,若核函数()()R L x 2∈ψ若满足容许性条件 :
()()
+∞<=?
ωω
ωψ
ψd F C R
2
(4-5)
则称该函数)(x ?为基小波。一维信号f(t))(2R L ∈的连续小波变换可定义为:
()()()dx a b t x f a
b a f W R
??
?
??-=
?
ψψ
1, (4-6)
根据上述对基小波定义,可知:()∞
零。一般的,记:
()??
?
??-=a b x x b a ??, R b a ∈,,a<0 (4-7) 函数()x b a ,?是由基小波函数()x ?经过尺度a 的伸缩和b 的平移之后所得。常用的连续小波包括:Morlet 小波、Daubechies 小波、三次样条小波、Meyer 小波和Simoncelli 小波等。
与连续小波变换相对应的是离散小波变换,其一般形式为:
()()>==<
n m f n m f W ,,,??
()dx a nb x x f a m R
m
???
?
??-?
-
002
? (4-8)
其中()??
????????∈????
??-=-Z n m a nb x a x m
m n m ,00
20,??为小波基,0a 、0b 为两个常量且0a >0。离散小波最具代表性的为二进小波,即0a 为2的幂次J 2,0b 取整。
由于小波变换在时域和频域同时兼有局部化能力,且能逐步聚焦到对象的任何细节进行分析,因此在人脸识别方面得到众多研究者的关注。 4.2.2 几种常见的小波
同傅立叶分析不同,小波分析的基(小波函数)不是唯一存在的,所有满足小波条件的函数都可以作为小波函数,那么小波函数的选取就成了十分重要的问题[8]。
(1) Haar 小波
A.Haar 于1990年提出一种正交函数系,定义如下:
??
?
??-=01
1)(x H ψ 其它
1
2/12/10<≤≤≤x x (4-9)
这是一种最简单的正交小波,即
)()(=-?
∞
∞
-dx n x t ψψ ,2,1±±=n (4-10)
(2) Daubechies(dbN)小波系
该小波是Daubechies 从两尺度方程系数
{}k h 出发设计出来的离散正交小
波。一般简写为dbN ,N 是小波的阶数。小波ψ和尺度函数阈中的支撑区为2N-1。?的消失矩为N 。除N =1外(Haar 小波),dbN 不具对称性〔即非线性相位〕;dbN 没有显式表达式(除N =1外)。但{}k h 的传递函数的模的平方有显
式表达式。假设
∑-=+-=1
1)(N k k
k N k y C y P ,其中,k
N k C +-1为二项式的系数,则有
)
2(sin )2
(cos )(2
2
2
0ω
ω
ωP m N = (4-11)
其中∑-=-=120021)(N k ik k e h m ω
ω
(3) Biorthogonal(biorNr.Nd)小波系
Biorthogonal 函数系的主要特征体现在具有线性相位性,它主要应用在信号与图像的重构中。通常的用法是采用一个函数进行分解,用另外一个小波函数进行重构。Biorthogonal 函数系通常表示为biorNr.Nd 的形式:
Nr=1 Nd=1,3,5 Nr=2 Nd=2,4,6,8 Nr=3 Nd=1,3,5,7,9 Nr=4 Nd=4 Nr=5 Nd=5 Nr=6 Nd=8
其中,r 表示重构,d 表示分解。
(4) Coiflet(coifN)小波系
coiflet 也是函数由Daubechies 构造的一个小波函数,它具有coifN(N=1,2,3,4,5)这一系列,coiflet 具有比dbN 更好的对称性。从支撑长度的角度看,coifN 具有和db3N 及sym3N 相同的支撑长度;从消失矩的数目来看,coifN 具有和db2N 及sym2N 相同的消失矩数目。
(5) SymletsA(symN)小波系
Symlets 函数系是由Daubechies 提出的近似对称的小波函数,它是对db 函数的一种改进。Symlets 函数系通常表示为symN(N=2,3,…,8)的形式。
(6) Morlet(morl)小波 Morlet 函数定义为x Ce x x 5cos )(2
/2-=ψ,它的尺度函数不存在,且不具有
正交性。
(7) Mexican Hat(mexh)小波 Mexican Hat 函数为
2/24
/12)1(32)(x e x x ---=
ψπ (4-12)
它是Gauss 函数的二阶导数,因为它像墨西哥帽的截面,所以有时称这个函数为墨西哥帽函数。墨西哥帽函数在时间域与频率域都有很好的局部化,并且满足
)(=?
∞
∞
-dx x ψ (4-13)
由于它的尺度函数不存在,所以不具有正交性。 (8) Meyer 函数
Meyer 小波函数ψ和尺度函数?都是在频率域中进行定义的,是具有紧支
撑的正交小波。
???
???
??
?--=ψ--0))123(2cos()2())123(2sin()2()(?2/2/12
/2/1ωπυππωπυππωωωj j e e
]
38,32[3
8343432ππωπωππ
ωπ?≤≤≤≤ (4-14)
其中,)(a υ为构造Meyer 小波的辅助函数,且有
???????-=--0))123(
2cos()2()2()(?2/12
/1ωπυπππωφ 3434323
2π
ωπωππ
ω>≤≤≤
(4-15) 4.2.3 二维小波变换与逆变换
把对一维的表示推广到二维,考虑二维尺度函数是可分离的情况,可有3个二维小波]
9[,则二维尺度函数和小波函数可表示为:
()()()y x y x ???=,
()()()y x y x h
ψ?ψ=, (4-16)
()()()y x y x v
?ψψ=, ()()()y x y x d
ψψψ=, (4-17) 设
(){}2
1
,k k c j
表示一幅离散图像,用低通滤波器h 和高通滤波器g 分别对j
c
的每一行作滤波,并作隔点抽样,然后再用它们分别对j
c 的每一列滤波并作隔点
抽样,得到图像低频概貌1
+j c 和图像高频细节h j d 1+,v j d 1+,d
j d 1
+,则有如下小波正变换
(分解算法):
()()()()
∑∑
--=+2
1
212211
211,22,k k k j k k c k n h k n
h n n c
()()()()∑∑
--=+21
212211
211,22,k k k h j k k c k n g k n
h n n d ()()()()
∑∑
--=+2
1
212211
211,22,k k k v j k k c k n h k n
g n n d
()()()()
∑∑--=+2
1
212211
211,22,k k k d j k k c k n g k n
g n n d (4-18)
其小波逆变换(重构算法)如下式:
()()()()
()()()()()()
()()()2
11221121122112112211211221121,2~2~,2~2~,2~2~,2~
2~,1
1
11
1
1
1
1
n n d n k g n k g n n d n k h n k g n n d n k g n k h n n c n k h n k h k k c d j n n v j n n h j n n k j n n j ++++--+--=--+--=∑∑
∑∑
∑∑
∑∑
(4-19)
对于N×N像素的图像,小波变换能分解J 层,整数n J 2log ≤ 。在每一尺度下
j c 包含前一阶段的低频信息,而 h j d 、v j d 和d
j d 分别包含前一阶段横向、
纵向和对角方向的边缘细信息。
1+j h j d 1+
j c v j 1+ d j 1+
图4.1 二维小波正变换框图
+j c
h j d j c
v j d d j d 图4.2 二维小波变换逆变换框图
2↓表示抽样,为2点取1点的抽样,即只剩下一半样数的分解过程,2↑表示插样,即得到的样数为原先样数的两倍。
4.3 人脸图像的小波变换
小波在图像处理上的应用思路主要采用将空间或时间域上的图像信号变换到小波域上,成为多层次的小波系数,根据小波的特性,分析小波系数的特点,针对不同需求,结合常规的图像处理方法提出更符合小波分析的新算法来处理小波系数,再对处理后的小波系数进行反变换,将得到所需的目标图像。
图4.3 小波变换处理图像流程图
小波变换的优点在于具有良好的时间和频率特性,应用范围较广。采用小波分解图像,可降低分解后图像子带的分辨率,大大减少相应的计算复杂度,并可提供更多的空间和频率局部信息。
由于一幅图像的信息主要包含在低频部分,而图像细节体现在高频部分,故可通过小波变换得到低频系数,也就是图像的主要信息。在本算法中,采用二维离散小波变换,进行二维小波频域分解,实际是进行两次一维小波变换。经过一级小波变换之后,一幅图像被分解成为如图4.4(a)所示的4个子带。包括低频区域LL,高频区域LH、HL、HH,每个区域都是一幅图像。LL区域表示的是原图像的平滑图像,它包含了原图像的大部分信息,刻画人脸表情和姿态的不变特征; LH 区域保持了原图像的垂直边缘细节,体现人脸的轮廓和鼻子的垂直特征;HL区域保持了原图像的水平边缘细节,体现了人脸的眼睛、嘴巴的水平特征;HH区域保持了原图像的对角线细节,受噪声、表情和姿势的影响较大。经过一级小波分解后,每个区域的图像维数都是原图像维数的四分之一。图中子带LL是低频成分,集中了原始图像的大部分信息,LH和HL反映了沿水平和垂直方向的图像变化,HH子带则代表图像的高频成分。还可以运用小波算法继续对LL子带进行分解,图4.4(b)为图4.4(a)的二级小波分解图。
(a)一级小波分解(b)二级小波分解
图4.4 二维图像的小波分解
人脸图像的二维小波分解通常使用等价的滤波器组实现.其中,低通滤波器起平滑作用,得到图像的缓变成分;带通滤波器起差分作用,得到图像的高频成分.使用具有紧支集的规范正交小波基可以构造这类滤波器。图4.5、4.6分别是人脸图像的一级分解、二级分解图像
图4.5 一级小波分解图像
图4.6 二级小波分解图像
本文研究的方法是:首先对原始图像进行进行小波变换与反变换, 小波变换后,图像左上角表现了图像的低频分量,它是构成图像信息及其能量的主要的组成部分。右上角处表现了图像的水平方向的高频分量。左下角表现垂直高频分量。而右下角处表现了图像的对角信息。而且将图像第一次分解后的高频分量除去后,利用其余的系数仍然可以得到完整的重构图像。通过适当的保留或者去除小波变换后的一些特定的分量,达到滤波的目的(高通或者低通)。
图4.7 图像的小波变换与反变换处理
对二层离散小波重构的图像用PCA 方法获取图像的特征矩阵[2], 把训练图像和测试图像投影到该方法所得到的子空间上,利用Fisher线性判别法完成人脸的识别。其人脸识别流程图如图4.8所示
输入图像,读入人脸库
利用小波变换处理图像
利用PCA进行降维处理
利用Fisher准则判别
得出识别率
小波变换的基本原理
10.2小波变换的基本原理 地质雷达的电磁波信号和地震波信号都是非平稳随机时变信号,长期以来,因非平稳信号处理的理论不健全,只好将其作为平稳信号来处理,其处理结果当然不满意。近年来,随着科学技术的发展和进步,国内外学术界已将注意力转向非平稳随机信号分析与处理的研究上,其中非平稳随机信号的时频表示法是研究热点之一。在这一研究中,戈勃展开、小波变换、维格纳分布与广义双线性时频分布等理论发展起来,这些方法既可以处理平稳信号过程,也可以处理非平稳随机时变信号。 小波变换是上世纪80年代中后期逐渐发展起来的一种数学分析方法。1984年法国科学家J.M OLET在分析地震波的局部特性时首先使用了小波这一术语,并用小波变换对地震信号进行处理。小波术语的含义是指一组衰减震动的波形,其振幅正负相间变化,平均值为零,是具有一定的带宽和中心频率波组。小波变换是用伸缩和平移小波形成的小波基来分解(变换)或重构(反变换)时变信号的过程。不同的小波具有不同带宽和中心频率,同一小波集中的带宽与中心频率的比是不变的,小波变换是一系列的带通滤波响应。它的数学过程与傅立叶分析是相似的,只是在傅立叶分析中的基函数是单频的调和函数,而小波分析中的基函数是小波,是一可变带宽内调和函数的组合。 小波变换在时域和频域都具有很好的局部化性质,较好地解决了时域和频域分辨率的矛盾,对于信号的低频成分采用宽时窗,对高频成分采用窄时窗。因而,小波分析特别适合处理非平稳时变信号,在语音分析和图象处理中有广泛的应用,在地震、雷达资料处理中将有良好的应用前景。 下边就小波分析的基本原理、主要作用及在雷达资料处理中的应用三方面作以介绍。 10.2.1小波分析的基本原理 小波函数的数学表达
小波变换的几个典型应用
第六章小波变换的几个典型应用 6.1 小波变换与信号处理 小波变换作为信号处理的一种手段,逐渐被越来越多领域的理论工作者和工程技术人员所重视和应用,并在许多应用中取得了显著的效果。同传统的处理方法相比,小波变换取得了质的飞跃,在信号处理方面具有更大的优势。比如小波变换可以用于电力负载信号的分析与处理,用于语音信号的分析、变换和综合,还可以检测噪声中的未知瞬态信号。本部分将举例说明。 6.1.1 小波变换在信号分析中的应用 [例6-1] 以含躁的三角波与正弦波的组合信号为例具体说如何利用小波分析来分析信号。已知信号的表达式为 应用db5小波对该信号进行7层分解。xiaobo0601.m 图6-1含躁的三角波与正弦波混合信号波形 分析: (1)在图6-2中,逼近信号a7是一个三角波。 (2)在图6-3中细节信号d1和d2是与噪声相关的,而d3(特别是d4)与正弦信号相关。 图6-2 小波分解后各层逼近信号 图6-3 小波分解后各层细节信号 6.1.2 小波变换在信号降躁和压缩中的应用 一、信号降躁 1.工程中,有用信号一般是一些比较平稳的信号,噪声通常表现为高频信号。2.消躁处理的方法:首先对信号进行小波分解,由于噪声信号多包含在具有较高频率的细节中,我们可以利用门限、阈值等形式对分解所得的小波系数进行处理,然后对信号进行小波重构即可达到对信号的消躁目的。 小波分析进行消躁处理的3种方法: (1)默认阈值消躁处理。该方法利用ddencmp生成信号的默认阈值,然后利用wdencmp函数进行消躁处理。 (2)给定阈值消躁处理。在实际的消躁处理过程中,阈值往往可通过经验公式获得,且这种阈值比默认阈值的可信度高。在进行阈值量化处理时可利用函数wthresh。 (3)强制消躁处理。该方法时将小波分解结构中的高频系数全部置为0,即滤掉所有高频部分,然后对信号进行小波重构。方法简单,消躁后信号比较平滑,但易丢失信号中的有用成分。 小波阈值去噪方法是目前应用最为广泛的小波去噪方法之一。 3.信号降噪的准则: 1.光滑性:在大部分情况下,降噪后的信号应该至少和原信号具有同等的光滑性。
第9章小波变换基础
第9章 小波变换基础 9.1 小波变换的定义 给定一个基本函数)(t ψ,令 )(1)(,a b t a t b a -= ψψ (9.1.1) 式中b a ,均为常数,且0>a 。显然,)(,t b a ψ是基本函数)(t ψ先作移位再作伸缩以后得到的。若b a ,不断地变化,我们可得到一族函数)(,t b a ψ。给定平方可积的信号)(t x ,即 )()(2R L t x ∈,则)(t x 的小波变换(Wavelet Transform ,WT )定义为 dt a b t t x a b a WT x )()(1),(-= ? *ψ ??==? * )(),()()(,,t t x dt t t x b a b a ψψ (9.1.2) 式中b a ,和t 均是连续变量,因此该式又称为连续小波变换(CWT )。如无特别说明,式中及以后各式中的积分都是从∞-到∞+。信号)(t x 的小波变换),(b a WT x 是a 和b 的函数, b 是时移,a 是尺度因子。)(t ψ又称为基本小波,或母小波。)(,t b a ψ是母小波经移位和 伸缩所产生的一族函数,我们称之为小波基函数,或简称小波基。这样,(9.1.2)式的WT 又可解释为信号)(t x 和一族小波基的内积。 母小波可以是实函数,也可以是复函数。若)(t x 是实信号,)(t ψ也是实的,则 ),(b a WT x 也是实的,反之,),(b a WT x 为复函数。 在(9.1.1)式中,b 的作用是确定对)(t x 分析的时间位置,也即时间中心。尺度因子 a 的作用是把基本小波)(t ψ作伸缩。我们在1.1节中已指出,由)(t ψ变成)(a t ψ,当1 >a 时,若a 越大,则)(a t ψ的时域支撑范围(即时域宽度)较之)(t ψ变得越大,反之,当1 我希望能简单介绍一下小波变换,它和傅立叶变换的比较,以及它在移动平台做motion detection的应用。如果不做特殊说明,均以离散小波为例子。考虑到我以前看中文资料的痛苦程度,我会尽量用简单,但是直观的方式去介绍。有些必要的公式是不能少的,但我尽量少用公式,多用图。另外,我不是一个好的翻译者,所以对于某些实在翻译不清楚的术语,我就会直接用英语。我并不claim我会把整个小波变换讲清楚,这是不可能的事,我只能尽力去围绕要点展开,比如小波变换相对傅立叶变换的好处,这些好处的原因是什么,小波变换的几个根本性质是什么,背后的推导是什么。我希望达到的目的就是一个小波变换的初学者在看完这个系列之后,就能用matlab或者别的工具对信号做小波变换的基本分析并且知道这个分析大概是怎么回事。 要讲小波变换,我们必须了解傅立叶变换。要了解傅立叶变换,我们先要弄清楚什么是”变换“。很多处理,不管是压缩也好,滤波也好,图形处理也好,本质都是变换。变换的是什么东西呢?是基,也就是basis。如果你暂时有些遗忘了basis的定义,那么简单说,在线性代数里,basis是指空间里一系列线性独立的向量,而这个空间里的任何其他向量,都可以由这些个向量的线性组合来表示。那basis在变换里面啥用呢?比如说吧,傅立叶展开的本质,就是把一个空间中的信号用该空间的某个basis的线性组合表示出来,要这样表示的原因,是因为傅立叶变换的本质,是。小波变换自然也不例外的和basis有关了。再比如你用Photoshop去处理图像,里面的图像拉伸,反转,等等一系列操作,都是和basis的改变有关。 既然这些变换都是在搞基,那我们自然就容易想到,这个basis的选取非常重要,因为basis的特点决定了具体的计算过程。一个空间中可能有很多种形式的basis,什么样的basis比较好,很大程度上取决于这个basis服务于什么应用。比如如果我们希望选取有利于压缩的话,那么就希望这个basis能用其中很少的向量来最大程度地表示信号,这样即使把别的向量给砍了,信号也不会损失很多。而如果是图形处理中常见的线性变换,最省计算量的完美basis就是eigenvector basis了,因为此时变换矩阵T对它们的作用等同于对角矩阵( Tv_n = av_n,a是eigenvalue )。总的来说,抛开具体的应用不谈,所有的basis,我们都希望它们有一个共同的特点,那就是,容易计算,用最简单的方式呈现最多的信号特性。 好,现在我们对变换有了基本的认识,知道他们其实就是在搞基。当然,搞基也是分形式的,不同的变换,搞基的妙处各有不同。接下来先看看,傅立叶变换是在干嘛。 傅立叶级数最早是Joseph Fourier 这个人提出的,他发现,这个basis不仅仅存在与vector space,还存在于funct ion space。这个function space本质上还是一个linear vector space,可以是有限的,可以是无限的,只不过在这个空间里,vector就是function了,而对应的标量就是实数或者复数。在vector space里,你有vector v可以写成vector basis的线性组合,那在function space里,function f(x)也可以写成对应function basis的线性组合,也有norm。你的vector basis可以是正交的,我的function basis也可以是正交的(比如sin(t)和sin(2t))。唯一不同的是,我的function basis是无穷尽的,因为我的function space的维度是无穷的。好,具体来说,那就是现在我们有一个函数,f(x)。我们希望将它写成一些cos函数和一些sin函数的形式,像这样 again,这是一个无限循环的函数。其中的1,cosx, sinx, cos2x …..这些,就是傅立叶级数。傅立叶级数应用如此广泛的主要原因之一,就是它们这帮子function basis是正交的,这就是有趣的地方了。为什么function basis正交如此重要呢?我们说两个vector正交,那就是他俩的内积为0。那对于function basis呢?function basis怎么求内积呢? 现在先复习一下vector正交的定义。我们说两个vector v,w如果正交的话,应符合:(完整版)小波原理课件
小波变换与傅里叶变换的对比异同