基于SIFT和小波变换的图像拼接算法_王宇
收稿日期:20080529
基金项目:国家自然科学基金与微软亚洲研究院联合资助项目(60673198);国家“八六三”计划项目(2008AA01Z303).作者简介:王宇(1973—),女,博士,副教授,E -mail :w angyuw yt @https://www.360docs.net/doc/8f13089324.html, .
第29卷 第5期2009年5月北京理工大学学报
T ransactions of Beijing Institute o f T echno lo gy V ol .29 N o .5M ay 2009
基于SIFT 和小波变换的图像拼接算法
王宇
1,2
, 王涌天1, 刘越
1
(1.北京理工大学信息科学技术学院光电工程系,北京 100081;2.长春工程学院机电学院,吉林,长春 130012)摘 要:提出了一种基于尺度不变特征变换(S IF T )和小波变换的图像拼接算法,以提高室外复杂场景的图像拼接质量.利用S I F T 算法提取基准图像(待匹配图像)和后续图像(与基准图像进行匹配的图像)的特征点,确定特征点的位置、尺度与方向;利用128维向量对特征点进行描述;利用最近邻法完成两幅图像特征点的匹配,确定重合区域;利用基于小波变换的多分辨率方法完成对图像的拼接.实验结果表明,该方法对亮度差异较大的图像拼接效果良好,适宜于室外复杂环境的图像拼接.
关键词:尺度不变特征变换;小波变换;图像拼接;特征点匹配;图像融合
中图分类号:T P391.9 文献标识码:A 文章编号:1001-0645(2009)05-0423-04
Image Stitch Algorithm Based on SIFT and Wavelet Transform
WANG Yu 1,2, WANG Yong -tian 1, LIU Yue 1
(1.Department of O ptical Eng ineering ,Schoo l of I nfo rmatio n Science and T echno log y ,Beijing Institute o f
T echno lo gy ,Beijing 100081,China ;2.Scho ol of M echatro nics Engineering ,
Chang chun Institute of T echno lo gy ,Chang chun ,Jilin 130012,China )
Abstract :An algo rithm of image stitch based on scale invariance feature transfo rm (SIFT )and w avelet transform is proposed to improve the stitch effect of significantly different luminance im ag es .Features are first detected betw een tw o im ag es using SIFT alg orithm .After identified
lo cations and scales ,features are described by a 128-dimensional feature vecto r .Feature is m atched based o n the nearest neig hbo r method in orde r to identify o verlap regio ns .Images are blended by w avele t transfo rm .Experimental results show ed that the presented m ethod is effective for sig nificant different luminance images adopted from outdoo r environments .Key words :scale invariance fea ture transform (SIFT );w avelet transform ;image stitch ;feature
match ;image blending
全景图像水平方向360°的环视环境可以较好地表达空间信息,广泛应用于工业、军事、医疗等领域.全景图像的生成有直接方式和图像拼接方式两种途径.直接方式就是采用带有能扩大视野的反光镜或鱼眼镜头的全景相机,但较低的分辨率和昂贵的价格限制了这种成像方式的应用;利用图像拼接来获得大视野的方式应用比较广泛,只需要采用普通的摄像头拍摄有重叠区域的一系列图像,对经过预处理的图像运用匹配和融合等技术就能获得水平
方向360°、垂直方向一定视野角度的全景图像.对于图像拼接中的关键技术图像匹配和融合已
经进行了大量研究.目前大多数方法对于室外复杂场景图像的拼接效果不理想,寻找高精度的图像匹配算法以及适合于光亮度差异较大图像的融合算法是主要研究方向.基于图像特征的匹配是图像匹配的主要方法,利用空间位置相对不变的景物特征(如边缘、角点等)进行匹配.Lowe 提出的SIF T (scale in -variance feature transform )方法
[1]
属于基于特征的
配准,利用该法从图像中提取出的特征点可以用于一个物体或场景不同视角下的可靠匹配,匹配精度较高.基于小波的图像融合是一种多分辨率图像融合,
可以获得与人的视觉特性更为接近的融合效果.
作者利用S IF T算法的精确匹配和小波良好的融合效果提出了一种针对室外复杂场景的图像拼接算法.首先对图像采用S IF T算法提取出对图像尺度和旋转保持不变的特征点;然后构建多维向量描述特征点,利用N N算法进行高精度的特征点匹配,确定图像的重叠区域;最后利用小波变换将配准后的图像合二为一,构成一幅整体图像.
1 基于SIFT的图像配准
图像拼接的关键步骤为图像配准,寻找两幅图像重叠部分的对应特征点,并利用这些特征点计算图像之间的透视变换关系,最终将图像注册到同一个坐标系中.
S I F T方法主要是采用金字塔分层方法,使总的计算量大幅下降,提高运算速度,而且S IF T是相似不变量,即对图像尺度变化和旋转是不变量,并由于构造S IF T特征时,在很多细节上进行了特殊处理,使得S I F T对图像的复杂变形和光照变化具有了较强的适应性,定位精度比较高.
1.1 特征点提取
由于高斯函数是唯一的尺度空间内核函数,因此用高斯函数作为卷积核,构建图像的尺度空间函数.输入图像用I x,y表示,其尺度空间函数为L x,y,σ=G x,y,σ×I x,y,(1)式中G x,y,σ为高斯函数,其表达式为
G x,y,σ=1
2πσ2
e-x2+y2/2σ2.(2) 为有效检测出尺度空间中的稳定特征点,引入高斯差分函数D x,y,σ,
D x,y,σ=G x,y,kσ-G x,y,σ×
I x,y=L x,y,kσ
-L x,y,σ,(3)式中k是一个常量.
对图像使用不同的采样距离以形成一个金字塔图像分层结构,然后对每层图像采用不同的高斯滤波因子进行滤波,形成高斯金字塔图像分层结构,如图1所示.图1中高斯差分显示了将每组中相邻图像相减生成高斯差分图像的过程,在高斯差分金字塔分层结构中,样本像素点需要和它相邻的8个
像素点以及上下相邻图像层中的各9个像素点共26个点进行比较,提取出图像中的极值点作为候选特征点,并在这些特征点中筛选掉低对比度和处于边缘的特征点,最终提取出稳定的特征点.
图1 高斯差分金字塔图像分层结构形成过程
Fig.1 Formation o f Gaus sian di f ferenc e p yramid image
1.2 特征点描述
对于每幅图像L x,y,σ,按式(4)(5)计算其梯度值m(x,y)和方向θ(x,y).
m x,y={L x+1,y-L x-1,y2+
L x,y+1-L x,y-12}1⒊,(4)θx,y=arctan{[L x,y+1-L x,y-1]/
L x+1,y-L x-1,y}.(5) 在特征点周围所在的一个区域内,依据样本点的梯度方向生成一个用36位代表360°方向的方向直方图,每个样本点根据其梯度值的大小,同时还依据一个具有参数σ为特征点尺度1.5倍的高斯权重圆窗口的大小而被加到直方图中.将方向直方图中的峰值作为该特征点的主方向,在最大值的80%以内的其他局部峰值也会被创建具有相同方向的一个特征点.当特征点的位置、尺度、方向被确定之后,选用一个4×4像素的方向柱状图矩阵的描述符,矩阵中每个元素占有8个方向位,用这样一个128= 4×4×8位的向量可以准确地描述每个特征点. 1.3 特征点匹配
由于SIF T算法提取的特征点具有很高的鲁棒性(对于图像的旋转、缩放、平移以及光线、遮挡等具有不变性),因此可以直接利用特征点之间的几何特性进行特征点间的匹配.采用最近邻特征点欧氏距离与次近邻特征点欧氏距离之比对特征点进行匹配.用best-bin-first(BBF)算法以较高的概率找到最近邻点和次近邻点[2].最后用random sample c onsensus (RA NS AC)算法[3]来提纯特征点集合,去除野点.
2 基于小波变换的图像融合
经过配准后的图像会有明显的色彩接缝,为使拼
424北京理工大学学报第29卷
接图像光滑无缝、浑然一体,传统解决方法是在接缝
及其附近采用平滑处理,其结果会导致图像的分辨率下降,使图像出现模糊的现象.把小波变换引入图像拼接和镶嵌技术中,可以很好地兼顾清晰度和光滑度两个方面的要求.用拼接图像的示性函数,表征图像参与拼接的程度,利用其在各尺度上的低频小波分量作为多尺度加权系数,把两幅图像在不同尺度下的小波分量进行平均,然后通过重构,恢复整个图像.2.1 小波变换
小波分析方法是一种窗口大小固定但其形状可变,时间窗和频率窗都可改变的时频局域化分析方法.小波变换的含义是:把一个称为基本小波的函数ψ(t )做位移τ后,在不同尺度a 下与待分析信号x (t )做内积:
W T x a ,τ=1a ∫
+∞
-∞
x (t )ψ*t -τa d t ,a >0.(6)
其中τ仅影响窗口在相平面时间轴上的位置,
而a 不仅影响窗口在频率轴上的位置,也影响窗口
的形状,因此小波变换对不同频率在时域上的采样步长是可调节的,即在低频时小波变换的时间分辨率较低,而频率分辨率较高;在高频时小波变换的时间分辨率较高,而频率分辨率较低.这正符合低频信号变化缓慢而高频信号变化迅速的特点.2.2 Mallat 金字塔算法
离散小波变换(D W T )的多分辨率分析属性使得它可以分析信号上某一特定时刻的频率特性,有很好的空间和频率定位性.Mallat 提出的金字塔型算法[4]
是计算D W T 的快速算法,该算法在小波变换中的地位相当于FF T (快速傅里叶变换)在傅里叶变换中的地位.图像是二维信号,使用二维Mal -lat 算法处理图像可以得到原始图像在不同尺度、不同方向上的模糊分量和细节分量.
设数字图像为f x ,y ,f x ,y ∈L 2R 2,在分辨率为j 时的离散近似记为A d j f ,离散细节记为D j f ,可得分解算法为:在小波变换的每一层,图像都被分解为4个1/4大小的图像,这4个图像中的每一个都是由原图像与一个小波基内积后,再经过在x 和y 方向都进行2倍间隔抽样而生成.二维Mallat 分解算法表达式为A d j f n ,m =∑k
∑l h
2n -k
h 2m -l A
d j +1
f k ,l , (7)
D 1j f n ,m =∑
∑h 2n -k
g 2m -l A d j +1f k ,l , (8)(9)
D 3j f n ,m =
∑k
∑l
g
2n -k
g 2m -l A d j +1f k ,l .(10)
式中:A d
j
f 表示原图像行、列方向均滤掉高频,是原图像的近似图像;D 1j f 表示原图像滤掉行方向高频、滤掉列方向低频,对应着图像的竖直边缘;D 2j f 表示原图像滤掉行方向低频、滤掉列方向高频,对应着图像的水平边缘;D 3
j f 表示原图像行、列方向均滤掉低频,对应着图像的角边缘.
二维Mallat 的重构算法表达式为
A j +1f k ,l =
∑k
∑l
h k -2n
h l -2m A d j f n ,m +∑k
∑l h k -2n
g l -2m D 1
j f n ,m +
∑k
∑l
g l -2n
h k -2m D 2
j f n ,m +∑k
∑l
g
l -2n
g l -2m D 3j f n ,m ,
(11)
式中 h , g 与h ,g 是共轭的.
2.3 基于小波的图像融合技术
传统的图像融合方法主要在时间域通过算术运算实现融合,而基于小波变换的融合算法是在不同频带上分别对不同算子进行融合,这个过程和人的视网膜成像过程类似,所以,可以获得与人的视觉特性更为接近的融合效果.2.3.1 融合系数的确定
利于S IF T 算法确定图像A 和B 的重叠区域AB ,对于图像A 来说,其相对于融合图像的融合系数T A 可以由下式确定:
T A =
1
f pixels ∈A -AB
1,0f pixels ∈AB 0
f pixels ∈B -AB
,
(12)
式中f pixels 为像素,图像B 的融合系数和A 的融合
系数关系为
T B =1-T A .
(13)
因为小波系数是以矩阵的形式存放的,所以上式改写为
T B =E -T A ,
(14)
式中E 为单位阵.2.3.2 在小波域进行融合
利用M allat 算法将两个图像、单位阵以及融合系数T A 分解,得到在各个分辨率下的低频分量及垂直方向、水平方向和对角方向的高频分量
[56]
:
{A :C A ,D 1
A
,D 2A
,D 3A
};{B :C B ,D 1B
,D 2B
,D 3B
};{T A :C T ,D 1T ,D 2T ,D 3T };{E :C E ,D 1E ,D 2E ,D 3
E }.
融合图像的低频分量和高频分量按下式求得:
425
第5期王宇等:基于SIF T 和小波变换的图像拼接算法
C=C T C A+C E-C T C B,
D1=C T D1A+C E-C T D1B, D2=C T D2A+C E-C T D2B, D3=C T D3A+C E-C T D3B.
(15)
然后利用M alla t重构算法合成融合图像. 3 实验结果
如图2所示,选择在室外拍摄的两幅具有重叠区域的图像,将其光亮度调得差异较大.利用SIFT 算法提取两幅图像的特征点并进行特征点匹配,图3为其匹配的结果,可以看出匹配的精度很高.利用配对的特征点求得两幅图像之间的映射关系,确定重合区域,之后,利用文中介绍的小波方法进行图像的融合处理,作者采用的是Bio r双正交小波基,图4是实验结果.由图4可见,拼合图像平滑、自然,融合效果良好.图5是对比实验结果,采用像素值加权融合方法,得到的图像在拼接区域亮度不均匀,效果不理想.
图5 利用像素值加权融合方法得到的拼接图像
Fig.5 Results by pixels diffusion-w eigh ted algorithm
4 结 论
全景图像拼接技术一直是计算机视觉领域的研究热点,它在3D建模、虚拟现实、图像运输、医学图像处理等领域有着广泛的应用.作者提出了一种利用SIFT算法和小波变换的图像拼接方法,既能得到特征点的精确匹配,又能实现图像的完美融合.实验结果表明,将该方法应用于室外复杂场景的拼接,拼接图像视觉效果良好.
参考文献:
[1]Low e D G.Distinctiv e image features from scale-invari-
ant key po ints[J].Inte rna tional Jour nal of Compute r Vi-
sion,2004,60(2):91110.
[2]Beis J S.Lo we D G.Sha pe indexing using appro xima te
nearest-neighbour sear ch in high-dimensional spaces
[C]∥P roceeding s of the IEEE1997Co mputer So ciety
Conference o n Compute r Vision and Patter n Recog ni-
tio n.Puer to Rico:[s.n.],1997:10001006.
[3]Shum H Y,Szeliski R.Co nstr uctio n of pano ramic image
mo saics w ith g lobal and local alignment[J].I nter na tion-
al Jour nal of Computer V isio n,2000,36(2):101130.
[4]M allat S G.M ultifrequency channel decomposition of
imag es and wav elet mo del[J].I EEE T ransac t,Speech,
Sig nal P rocessing,1989,37(12):20912110.
[5]高丽,韦群.基于小波分析的图像镶嵌融合研究与实现
[J].指挥技术学院学报,2001,12(5):2932.
G ao Li,Wei Qun.Study and implementa tion o f image
mer ging ba sed on wav elet transfo rm[J].Jour nal of Im-
stitute of Co mmand and T echno log y,2001,12(5):29
32.(in Chine se)
[6]黄铜城,胡运发.基于多分辨率特征的图像镶嵌技术
[J].计算机工程,2006,32(7):2325.
Huang To ng che ng,H u Yunfa.M ultireso lutio n fea ture
based imag e mosaics[J].Computer Engineering,2006,
32(7):2325.(in Chinese)
(责任编辑:康晓伟)
426北京理工大学学报第29卷