图像拼接调研报告

图像拼接的调研报告

1.图像拼接的意义和国内外研究现状

1.1 意义

图像拼接（image mosaic）技术是将一组相互间存在重叠部分的图像序列进行空间配准，经重采样融合后形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像的技术。图像拼接是数字图像处理领域的一个重要的研究方向，在摄影测量学、计算机视觉、遥感图像分析、计算机图形等领域有着广泛的应用价值。

图像拼接技术一个日益流行的研究领域，是虚拟现实、计算机视觉、计算机图形学和图像处理等领域的重要研究课题，在宇宙空间探测、海底勘测、医学、气象、地质勘测、军事、视频压缩和传输、视频的索引和检索、物体的3D重建、军事侦察和公安取证、数码相机的超分辨率处理等领域都有广泛的应用。因此，图像拼接技术的研究具有很好的应用前景和实际应用价值。

1.2 国内外研究现状。

关于图像拼接的方法国内外已有不少的论文发表，其算法大致可分为基于模型的方法，基于变换域的方法，基于灰度相关的方法和基于特征的方法，而如何提高图像拼接的效率，减少处理时间和增强拼接系统的适应性一直是研究的重点。

①基于模型：

1996年，微软研究院的Richard Szeliski提出了一种2D空间八参数投影变换模型，采用Levenberg-Marquardt迭代非线性最小化方法（简称L-M算法）求出图像间的几何变换参数来进行图像配准。这种方法在处理具有平移、旋转、仿射等多种变换的待拼接图像方面效果好，收敛速度快，因此成为图像拼接领域的经典算法，但是计算量大，拼接效果不稳定。

2000年，Shmuel Peleg等人在Richard Szeliski的基础上做了进一步的改进，提出了自适应图像拼接模型，根据相机的不同运动而自适应选择拼接模型，通过把图像分成狭条进行多重投影来完成图像的拼接。这一研究成果推动了图像拼接技术的进一步的发展，从此自适应问题成为图像拼接领域新的研究热点。

匹兹堡大学的Sevket Gumustekin对消除在固定点旋转摄像机拍摄自然景物时形成的透视变形和全景图像的拼接进行了研究。通过标定摄像机来建立成像模型，根据成像模型将捕获到的图像投影到同一的高斯球面上，从而得到拼接图像。这种方法拼接效果好、可靠性高，但是要求对摄像机进行精确的标定，同时要求摄像机透镜本身的畸形参数引起的图像变形可以忽略不计。

②基于变换域：

1975年，Kuglin和Hines提出了相位相关法，利用傅里叶变换将两幅带配准的图像变换频域，然后利用互功率谱直接计算出两幅图像间的平移矢量。

1987年，De Castro和Morandi提出了扩展相位相关法，利用傅里叶变换的性质能够实现具有旋转和平移变换的图像的配准。随着快速傅里叶变换算法的提出以及信号处理领域对傅里叶变换的成熟应用，Reddy和Chatterji提出了基于快速傅里叶变换（FFT-based）的方法，利用极坐标变换和互功率谱，对具有平移、旋转和缩放变换的图像都能够实现精确配准。

相位相关法计算简单精准，但要求待配准图像之间有较大重叠比例，同时计算量和适用

范围与图像的大小有很大关系。

除了傅里叶变换外，人们还选择更可靠、更符合人眼视觉生理特征的Gabor变换和小波变换进行图像配准。

③基于灰度：基于灰度相关的方法是以两幅图像重叠部分所对应在RGB或CMY颜色系统中灰度级的相关性为准则寻找图像的配准位置。常用的算法有比值匹配法，块匹配法和网格匹配法。

比值匹配法是从一幅图像的重叠区域中部分相邻的两列上取出部分像素。然后以他们的比值作为模板，在另一幅图像中搜索最佳匹配，这种算法计算量小，但精度低；

块匹配是以一幅图像重叠区域中的一块作为模板，在另一幅图像中搜索与此模板最相似的匹配快，这种算法精度较高，但计算量过大；

网格匹配法首先进行粗匹配，每次水平或垂直移动一个步长，记录最佳匹配位置，然后再进行精确匹配，每次步长减半，循环此过程直至步长减为0，这种算法比较其前两种运算量有所减小，但如果粗匹配步长过大会造成较大的误差。

④基于特征：基于特征的方法首先从待匹配图像中提取特征集，利用特征的对应关系进行匹配。基于特征的方法利用了图像的显著特征，具有计算量小，速度快的特点，对于图像的畸变，噪声，遮挡等具有一定鲁棒性，但是他的匹配性能在很大程度上取决于特征提取的质量。

1988年，Halris提出了HarriS兴趣点检测器。HarriS提取的兴趣点具有旋转不变性，并且抗噪声能力强，是一种很好的特征检测算子。

2004年，M.BrownandD.Glowe发表了ReeognizingPanoramas文章，提出了基于尺度不变特征(SIFT)的图像拼接技术，该算法完全自动完成，并采用了多分辨率对图像进行融合，收到了理想的效果。（SIFT算法最早是由D.Gfowe在1999年提出的，2004年做的完善总结，该方法具有尺度不变性和旋转不变性，是目前图像拼接领域最为流行的算法。）Manjunath提出了一种轮廓的图像匹配方法，采用LOG算子提取出两幅图像的特征轮廓，从而确定图像间的变换关系。这种方法在特征轮廓的提取上容易受到噪声的干扰，其计算量随着轮廓数量的增多而增长。

Etienne使用Harris检测器提取兴趣点，通过计算归一化相关系数，沿极线寻找一幅图像中兴趣点的对应点，然后使用第三幅图像来得到更准确的对应；Jane提出了基于小波变换的分层图像匹配算法，在分解后的每一层图像中提取兴趣点进行匹配，用并行策略提高计算速度。

图像配准算法经过几十年的发展已经取得了很大的进展，但由于拍摄环境复杂多变，现在还没有一种算法能够解决所有图像的匹配问题。现在的几种方法各有其优缺点，如果能综合利用这些方法的优点将会取得更好的匹配结果。

2. 图像拼接技术介绍

图像拼接技术主要包括图像配准和图像融合两个关键环节。图像配准是图像拼接的核心部分，其目标是找出对齐的两幅或多幅重叠图像之间的运动情况，图像配准直接关系到图像拼接算法的成功率和运行速度。图像融合技术是用来消除由于几何校正、动态的场景或光照变化引起的相邻图像的强度或颜色不连续问题，将两幅经过匹配确定出重叠区域的图像合并为一幅无缝图像。

2.1 几种主要图像配准方法的优缺点

①基于灰度信息的方法

基于图像灰度的配准方法直接利用图像的灰度信息，根据对应关系模型将每个像素点变换成对应点，采用某种搜索方法，寻找使相似性评价函数值达到极值的变换模型的参数值。

模块匹配的方法是一种最常用的基于灰度信息的图像匹配算法，与所拼接的图像内容无关。虽然模板匹配有计算量大，准确率不高等缺点，但在目前的图像拼接领域还是广泛使用。所谓模板匹配就是在图像的已知重叠区域中裁剪出一块矩形区域作为模板，和被搜素图像中同样大小的一块区域进行对比，根据相似程度来确定最佳的匹配位置。

模板匹配包括以下几个方面：

1、模板特征提取

2、基准模板的选取、确定基准模板的大小和坐标定位

3、模板匹配的相似度量

4、匹配模板的搜素策略

模板匹配一般情况下选用图像的灰度为特征构建模板。在一幅图像处于重叠部分的区域中选取一个区域作为模板，然后在另一幅图像中搜素具有相同或相似值对应位置，从而确定两幅图像重叠区域范围。

模板匹配法简单易行，具有精度高，可靠性高以及抗干扰性强等优点，但计算量将随着模板和待匹配图像的增大而迅速增大，难以达到实时性的要求。

基于图像灰度的方法直接利用图像的灰度信息进行匹配，通过像素对其间某种相似性度

量（如互信息、最小均方差等）的全局最优化实现配准，这种方法不需要对图像进行分割和特征提取，所以精度高，鲁棒性好。但是这种匹配方法对灰度变化非常敏感，没有充分利用灰度统计特性，对每一点的灰度信息依赖较大。

②变换域法

基于变换域的图像配准的一个经典方法是相位相关法，就是利用傅里叶变换的方法，将图像有空间域变换到频率域，根据傅里叶变换的平移原理来实现图像的配准。

由于平移、旋转、缩放等变形在频域都有相应变换，因此完全可以利用傅里叶方法在频域中进行图像匹配。变换域的方法具有对噪声的不敏感性，计算效率高，有成熟的快速算法（FFT算法）和易于硬件实现等特点。一般来说，采用变换域的方法可以为图像拼接提供一个良好的初始配准参数。

③基于特征的配准方法

基于图像特征的方法，首先要对待配准的两幅图像进行处理，提取满足特定应用要求的特征集，将这些特征作为控制结构，寻找两幅图像控制结构的映射关系。基于图像特征的方法，在特征提取后得到的特征点的数量将会大大减少，因此可以提高配准的速度，但其配准的效果很大程度上还取决于特征点的提取精度以及特征点匹配的准确度。

基于特征的方法只需要提取出匹配的特征就可以解出变换模型的参数，因此计算量小，由于是在特征空间上进行匹配，因此对图像的灰度属性和噪声的影响不是很敏感，配准速度快。基于图像特征配准的方法主要困难在于如何提取和选择鲁棒的特征，以及如何对特征进行匹配，其中要克服由于图像噪声和场景中出现遮挡现象所引起的误匹配的问题。

④基于模型的配准方法

基于模型的配准方法是根据图像失真的数学模型来对图像进行非线性校准的配准。典型的算法是Szeliski提出的变换优化法，首先建立图像序列之间的变换模型，然后通过优化算法迭代求出模型中的变化参数，从而实现对待拼接图像的配准。

变换优化法可以处理图像序列之间存在平移、旋转、缩放等几何变换的拼接，不需要任何特征点，收敛速度快，并且在统计上是最优的。但是这种方法的缺点在于，要使整个缩放达到收敛的要求，必须要有一定精度的初始估计值，即也就是认为确定的初始对应点要足够精确，否则将会导致图像配准的失败。

2.2 几种典型算法的优缺点：

2.2.1 基于区域的配准

2.2.1.1 逐一比较法

算法的优点:

(1)算法思路比较简单，容易理解，易于编程实现。

(2)选用的模板越大，包含的信息就越多，匹配结果的可信度也会提高，同时能够对参考图像进行全面的扫描。

算法的缺点:

(1)很难选择待配准图像分块。因为一个如果分块选择的不正确，缺少信息量，则不容易正确的匹配，即发生伪匹配。同时，如果分块过大则降低匹配速度，如果分块过小则容易降低匹配精度。

(2)对图像的旋转变形不能很好的处理。算法本身只是把待配准图像分块在标准参考图像中移动比较，选择一个最相似的匹配块，但是并不能够对图像的旋转变形进行处理，因此对照片的拍摄有严格的要求。

2.2.1.2 分层比较法

图像处理的塔形(或称金字塔:Pyramid)分解方法是由Burt和Adelson首先提出的，其早期主要用于图像的压缩处理及机器人的视觉特性研究。该方法把原始图像分解成许多不同空间分辨率的子图像，高分辨率(尺寸较大)的子图像放在下层，低分辨率(尺寸较小)的图像放在上层，从而形成一个金字塔形状。

在逐一比较法的思想上，为减少运算量，引入了塔形处理的思想，提出了分层比较法。利用图像的塔形分解，可以分析图像中不同大小的物体。同时，通过对低分辨率、尺寸较小的上层进行分析所得到的信息还可以用来指导对高分辨率、尺寸较大的下层进行分析，从而大大简化分析和计算。在搜索过程中，首先进行粗略匹配，每次水平或垂直移动一个步长，计算对应像素点灰度差的平方和，记录最小值的网格位置。其次，以此位置为中心进行精确匹配。每次步长减半，搜索当前最小值，循环这个过程，直到步长为零，最后确定出最佳匹配位置。

算法的优点:

(1)该算法思路简单，容易理解，易于编程实现。

(2)该算法的搜索空间比逐一比较要少，在运算速度较逐一比较法有所提高。

算法的缺点:

(1)算法的精度不高。在是在粗略匹配过程中，移动的步长较大，很有可能将第一幅图像上所取的网格划分开，这样将造成匹配中无法取出与第一幅图像网格完全匹配的最佳网格，很难达到精确匹配。

(2)对图像的旋转变形仍然不能很好的处理。与逐一比较法一样，该算法只是对其运算速度有所改进，让搜索空间变小，并无本质变化，因此对图像的旋转变形并不能进行相应处理。

2.2.2 基于特征的配准

2.2.2.1 比值匹配法

比值匹配法算法思路是利用图像中两列上的部分像素的比值作为模板，即在参考图像T 的重叠区域中分别在两列上取出部分像素，用它们的比值作为模板，然后在搜索图S中搜索最佳的匹配。匹配的过程是在搜索图S中，由左至右依次从间距相同的两列上取出部分像素，并逐一计算其对应像素值比值;然后将这些比值依次与模板进行比较，其最小差值对应的列就是最佳匹配。这样在比较中只利用了一组数据，而这组数据利用了两列像素及其所包含的区域的信息。

比值匹配法的优点:

(1)算法思路清晰简单，容易理解，实现起来比较方便。

(2)在匹配计算的时候，计算量小，速度快。

比值匹配法的缺点:

(1)利用图像的特征信息太少。只利用了两条竖直的平行特征线段的像素的信息，没有能够充分利用了图像重叠区域的大部分特征信息。虽然算法提到，在搜索图S中由左至右依次从间距相同的两列上取出部分像素，计算其对应像素的比值，然后将这些比值依次与模版进行比较，好像是利用了搜索图S中的重叠区域的大部分图像信息，但在参考图像T中，只是任意选择了两条特征线，没有充分利用到参考图像T的重叠区域的特征信息。

(2)对图片的采集提出了较高的要求。此算法对照片先进行垂直方向上的比较，然后再进行水平方向上的比较，这样可以解决上下较小的错开问题。在采集的时候只能使照相机在水平方向上移动。然而，有时候不可避免的照相机镜头会有小角度的旋转，使得拍摄出来的照片有一定的旋转，在这个算法中是无法解决的。而且对重叠区域无明显特征的图像，比较背景是海洋或者天空，这样在选取特征模版的时候存在很大的问题。由于照片中存在大块纹理相同的部分，所以与模版的差别就不大，这样有很多匹配点，很容易造成误匹配。

(3)不易对两条特征线以及特征线之间的距离进行确定。算法中在参考图像T的重叠区域中取出两列像素上的部分像素，并没有给出选择的限制。然而在利用拼接算法实现自动拼接的时候，如果选取的特征线不是很恰当，那么这样的特征线算出来的模版就失去了作为模版的意义。同时，在确定特征线间距时，选的过大，则不能充分利用重叠区域的图像信息。选择的过小，则计算量太大。

2.2.2.2 特征点匹配法

比值匹配法利用图像特征较少，而且在图像发生小角度旋转的时候容易发生误匹配。基于特征点的匹配法可以很好的解决这类问题。特征点主要指图像中的明显点，如房屋角点、圆点等。用于点特征提取得算子称为有利算子或兴趣算子。自七十年代以来出现一系列各不相同、各有特色的兴趣算子，较知名的有Moravec算子、Harris算子和Forstner算子等。

Moravec算子于1977年提出利用灰度方差提取点特征的算子，是在四个主要方向上，选择具有最小灰度方差的点作为特征点的提取方法。

Moravec算子计算简单，运算速度快，但是对边缘和独立的点比较敏感，在抑制噪声方面效果不佳。

Forstner算子的基本思想是对角点在最佳窗口内通过每个像元的边缘直线进行加权中心化，然后对法方程进行代数求解得到其准确位置。

Forstner算子运算速度快且精度高，但是计算方法复杂。

Harris算子是C.Harris和M.J.Stephens在1998年提出的一种基于信号的点特征提取算子。Harris算子是对Moravec算子的改进，它利用一阶偏导来描述亮度的变化。

Harris算子中只用到灰度的一阶差分以及滤波，操作简单，提取的特征点均匀且合理，在纹理信息丰富的区域，Harris算子可以提取出大量有用的特征点，而在纹理信息少的区域，提取的特征点则较少，由于它的计算过程中只涉及到了图像的一阶导数，所以即使存在有图像的旋转，灰度的变化，噪声影响和视点的变换，对角点的提取也是比较稳定的。

由于图像中有很多可以利用的特征，因而产生了多种基于特征的方法。常用的图像特征有：特征点（包括角点、高曲率点等）、直线段、边缘（Robert、高斯-拉普拉斯Log、Canny、Gabor滤波等边缘检测算子）或轮廓、闭合区域、特征结构以及统计特征如矩不变量等。

基于特征的配准方法不是直接利用图像的像素值，而是通过像素导出图像的特征，然后以图像特征为标准，对图像重叠部分的对应特征区域进行搜索匹配，该类拼接算法有比较高的健壮性和鲁棒性。

基于特征的配准方法有两个过程：特征抽取和特征配准。首先从两幅图像中提取灰度变化明显的点、线、区域等特征形成特征集。然后在两幅图像对应的特征集中利用特征匹配算法尽可能地将存在对应关系的特征对选择出来。一系列的图像分割技术都被用到特征的抽取和边界检测上。如canny 算子、拉普拉斯高斯算子、区域生长。抽取出来的空间特征有闭合的边界、开边界、交叉线以及其他特征。特征匹配的算法有：交叉相关、距离变换、动态编程、结构匹配、链码相关等算法。

2.2.3 相位相关法

相位相关度法是基于频域的配准常用算法。它将图像由空域变换到频域以后再进行配准。该算法利用了互功率谱中的相位信息进行图像配准，对图像间的亮度变化不敏感，具有一定的抗干扰能力，而且所获得的相关峰尖锐突出，位移检测范围大，具有较高的匹配精度。

相位相关度法的优点:

(1)该算法简单速度快，因此经常被采用。对于其核心技术傅立叶变换，现在己经出现了很多有关的快速算法，这使得该算法的快速性成为众多算法中的一大优势。另外，傅立叶变换的硬件实现也比其它算法容易。

(2)该算法抗干扰能力强，对于亮度变化不敏感。

相位相关度法的缺点:

(1)该算法要求图像有50%左右的重叠区域，在图像重叠区域很小的时，算法的结果很难保证，容易造成误匹配。

(2)由于Fourier变换依赖于自身的不变属性，所以该算法只适用于具有旋转、平移、比例缩放等变换的图像配准问题。对于任意变换模型，不能直接进行处理，而要使用控制点方法，控制点方法可以解决诸如多项式、局部变形等问题。

2.3配准算法的评价标准

一直以来，图像处理算法的评价标准是图像处理结果分析的一个难点。由于图像类型差异很大（如光学和SAR图像）、波段差异大（如可见光和长波红外图像），有时甚至是有很大噪声的图像，或者数据量较大的图像，这时涉及图像降噪和图像分割等预处理，而却研究的侧重点也各有千秋，所以评价的标准很难用一个指标来界定，往往需要多个评价指标综合评定。本节对常用的评价指标——配准时间、配准率、算法复杂度、算法的可移植性、算法的适用性、图像数据对算法的影响等加以阐释。

?配准时间：对于标准参考图像和待配准图像，从给定的两幅图像的输入开始计时，

直到找到最佳的配准点，整个过程需要的时间就是配准所消耗的时间，即配准时间。

?算法复杂度：算法复杂度分为时间复杂度和空间复杂度。时间复杂度：即程序运行

所需的时间。空间复杂度：即程序运行所需的空间。现在计算机的内存于硬盘（对

应虚存）一般都很大，所以空间复杂度并不是很重要，大家一般都把注意力放在时

间复杂度上。时间复杂度和配准过程时间的区别在于它只考虑程序的运行时间。时

间复杂度在最坏的情况下，对于所考虑的问题，算法规模n的函数。

?配准精度：如果配准误差在一个像素内，则称为像素级配准；如果配准误差小于一

个像素，称为亚像素级配准。

?配准率：N次配准操作中，达到配准精度要求的正确配准的次数所占的百分比。

?可移植性：对于配准算法的可移植性，是指算法软件编程或移植到各种硬件系统上

的可行程度。

?配准算法的适用性：是指算法对不同来源的图像传感器数据是否同样适用。

?图像数据大小对配准算法影响程度，主要是对配准时间的影响，根据标准参考图像

或者待配准图像增大一倍，配准时间将会增大多少，可以判断其影响程度。

过渡，实现无缝合成。传统的融合方法多是在时间域对图像进行算术运算，没有考虑处理图像时其相应频率域的变化。从数学上讲，拼接缝的消除相当于图像颜色或灰度曲面的光滑连接，但实际上图像的拼接与曲面的光滑不同，图像颜色或灰度曲面的光滑表现为对图像的模糊化，从而导致图像模糊不清。

2.4.3 图像融合方法

迄今为止，数据融合方法主要是在像元级和特征级上进行的。常用的融合方法有HIS

融合法、KL变换融合法、高通滤波融合法、小波变换融合法、金字塔变换融合法、样条变换融合法等。下面简要介绍其中的几种方法。

（1）HIS融合法

HIS融合法在多传感器影象像元融合方面应用较广，例如：一低分辨率三波段图象与一高分辨率单波段图象进行融合处理。这种方法将三个波段的低分辨率的数据通过HIS变换转换到HIS空间，同时将单波段高分辨率图象进行对比度拉伸以使其灰度的均值与方差和HIS空间中亮度分量图象一致，然后将拉伸过的高分辨率图象作为新的亮度分量代入HIS

反变换到原始空间中。这样获得的高分辨率彩色图象既具有较高空间分辨率，同时又具有与影象相同的色调和饱和度，有利于目视解译和计算机识别。

（2）KL变换融合法

KL变换融合法又称为主成分分析法。与HIS变换法类似，它将低分辨率的图象（三个波段或更多）作为输入分量进行主成分分析，而将高分辨率图象拉伸使其具有于第一主成分相同的均值和方差，然后用拉伸后的高分辨率影象代替主成分变换的第一分量进行逆变换。高空间分辨率数据与高光谱分辨率数据通过融合得到的新的数据包含了源图象的高分辨率和高光谱分辨率特征，保留了原图象的高频信息。这样，融合图象上目标细部特征更加清晰，光谱信息更加丰富。

（3）高通滤波融合法

高通滤波融合法将高分辨率图象中的边缘信息提取出来，加入到低分辨率高光谱图象中。首先，通过高通滤波器提取高分辨率图象中的高频分量，然后将高通滤波结果加入到高光谱分辨率的图象中，形成高频特征信息突出的融合影象。

（4）小波变换融合法

利用离散的小波变换，将N幅待融合的图象的每一幅分解成M幅子图象，然后在每一级上对来自N幅待融合图象的M幅子图象进行融合，得到该级的融合图象。在得到所有M 级的融合图象后，实施逆变换得到融合结果。