图像识别匹配技术原理要点说明
第1章绪论
1.1研究背景及意义
数字图像，又称数码图像或数位图像，是二维图像用有限数字数值像素的表示。通常，像素在计算机中保存为二维整数数组的光栅图像，这些值经常用压缩格式进行传输和储存。数字图像可以由许多不同的输入设备和技术生成，例如数码相机、扫描仪、坐标测量机等，也可以从任意的非图像数据合成得到，例如数学函数或者三维几何模型，三维几何模型是计算机图形学的一个主要分支。数字图像处理领域就是研究它们的变换算法。
数字图像处理(Digital Image Processing)是通过计算机对图像进行去除噪声、增强、复原、分割、提取特征等处理的方法和技术。数字图像处理的产生和迅速发展主要受三个因素的影响:一是计算机的发展;二是数学的发展(特别是离散数学理论的创立和完善);三是广泛的农牧业、林业、环境、军事、工业和医学等方面的应用需求的增长。
图像配准(Image registration)就是将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程，它已经被广泛地应用于遥感数据分析、计算机视觉、图像处理等领域。
图像配准的方法迄今为止，在国外的图像处理研究领域，已经报道了相当多的图像配准研究工作，产生了不少图像配准方法。总的来说，各种方法都是面向一定围的应用领域，也具有各自的特点。比如计算机视觉中的景物匹配和飞行器定位系统中的地图匹配，依据其完成的主要功能而被称为目标检测与定位，根据其所采用的算法称之为图像相关等等。
基于灰度信息的图像配准方法一般不需要对图像进行复杂的预先处理，而是利用图像本身具有灰度的一些统计信息来度量图像的相似程度。主要特点是实现简单，但应用围较窄，不能直接用于校正图像的非线性形变，在最优变换的搜索过程中往往需要巨大的运算量。经过几十年的发展，人们提出了许多基于灰度信息的图像配准方法，大致可以分为三类：互相关法（也称模板匹配法）、序贯相似度检测匹配法、交互信息法。
目前主要图像配准方法有基于互信息的配准方法，基于相关性的配准方法和
基于梯度的配准方法。其中基于梯度的方法基本很少单独使用，而作为一个辅助性的测度与其它方法相结合起来使用。基于灰度的配准算法是医学图像配准研究的发展方向，也是目前研究的热点之一。基于灰度的配准方法与基于特征的配准方法的区别在于前者没有提取图像特征的步骤，直接对图像中的灰度进行处理。基于灰度的配准方法计算复杂度高、对图像的灰度、旋转、形变以及遮挡都比较敏感。
灰度相关的配准方法是从待拼接图像的灰度值出发,图像拼接故而成为灰度相关的配准算法的一个基础。图像拼接(image mosaic)技术是将一组相互间重叠部分的图像序列进行空间匹配对准,经重采样合成后形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像的技术。图像拼接在摄影测量学、计算机视觉、遥感图像处理、医学图像分析、计算机图形学等领域有着广泛的应用价值。
灰度相关的图像配准算法在图像处理技术中起着十分关键的作用，它是图像处理技术得以发展的一个重要基础。它推动着图像处理技术在医学、生物、信息处理和其他很多高科技领域的应用，它已渐渐发展成社会生活中不可分离的一种技术，对于图像处理技术发展及应用具有重要意义。
1.2图像配准方法概述
配准技术的流程如下：首先对两幅图像进行特征提取得到特征点；通过进行相似性度量找到匹配的特征点对；然后通过匹配的特征点对得到图像空间坐标变换参数：最后由坐标变换参数进行图像配准。而特征提取是配准技术中的关键，准确的特征提取为特征匹配的成功进行提供了保障。因此，寻求具有良好不变性和准确性的特征提取方法，对于匹配精度至关重要。
图像配准的方式可以概括为相对配准和绝对配准两种：相对配准是指选择多图像中的一图像作为参考图像，将其它的相关图像与之配准，其坐标系统是任意的。绝对配准是指先定义一个控制网格，所有的图像相对于这个网格来进行配准，也就是分别完成各分量图像的几何校正来实现坐标系的统一。本文主要研究大幅面多图像的相对配准，因此如何确定多图像之间的配准函数映射关系是图像配准的关键。通常通过一个适当的多项式来拟合两图像之间的平移、旋转和仿射变换，由此将图像配准函数映射关系转化为如何确定多项式的系数，最终转化为如何确定配准控制RCP。
目前，根据如何确定RCP的方法和图像配准中利用的图像信息区别可将图像配准方法分为三个主要类别：基于灰度信息法、变换域法和基于特征法，其中基于特征法又可以根据所用的特征属性的不同而细分为若干类别。以下将根据这一分类原则来讨论目前已经报道的各种图像配准方法和原理。
1.3研究现状
国外从20世纪60年代就开始在图像配准领域进行研究，但直到1980年代才开始引起学者们的关注。到上世纪末，单模图像配准问题已基本解决，但多模图像配准由于涉及模式和领域的复杂性，仍需密切关注。国际上对图像配准技术曾做过调查，其结论是1990年代初技术就明显增加。而国从1990年代初才开始涉足此领域。与灰度相关的图像配准算法是图像配准算法中比较经典的一种，很多配准技术都以它为基础进行延伸和扩展。
针对多光谱遥感图像，提出了一种基于局部灰度极值的配准方法：通过在基准图像和待配准图像中同步寻找含有灰度极值的小区域，再用多项式对极值区域进行曲面拟合，最后，分别计算小区域的极值点作为特征点进行配准。并用真实和模拟多光谱图像进行了试验结果显示该课题提出具有算法简单和配准精度高的特点。这是与灰度相关图像配准算法有关的一个扩展应用。
1.4研究问题及容
本文在分析了灰度相关的图像配准算法中的线匹配法、比值匹配法和块匹配法，利用这三种方法分别实现两幅图像在水平垂直位移上的配准，而本课题研究的容是提出一种基于灰度相关的算法，不仅能实现两幅图在水平和垂直位移的配准，同时也能实现在绕光轴旋转情况下的图像配准。这里提出了一种方法，多尺度模块匹配法。在这三种匹配的环境下，它能实现水平垂直位移上的匹配、缩放以及旋转。同时通过在Matlab编程环境下编程实现相关算法，通过实际图像的配准试验，利用这些结论最终得到精确地配准结果。
第2章 图像配准基本理论
2.1
图像配准的基本介绍 2.1.1 图像配准的描述
图像配准是对取自不同时间，不同传感器或不同视角的同一场景的两幅图像或者多幅图像匹配的过程。图像配准广泛用于多模态图像分析，是医学图像处理的一个重要分支，也是遥感图像处理，目标识别，图像重建，机器人视觉等领域中的关键技术之一，也是图像融合中要预处理的问题，待融合图像之间往往存在偏移、旋转、比例等空间变换关系，图像配准就是将这些图像变换到同一坐标系下，以供融合使用。
2.1.2 图像配准的定义
对于二维图像配准可定义为两幅图像在空间和灰度上的映射[4]，如果给定尺寸的二维矩阵1F 和2F 代表两幅图像，1(,)F X Y 和2(,)F X Y 分别表示相应位置
(,)X Y 上的灰度值，
则图像间的映射可表示为：2(,)(1((,)))F X Y G F H X Y =,式中H 表示一个二维空间坐标变换，即(',')(,)X Y H X Y =，且G 是一维灰度变换。
2.1.3 图像配准的步骤
图像配准的基本过程可以分为三个步骤：第一步是为每一个图像信息模式各定义一个坐标系(,)F X Y ，然后再定义这些参考特征之间的失调或相似函数；第二步是分割出图像的参考特征，再定义这些参数特征之间的失调或相似函数；第三步是应用优化算法，使第二步中失调（相似）函数达到全局最小（最大）值，达到两幅图像的配准。其中参考特征和对应优化算法的选择是配准的核心，也是不同配准算法的差异所在。
2.2
图像配准的相关概念 2.2.1 配准基准
通常，图像配准中根据配准基准的特性，可分为基于外部基准的配准和基于部基准的配准[5]，外部基准是指强加于待配准对象的各种人造标记，这些标记必须在各种配准模式中都清晰可见且可准确检测到。部基准是指由图像本身得到的位置相对固定且图像特征明晰的各种配准标识。
2.2.2 映射变换与配准区域
设1f 和2f 表示两幅待匹配的图像，1()1(,)I x I x y =和2(')2(',')I x I x y =分别表示两幅图像的密度函数，其中(,)x x y =和'(',')x x y =分别表示在图像1D 和2D 中的像素坐标。图像匹配就是要找到一个把图像1f 映射到图像2f 的变换()((,),(,))M x U x y V x y =,使得变换后的图像3(())I M x 和2(')I x 具有几何对应性。这种映射变换有刚体变换、仿射变换、投影变换以及曲线变换等。配准时的变换区域根据实际需要又分为局部配准和全局配准。局部变换一般很少直接使用，因为它会破坏图像的局部连续性，且变换的双映射性会影响图像的再采样。从近期关于图像配准方面的文章看，一般刚性和仿射多用于全局变换，而曲线变换多用于局部变换。
2.2.3 配准的交互性与优化
根据人的参与程序配准又可分为全自动式，交互式和半自动式三种。全自动式中使用者仅需给相应算法提供图像数据以及图像获取的一些可能信息；交互式中使用者必须亲自进行配准，软件仅给目前变换提供一个可视的或数字的感官印象以及初始变换的一个可能参数；半自动式中，交互式有两种方式：一种是使用者须初始化算法，如分割数据，另一种是指导算法，如拒绝或接受配准假设。
配准变换的参数可以是直接计算出的，也可以是搜索计算出的。直接计算的最优化方法一般已完全由实例决定，所能研究的工作也仅限于如何使用非常少的信息把此计算方法应用于实际。搜索计算的最优化方法大多都可以用待优化的变换参数的一个标准数学函数来表达配准实例，此函数力图使图像在某一变换时两幅图像可达到最大相似。这些函数通常在单模配准中能简单一些，因为此时图像的相似性更能容易直接定义。我们可以通过使用一个标准的、合适的最优化方法使相似函数达到最优。
目前应用比较广泛的方法有Powell 的方法、Downhill Simplex 方法、Brent 的方法以及一系列一维搜索算法、Levenberg-Marquardt 最优化算法、Newton-Raph son 迭代算法、stochastic 搜索算法、梯度下降法(gradient descent methods)、遗传算法(genetic methods)、模拟退火法(simulated annealing)，粒子群算法(partice sworm)，蚁群算法(ant)，几何散列法(geometric hashing)。多分辨率(如金字塔)和多尺度方法可以加速最优化的收敛速度。许多实际应用中使用了不止一种最优化方法，一般是先使用一种粗糙但快速的算法，然后再接着使用一种准确但运算速度慢的算法。
2.2.4 图像成像模式与配准方法的分类
有单模式和多模式等，单模(monomodality)图像配准是指待配准的两幅图像是同一种成像设备获取的。多模(multimodality)图像配准[6]是指待配准的两幅图像来源于不同的成像设备。基于灰度信息的图像配准方法一般不需要对图像进行复杂的预先处理，而是利用图像本身具有灰度的一些统计信息来度量图像的相似程度。主要特点是实现简单，但应用围较窄，不能直接用于校正图像的非线性形变，在最优变换的搜索过程中往往需要巨大的运算量。经过几十年的发展，人们提出了许多基于灰度信息的图像配准方法，大致可以分为三类：互相关法（也称模板匹配法）、最大互信息法和基于小波变换的图像配准法。
(1) 互相关法
对于同一物体由于各种图像获取条件的差异或物体自身发生的空间位置的改变而产生的单模图像配准问题常常应用互相关法。在互相关法中互相关值的大小反映了配准的效果。互相关法的思路是找出使各图像之间相关性最大的空间变换参数来实现图像的配准。该方法通过优化两幅图像间的相似性测度来估计空间变换参数（刚体的平移和旋转参数），采用的相似性测度可以是多种多样的，例如相关系数，差值的平方和及相关函数等。其中最经典的相似性测度是归一化的相关系数(correlation coefficient , CC)，
即：
, (2.1)
式中，F 为模板图像，{}1
1N n n F f -==，n f 为图像F 的灰度；G 为与F 有相同大小的目标图像{}11N n n G g -==，n g 为图像G 的灰度；f 和g 分别为图像F 和G 灰度的均方值。由于要对每种变换参数可能的取值都要计算一次相似性测度，互相关法的计算量比较庞大，因此近年来发展了快速搜索算法，例如，用相位相关傅立叶法估算平移和旋转参数；用遗传算法和模拟退火技术减少搜索时间和克服局部极值问题。
尤其注意的是互相关法受到不同模态成像特点的影响，例如同一物体在不同的模态图像中表现出纹理和密度的非线性差异，使相关性计算无意义，故互相关性法主要局限于单模图像配准[7]。对于条件不好或曲线不完全闭合的图像配准，Kaneko 等提出了一种选择性相关系数法(selective correlation coefficient ，即SCC )，SCC 实际上是CC 的扩展，SCC 在每次为其计算时间仅仅依靠两幅图像灰度的比较过程，故其代价非常小甚至可以忽略不计。
(2) 最大互信息法(Maximization of Mutual Information)
互信息是信息论的一个基本概念，是两个随机变量统计相关性的测度。最大互信息法几乎可以用在任何不同模式图像的配准，特别是当其中一个图像的数据部分缺损时也能得到很好的配准效果。当含有相同容的两幅图像通过几何变换在空间对齐时，它们所包含的灰度值的互信息量最大。因此最大化的互信息量可以作为图像配准准则。
基于最大互信息[8]的配准过程实质上是搜索最佳的几何变换参数，使两幅图像的互信息达到最大。该方法采用整幅图像的所有像素共同组成特征空间，再根据特征空间确定一种空间变换，使一幅图像经过该变换后和另一幅图像的互信息最大，最终实现配准。
互信息(Mutual Information,MI)是信息论中的一个测度，用于描述两个变量间的统计相关性，或一个变量中包含的另一个变量中的信息的多少，表示两个随机变量之间的依赖程度，一般用熵来表示。熵表达的是一个系数的复杂性和不确定性。变量A 的熵定义为：
()()log ()A A a
H A P a P a -=∑, (2.2)
,(,)(,).log (,)AB AB a b
H A B P a b P a b =∑, (2.3)
将待配准的两幅医学图像定义为浮动图像A 和参考图像B ，它们是关于图像灰度的两个随机变量集。设它们的边缘概率分布分别为()PA a 、()PB b ，联合概率分布(,)PAB a b ，则它们的互信息(,)MI A B 为：
, (2.4)
当两幅图像的空间位置达到一致时，其中一幅图像表达另一幅图像的信息，即其互信息应为最大。继互信息测度提出后，学者们对基于Shannon 熵的方法做了进一步的研究，相继提出了比互信息更为稳定的，其它一些形式的熵测度，称为归一化的互信息，例如Studholme 提出了归一化互信息测度(nrimalized mutual information, NMI ):
, （2.5）
(3) 基于小波的图像配准方法
近年来图像配准的重要发展之一是采用小波变换进行图像局部特征提取，该方法的关键技术是二维离散小波分解。设在,x y 平面的二维图像(,)f xi yi ,