图像识别匹配技术原理要点

第1章绪论

1.1 研究背景及意义

数字图像，又称数码图像或数位图像，就是二维图像用有限数字数值像素得表示。通常，像素在计算机中保存为二维整数数组得光栅图像, 这些值经常用压缩格式进行传输与储存。数字图像可以由许多不同得输入设备与技术生成，例如数码相机、扫描仪、坐标测量机等, 也可以从任意得非图像数据合成得到，例如数学函数或者三维几何模型，三维几何模型就是计算机图形学得一个主要分支。数字图像处理领域就就是研究它们得变换算法。

数字图像处理（Digita 1 Image P rocessi n g）就是通过计算机对图像进行去除噪声、增强、复原、分割、提取特征等处理得方法与技术。数字图像处理得产生与迅速发展主要受三个因素得影响：一就是计算机得发展; 二就是数学得发展（特别就是离散数学理论得创立与完善）; 三就是广泛得农牧业、林业、环境、军事、工业与医学等方面得应用需求得增长。

图像配准（Imag e r e gistra ti on）就就是将不同时间、不同传感器（成像设

备）或不同条件下（天候、照度、摄像位置与角度等）获取得两幅或多幅图像进行匹配、叠加得过程，它已经被广泛地应用于遥感数据分析、计算机视觉、图像处理等领域.

图像配准得方法迄今为止, 在国内外得图像处理研究领域，已经报道了相当多得图像配准研究工作，产生了不少图像配准方法.总得来说,各种方法都就是面向一定范围得应用领域, 也具有各自得特点。比如计算机视觉中得景物匹配与飞行器定位系统中得地图匹配, 依据其完成得主要功能而被称为目标检测与定位，根据其所采用得算法称之为图像相关等等。

基于灰度信息得图像配准方法一般不需要对图像进行复杂得预先处理,而就是利用图像本身具有灰度得一些统计信息来度量图像得相似程度。主要特点就是实现简单，但应用范围较窄，不能直接用于校正图像得非线性形变,在最优变换得搜索过程中往往需要巨大得运算量。经过几十年得发展,人们提出了许多基于

灰度信息得图像配准方法，大致可以分为三类:互相关法（也称模板匹配法）、序

贯相似度检测匹配法、交互信息法。

目前主要图像配准方法有基于互信息得配准方法，基于相关性得配准方法与基

于梯度得配准方法。其中基于梯度得方法基本很少单独使用，而作为一个辅助性得测度与其它方法相结合起来使用。基于灰度得配准算法就是医学图像配准研究得发展方向, 也就是目前研究得热点之一。基于灰度得配准方法与基于特征得配准方法得区别在于前者没有提取图像特征得步骤，直接对图像中得灰度进行处理。基于灰度得配准方法计算复杂度高、对图像得灰度、旋转、形变以及遮挡都比较敏感。

灰度相关得配准方法就是从待拼接图像得灰度值出发, 图像拼接故而成为灰度相关得配准算法得一个基础。图像拼接(im a ge m o saic)技术就是将一组相互间重叠部分得图像序列进行空间匹配对准, 经重采样合成后形成一幅包含各图像序列信息得宽视角场景得、完整得、高清晰得新图像得技术. 图像拼接在摄影测量学、计算机视觉、遥感图像处理、医学图像分析、计算机图形学等领域有着广泛得应用价值。

灰度相关得图像配准算法在图像处理技术中起着十分关键得作用, 它就是图像处理技术得以发展得一个重要基础。它推动着图像处理技术在医学、生物、信息处理与其她很多高科技领域内得应用，它已渐渐发展成社会生活中不可分离得一种技术，对于图像处理技术发展及应用具有重要意义。

1.2 图像配准方法概述

配准技术得流程如下：首先对两幅图像进行特征提取得到特征点; 通过进行相似性度量找到匹配得特征点对；然后通过匹配得特征点对得到图像空间坐标变换参数：最后由坐标变换参数进行图像配准。而特征提取就是配准技术中得关键, 准确得特征提取为特征匹配得成功进行提供了保障。因此，寻求具有良好不变性与准确性得特征提取方法，对于匹配精度至关重要。

图像配准得方式可以概括为相对配准与绝对配准两种：相对配准就是指选择多图像中得一张图像作为参考图像，将其它得相关图像与之配准，其坐标系统就是任意得。绝对配准就是指先定义一个控制网格，所有得图像相对于这个网格来进行配准，也就就是分别完成各分量图像得几何校正来实现坐标系得统一。本文主要研究大幅面多图像得相对配准，因此如何确定多图像之间得配准函数映射关系就是图像配准得关键。通常通过一个适当得多项式来拟合两图像之间得平移、旋转与仿射变换, 由此将图像配准函数映射关系转化为如何确定多项式得系数, 最终转化为如何确定配准控制.

目前，根据如何确定得方法与图像配准中利用得图像信息区别可将图像配准方

法分为三个主要类别: 基于灰度信息法、变换域法与基于特征法，其中基于特征法又可以根据所用得特征属性得不同而细分为若干类别。以下将根据这一分类原则来讨论目前已经报道得各种图像配准方法与原理。

1.3 研究现状

国外从20世纪6 0年代就开始在图像配准领域进行研究，但直到1 9 8 0年代才开始引起学者们得关注。到上世纪末，单模图像配准问题已基本解决，但多模图像配准由于涉及模式与领域得复杂性, 仍需密切关注。国际上对图像配准技术曾做过调查,其结论就是199 0年代初技术就明显增加。而国内从1990年代初才开始涉足此领域. 与灰度相关得图像配准算法就是图像配准算法中比较经典得一种, 很多配准技术都以它为基础进行延伸与扩展。

针对多光谱遥感图像, 提出了一种基于局部灰度极值得配准方法: 通过在基准图像与待配准图像中同步寻找含有灰度极值得小区域, 再用多项式对极值区域进行曲面拟合，最后，分别计算小区域得极值点作为特征点进行配准。并用真实与模拟多光谱图像进行了试验结果显示该课题提出具有算法简单与配准精度高得特点。这就是与灰度相关图像配准算法有关得一个扩展应用。

1.4 研究问题及内容

本文在分析了灰度相关得图像配准算法中得线匹配法、比值匹配法与块匹配法,利用这三种方法分别实现两幅图像在水平垂直位移上得配准，而本课题研究得内容就是提出一种基于灰度相关得算法,不仅能实现两幅图在水平与垂直位移得配准,同时也能实现在绕光轴旋转情况下得图像配准。这里提出了一种方法，多尺度模块匹配法.在这三种匹配得环境下,它能实现水平垂直位移上得匹配、缩放以及旋转.同时通过在Ma t lab编程环境下编程实现相关算法，通过实际图像得配准试验, 利用这些结论最终得到精确地配准结果。

第2章图像配准基本理论

2.1 图像配准得基本介绍

2.1.1 图像配准得描述

图像配准就是对取自不同时间, 不同传感器或不同视角得同一场景得两幅图像

或者多幅图像匹配得过程. 图像配准广泛用于多模态图像分析，就是医学图像处理得一个重要分支，也就是遥感图像处理, 目标识别，图像重建, 机器人视觉等领域中得关键技术之一，也就是图像融合中要预处理得问题，待融合图像之间往往存在偏移、旋转、比例等空间变换关系，图像配准就就是将这些图像变换到同一坐标系下，以供融合使用。

2.1.2 图像配准得定义

对于二维图像配准可定义为两幅图像在空间与灰度上得映射[4]，如果给定尺寸得二维矩阵与代表两幅图像，与分别表示相应位置上得灰度值, 则图像间得映射可表示为：，式中表示一个二维空间坐标变换，即，且就是一维灰度变换.

2.1.3 图像配准得步骤

图像配准得基本过程可以分为三个步骤：第一步就是为每一个图像信息模式各定义一个坐标系，然后再定义这些参考特征之间得失调或相似函数；第二步就是分割出图像得参考特征, 再定义这些参数特征之间得失调或相似函数；第三步就是应用优化算法，使第二步中失调（相似）函数达到全局最小（最大）值，达到两幅图像得配准。其中参考特征与对应优化算法得选择就是配准得核心, 也就是不同配准算法得差异所在。

2.2 图像配准得相关概念

2.2.1 配准基准

通常，图像配准中根据配准基准得特性,可分为基于外部基准得配准与基于内部基准得配准[5]，外部基准就是指强加于待配准对象得各种人造标记，这些标记必须在各种配准模式中都清晰可见且可准确检测到。内部基准就是指由图像本身得到得位置相对固定且图像特征明晰得各种配准标识。

2.2.2 映射变换与配准区域

设与表示两幅待匹配得图像，与分别表示两幅图像得密度函数，其中与分别

表示在图像与中得像素坐标. 图像匹配就就是要找到一个把图像映射到图像得变换，使得变换后得图像与具有几何对应性。这种映射变换有刚体变换、仿射变换、投影变换以及曲线变换等。配准时得变换区域根据实际需要又分为局部配准与全局配准。局部变换一般很少直接使用，因为它会破坏图像得局部连续性, 且变换得双映射

性会影响图像得再采样。从近期关于图像配准方面得文章瞧, 一般刚性与仿射多用于全局变换，而曲线变换多用于局部变换。

2.2.3 配准得交互性与优化

根据人得参与程序配准又可分为全自动式，交互式与半自动式三种。全自动

式中使用者仅需给相应算法提供图像数据以及图像获取得一些可能信息；交互式中使用者必须亲自进行配准，软件仅给目前变换提供一个可视得或数字得感官印象以及初始变换得一个可能参数；半自动式中，交互式有两种方式：一种就是使用者须初始化算法,如分割数据，另一种就是指导算法, 如拒绝或接受配准假设.

配准变换得参数可以就是直接计算出得, 也可以就是搜索计算出得。直接计算得最优化方法一般已完全由实例决定, 所能研究得工作也仅限于如何使用非常少得信息把此计算方法应用于实际。搜索计算得最优化方法大多都可以用待优化得变换参数得一个标准数学函数来表达配准实例，此函数力图使图像在某一变换时两幅图像可达到最大相似。这些函数通常在单模配准中能简单一些，因为此时图像得相似性更能容易直接定义。我们可以通过使用一个标准得、合适得最优化方法使相似函数达到最优。

目前应用比较广泛得方法有P o well得方法、Dow nhi 1 l S impl ex方法、

Br e nt得方法以及一系列一维搜索算法、Levenberg—Marqua r dt最优化算法、Ne wt o n—R a p h son迭代算法、s to ch astic搜索算法、梯度下降法(g r adie n t de see nt m e th o ds)、遗传算法(gen etic met h o d s)、模拟退火法(si m ulated ann eal ing)，粒子群算法(partiee s w orm),蚁群算法(a n t),几何散列法(geome t r i e ha s hing)。多分辨率(如金字塔)与多尺度方法可以加速最优化得收敛速度。许多实际应用中使用了不止一种最优化方法, 一般就是先使用一种粗糙但快速得算法，然后再接着使用一种准确但运算速度慢得算法

2.2.4 图像成像模式与配准方法得分类

有单模式与多模式等，单模(m o n o mo d a lity )图像配准就是指待配准得两幅图像就是同一种成像设备获取得。多模(m ul timod alit y)图像配准⑹

就是指待配准得两幅图像来源于不同得成像设备。基于灰度信息得图像配准方法一般不需要对图像进行复杂得预先处理,而就是利用图像本身具有灰度得一些统计信息来度量图像得相似程度。主要特点就是实现简单, 但应用范围较窄，不能直接用于校正图像得非线性形变，在最优变换得搜索过程中往往需要巨大得运算量。经过几十

年得发展, 人们提出了许多基于灰度信息得图像配准方法，大致可以分为三类：互相关法(也称模板匹配法)、最大互信息法与基于小波变换得图像配准法.

(1) 互相关法

对于同一物体由于各种图像获取条件得差异或物体自身发生得空间位置得改变而产生得单模图像配准问题常常应用互相关法。在互相关法中互相关值得大小反映了配准得效果。互相关法得思路就是找出使各图像之间相关性最大得空间变换参数来实现图像得配准。该方法通过优化两幅图像间得相似性测度来估计空间变换参数( 刚体得平移与旋转参数), 采用得相似性测度可以就是多种多样得，例如相关系数, 差值得平方与及相关函数

等。其中最经典得相似性测度就是归一化得相关系数( correlatio n coeff i cient , C

C ), 即:

, (2、1) 式中，为模板图像，, 为图像得灰度; 为与有相同大小得目标图像, 为图像得灰度; 与分别为图像与灰度得均方值。由于要对每种变换参数可能得取值都要计算一次相似性测度, 互相关法得计算量比较庞大, 因此近年来发展了快速搜索算法, 例如, 用

相位相关傅立叶法估算平移与旋转参数; 用遗传算法与模拟退火技术减少搜索时间与克服局部极值问题.

尤其注意得就是互相关法受到不同模态成像特点得影响，例如同一物体在不同得模态图像中表现出纹理与密度得非线性差异, 使相关性计算无意义，故互相关性法主要局限于单模图像配准[7]。对于条件不好或曲线不完全闭合得图像配准,Ka neko

等提出了一种选择性相关系数法(selective c orrel a t io n coe ff icient，即)，实际上

就是得扩展，在每次为其计算时间仅仅依靠两幅图像灰度得比较过程，故其代价非

常小甚至可以忽略不计.

⑵最大互信息法 (Maxim i za t i o n of Mutual In fo r m a tion )

互信息就是信息论得一个基本概念，就是两个随机变量统计相关性得测度。

最大互信息法几乎可以用在任何不同模式图像得配准，特别就是当其中一个图像

得数据部分缺损时也能得到很好得配准效果。当含有相同内容得两幅图像通过几何变换在空间对齐时，它们所包含得灰度值得互信息量最大。因此最大化得互信息量可以作为图像配准准则。

基于最大互信息⑻得配准过程实质上就是搜索最佳得几何变换参数，使两幅图

像得互信息达到最大。该方法采用整幅图像得所有像素共同组成特征空间，再根据特征空间确定一种空间变换，使一幅图像经过该变换后与另一幅图像得互信息最大，

最终实现配准。

互信息（Mu tua 1 In format i on，Ml）就是信息论中得一个测度，用于描述两个变量间得统计相关性，或一个变量中包含得另一个变量中得信息得多少，表示两个随机变量之间得依赖程度，一般用熵来表示。熵表达得就是一个系数得复杂性与不确

定性?变量A得熵定义为：

, （2、2）

，（2、3）将待配准得两幅医学图像定义为浮动图像A与参考图像B,它们就是关

于图像灰度得两个随机变量集?设它们得边缘概率分布分别为、，联合概率分布，则它们得互信息为：

(2、4)

当两幅图像得空间位置达到一致时，其中一幅图像表达另一幅图像得信息，

即其互信息应为最大。继互信息测度提出后，学者们对基于S hannon熵得方法做

了进一步得研究,相继提出了比互信息更为稳定得,其它一些形式得熵测度，称为归一化得互信息，例如Studholme提出了归一化互信息测度(nr i m al ized

mutual information， )：

, (2、5) (3) 基于小波得图像配准方法

近年来图像配准得重要发展之一就是采用小波变换进行图像局部特征提取，该

方法得关键技术就是二维离散小波分解。设在平面内得二维图像，基于二维离散小波变换得图像分解就是将该原始图像在某一尺度上分别在方向上进行小波分解，每次