图像拼接原理及方法
第一章绪论
1.1图像拼接技术的研究背景及研究意义
图像拼接(image mosaic)是一个日益流行的研究领域，他已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决的问题一般式，通过对齐一系
列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。
早期的图像拼接研究一直用于照相绘图学，主要是对大量航拍或卫星的图像的整合。近年来随着图像拼接技术的研究和发展，它使基于图像的绘制( IBR )成为结合两个互补领域
――计算机视觉和计算机图形学的坚决焦点，在计算机视觉领域中，图像拼接成为对可视化
场景描述(Visual Seene Representaions)的主要研究方法：在计算机形学中，现实世界的图像过去一直用于环境贴图，即合成静态的背景和增加合成物体真实感的贴图，图像拼接可以
使IBR从一系列真是图像中快速绘制具有真实感的新视图。
在军事领域网的夜视成像技术中，无论夜视微光还是红外成像设备都会由于摄像器材的限制而无法拍摄视野宽阔的图片，更不用说360度的环形图片了。但是在实际应用中，很
多时候需要将360度所拍摄的很多张图片合成一张图片，从而可以使观察者可以观察到周围的全部情况。使用图像拼接技术，在根据拍摄设备和周围景物的情况进行分析后，就可以将通过转动的拍摄器材拍摄的涵盖周围360度景物的多幅图像进行拼接，从而实时地得到
超大视角甚至是360度角的全景图像。这在红外预警中起到了很大的作用。
微小型履带式移动机器人项目中，单目视觉不能满足机器人的视觉导航需要，并且单目
视觉机器人的视野范围明显小于双目视觉机器人的视野。利用图像拼接技术，拼接机器人双
目采集的图像，可以增大机器人的视野，给机器人的视觉导航提供方便。在虚拟现实领域中，人们可以利用图像拼接技术来得到宽视角的图像或360度全景图像，用来虚拟实际场景。
这种基于全景图的虚拟现实系统，通过全景图的深度信息抽取，恢复场景的三维信息，进而建立三维模型。这个系统允许用户在虚拟环境中的一点作水平环视以及一定范围内的俯视和仰视，同时允许在环视的过程中动态地改变焦距。这样的全景图像相当于人站在原地环顾四
周时看到的情形。在医学图像处理方面，显微镜或超声波的视野较小，医师无法通过一幅图
像进行诊视，同时对于大目标图像的数据测量也需要把不完整的图像拼接为一个整体。所以把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键环节圆。在遥感技术领域中，利用图像拼接技术中的图像配准技术可以对来自同一区域的两幅或多幅图像进行比较，也可以利用图像拼接技术将遥感卫星拍摄到的有失真地面图像拼接成比较准确的完整图像，作为进一步研究的依据。
从以上方面可以看出，图像拼接技术的应用前景十分广阔，深入研究图像拼接技术有着很重
要的意义
1.2图像拼接算法的分类
图像拼接作为这些年来图像研究方面的重点之一，国内外研究人员也提出了很多拼接算
法。图像拼接的质量，主要依赖图像的配准程度，因此图像的配准是拼接算法的核心和关键。根据图像匹配方法的不同仁阔，一般可以将图像拼接算法分为以下两个类型：
(1) 基于区域相关的拼接算法。
这是最为传统和最普遍的算法。基于区域的配准方法是从待拼接图像的灰度值出发，对
待配准图像中一块区域与参考图像中的相同尺寸的区域使用最小二乘法或者其它数学方法
计算其灰度值的差异，对此差异比较后来判断待拼接图像重叠区域的相似程度，由此得到待
拼接图像重叠区域的范围和位置，从而实现图像拼接。也可以通过FFT变换将图像由时域
变换到频域，然后再进行配准。对位移量比较大的图像，可以先校正图像的旋转，然后建立两幅图像之间的映射关系。
当以两块区域像素点灰度值的差别作为判别标准时，最简单的一种方法是直接把各点灰度的
差值累计起来。这种办法效果不是很好，常常由于亮度、对比度的变化及其它原因导致拼接失败。另一种方法是计算两块区域的对应像素点灰度值的相关系数，相关系数越大，则两块
图像的匹配程度越高。该方法的拼接效果要好一些，成功率有所提高。
(2) 基于特征相关的拼接算法。
基于特征的配准方法不是直接利用图像的像素值，而是通过像素导出图像的特征，然后
以图像特征为标准，对图像重叠部分的对应特征区域进行搜索匹配，该类拼接算法有比较高
的健壮性和鲁棒性。
基于特征的配准方法有两个过程：特征抽取和特征配准。首先从两幅图像中提取灰度变化明
显的点、线、区域等特征形成特征集冈。然后在两幅图像对应的特征集中利用特征匹配算法
尽可能地将存在对应关系的特征对选择出来。一系列的图像分割技术都被用到特征的抽取和
边界检测上。如ca nny算子、拉普拉斯高斯算子、区域生长。抽取出来的空间特征有闭合的边界、开边界、交叉线以及其他特征。特征匹配的算法有：交叉相关、距离变换、动态编程、结构匹配、链码相关等算法。
1.3本文的主要工作和组织结构
本文的主要工作：
(1) 总结了前人在图像拼接方面的技术发展历程和研究成果。
(2) 学习和研究了前人的图像配准算法。
(3) 学习和研究了常用的图像融合算法。
(4) 用matlab实现本文中的图像拼接算法
⑸总结了图像拼接中还存在的问题，对图像拼接的发展方向和应用前景进行展望。
本文的组织结构：
第一章主要对图像拼接技术作了整体的概述，介绍了图像拼接的研究背景和应用前景，
以及图像拼接技术的大致过程、图像拼接算法的分类和其技术难点。第二章主要介绍讨论了图像预处理中的两个步骤，即图像的几何校正和噪声点的抑制。第三章主要介绍讨论了图像配准的多种算法。第四章主要介绍讨论了图像融合的一些算法。第五章主要介绍图像拼接软件实现本文的算法。第六章主要对图像拼接中还存在的问题进行总结，以及对图像拼接的发
展进行展望。
1.4本章小结
本章主要对图像拼接技术作了整体的概述，介绍了图像拼接的研究背景和应用前景，以图像拼接算法的分类和其技术难点，并且对全文研究内容进行了总体介绍。
第二章图像拼接的基础理论及图像预处理
2.1图像拼接
图像拼接技术主要有三个主要步骤：图像预处理、图像配准、图像融合与边界平滑,
图像拼接技术主要分为三个主要步骤：图像预处理、图像配准、图像融合与边界平滑，图
像预处理主要指对图像进行几何畸变校正和噪声点的抑制等，让参考图像和待拼接图像不存
在明显的几何畸变。在图像质量不理想的情况下进行图像拼接，如果不经过图像预处理，很
容易造成一些误匹配。图像预处理主要是为下一步图像配准做准备，让图像质量能够满足图
像配准的要求。图像配准主要指对参考图像和待拼接图像中的匹配信息进行提取，在提取出
的信息中寻找最佳的匹配，完成图像间的对齐。图像拼接的成功与否主要是图像的配准。待拼接的图像之间，可能存在平移、旋转、缩放等多种变换或者大面积的同色区域等很难匹配的情况，一个好的图像配准算法应该能够在各种情况下准确找到图像间的对应信息，将图像
对齐。图像融合指在完成图像匹配以后，对图像进行缝合，并对缝合的边界进行平滑处理，让缝合自然过渡。由于任何两幅相邻图像在采集条件上都不可能做到完全相同，因此，对于一些本应该相同的图像特性，如图像的光照特性等，在两幅图像中就不会表现的完全一样。图像拼接缝隙就是从一幅图像的图像区域过渡到另一幅图像的图像区域时，由于图像中的某
些相关特性发生了跃变而产生的。图像融合就是为了让图像间的拼接缝隙不明显，拼接更自
然
22图像的获取方式
图像拼接技术原理是根据图像重叠部分将多张衔接的图像拼合成一张高分辨率全景
图。这些有重叠部分的图像一般由两种方法获得：一种是固定照相机的转轴，然后绕轴旋转所拍摄的照片；另一种是固定照相机的光心，水平摇动镜头所拍摄的照片。其中，前者主要用于远景或遥感图像的获取，后者主要用于显微图像的获取，它们共同的特点就是获得有
重叠的二维图像。
2.3图像的预处理
2.3.1图像的校正
当照相系统的镜头或者照相装置没有正对着待拍摄的景物时候，那么拍摄到的景物图像
就会产生一定的变形。这是几何畸变最常见的情况。另外，由于光学成像系统或电子扫描系统的限制而产生的枕形或桶形失真，也是几何畸变的典型情况。几何畸变会给图像拼接造成
很大的问题，原本在两幅图像中相同的物体会因为畸变而变得不匹配，这会给图像的配准带
来很大的问题。因此，解决几何畸变的问题显得很重要。
图象校正的基本思路是，根据图像失真原因，建立相应的数学模型，从被污染或畸变的图象信号中提取所需要的信息，沿着使图象失真的逆过程恢复图象本来面貌。实际的复原过
程是设计一个滤波器，使其能从失真图象中计算得到真实图象的估值，使其根据预先规定的
误差准则，最大程度地接近真实图象。
232图像噪声的抑制
图像噪声可以理解为妨碍人的视觉感知，或妨碍系统传感器对所接受图像源信息进行理
解或分析的各种因素，也可以理解成真实信号与理想信号之间存在的偏差。一般来说，噪声
是不可预测的随机信号，通常采用概率统计的方法对其进行分析。噪声对图像处理十分重要，
它影响图像处理的各个环节，特别在图像的输入、采集中的噪声抑制是十分关键的问题。若输入伴有较大的噪声，必然影响图像拼接的全过程及输出的结果。根据噪声的来源，大致可
以分为外部噪声和内部噪声；从统计数学的观点来定义噪声，可以分为平稳噪声和非平稳噪
声。各种类型的噪声反映在图像画面上，大致可以分为两种类型。一是噪声的幅值基本相同，
但是噪声出现的位置是随机的，一般称这类噪声为椒盐噪声。另一种是每一点都存在噪声，但噪声的幅值是随机分布的，从噪声幅值大小的分布统计来看，其密度函数有高斯型、瑞利
型，分别成为高斯噪声和瑞利噪声，又如频谱均匀分布的噪声称为白噪声等。
1?均值滤波
所谓均值滤波实际上就是用均值替代原图像中的各个像素值。均值滤波的方法是，对将处
理的当前像素，选择一个模板，该模板为其邻近的若干像素组成，用模板中像素的均值来替
代原像素的值。如图2.4所示，序号为0是当前像素，序号为1至8是邻近像素。求模板中所有像素的均值，再把该均值赋予当前像素点((x, y)，作为处理后图像在该点上的灰度g(x,y)，即
丄2V区刃
g(x,y)二必w (2-2-2-1)
图2.2.2.1模板示意图
2?中值滤波
中值滤波是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术。它的核心
算法是将模板中的数据进行排序，这样，如果一个亮点(暗点)的噪声，就会在排序过程中被排在数据序列的最右侧或者最左侧，因此，最终选择的数据序列中间位置上的值一般不是
噪声点值，由此便可以达到抑制噪声的目的。
取某种结构的二维滑动模板，将模板内像素按照像素值的大小进行排序，生成单调上升(或
下降)的二维数据序列。二维德中值滤波输出为
(2-2-2-2 )
其中，f(x,y) , g (x,y)分别为原图像和处理后的图像，w二维模板，k ,1为模板的长宽，Med为
取中间值操作，模板通常为 3 3、55区域，也可以有不同形状，如线状、圆形、十字形、
圆环形。
2.4本章小结
本章主要介绍了图像几何畸变校正和图像噪声抑制两种图像预处理
第三章图像配准算法
3.1图像配准的概念
图像配准简而言之就是图像之间的对齐。图像配准定义为：对从不同传感器或不同时间或
不同角度所获得的两幅或多幅图像进行最佳匹配的处理过程。为了更清楚图像配准的任务，我们将图像配准问题用更精确的数学语言描述出来。配准可以用描述为如下的问题：
给定同一景物的从不同的视角或在不同的时间获取的两个图像I ,1和两个图像间的相似度
量S(I ,I ),找出I ,I中的同名点，确定图像间的最优变换T,使得S(T(I ),I )达到最大值。
图像配准总是相对于多幅图像来讲的，在实际工作中，通常取其中的一幅图像作为配准的
基准,称它为参考图，另一幅图像，为搜索图。图像配准的一般做法是，首先在参考图上选取以某一目标点为中心的图像子块，并称它为图像配准的模板，然后让模板在搜索图上有秩序地
移动，每移到一个位置，把模板与搜索图中的对应部分进行相关比较，直到找到配准位置为止。
如果在模板的范围内，同一目标的两幅图像完全相同，那么完成图像配准并不困难。然而, 实际上图像配准中所遇到的同一目标的两幅图像常常是在不同条件下获得的，如不同的成像
时间、不同的成像位置、甚至不同的成像系统等，再加上成像中各种噪声的影响，使同一目标的两幅图像不可能完全相同，只能做到某种程度的相似，因此图像配准是一个相当复杂的技术过程。
3.2基于区域的配准
3.2.1逐一比较法
设搜索图为s待配准模板为T,如图3.1所示，S大小为M N , T大小为U V,如图所示。
全景拼接算法简介
全景拼接算法简介 罗海风 2014.12.11 目录 1.概述 (1) 2.主要步骤 (2) 2.1. 图像获取 (2) 2.2鱼眼图像矫正 (2) 2.3图片匹配 (2) 2.4 图片拼接 (2) 2.5 图像融合 (2) 2.6全景图像投射 (2) 3.算法技术点介绍 (3) 3.1图像获取 (3) 3.2鱼眼图像矫正 (4) 3.3图片匹配 (4) 3.3.1与特征无关的匹配方式 (4) 3.3.2根据特征进行匹配的方式 (5) 3.4图片拼接 (5) 3.5图像融合 (6) 3.5.1 平均叠加法 (6) 3.5.2 线性法 (7) 3.5.3 加权函数法 (7) 3.5.4 多段融合法（多分辨率样条） (7) 3.6全景图像投射 (7) 3.6.1 柱面全景图 (7) 3.6.2 球面全景图 (7) 3.6.3 多面体全景图 (8) 4.开源图像算法库OPENCV拼接模块 (8) 4.1 STITCHING_DETAIL程序运行流程 (8) 4.2 STITCHING_DETAIL程序接口介绍 (9) 4.3测试效果 (10) 5.小结 (10) 参考资料 (10) 1.概述 全景视图是指在一个固定的观察点，能够提供水平方向上方位角360度，垂直方向上180度的自由浏览（简化的全景只能提供水平方向360度的浏览）。 目前市场中的全景摄像机主要分为两种：鱼眼全景摄像机和多镜头全景摄像机。鱼眼全景摄像机是由单传感器配套特殊的超广角鱼眼镜头，并依赖图像校正技术还原图像的鱼眼全景摄像机。鱼眼全景摄像机
最终生成的全景图像即使经过校正也依然存在一定程度的失真和不自然。多镜头全景摄像机可以避免鱼眼镜头图像失真的缺点，但是或多或少也会存在融合边缘效果不真实、角度有偏差或分割融合后有"附加"感的缺撼。 本文档中根据目前所查找到的资料，对多镜头全景视图拼接算法原理进行简要的介绍。 2.主要步骤 2.1. 图像获取 通过相机取得图像。通常需要根据失真较大的鱼眼镜头和失真较小的窄视角镜头决定算法处理方式。单镜头和多镜头相机在算法处理上也会有一定差别。 2.2鱼眼图像矫正 若相机镜头为鱼眼镜头，则图像需要进行特定的畸变展开处理。 2.3图片匹配 根据素材图片中相互重叠的部分估算图片间匹配关系。主要匹配方式分两种： A．与特征无关的匹配方式。最常见的即为相关性匹配。 B．根据特征进行匹配的方式。最常见的即为根据SIFT，SURF等素材图片中局部特征点，匹配相邻图片中的特征点，估算图像间投影变换矩阵。 2.4 图片拼接 根据步骤2.3所得图片相互关系，将相邻图片拼接至一起。 2.5 图像融合 对拼接得到的全景图进行融合处理。 2.6 全景图像投射 将合成后的全景图投射至球面、柱面或立方体上并建立合适的视点，实现全方位的视图浏览。
图像记忆的原理和方法[图像拼接原理及方法]
图像记忆的原理和方法[图像拼接原理及方法] 第一章绪论 1.1 图像拼接技术的研究背景及研究意义 图像拼接(image mosaic)是一个日益流行的研究领域，他已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决的问题一般式，通过对齐一系列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。 早期的图像拼接研究一直用于照相绘图学，主要是对大量航拍或卫星的图像的整合。近年来随着图像拼接技术的研究和发展，它使基于图像的绘制（IBR ）成为结合两个互补领域——计算机视觉和计算机图形学的坚决焦点，在计算机视觉领域中，图像拼接成为对可视化场景描述（Visual Scene Representaions）的主要研究方法：在计算机形学中，现实世界的图像过去一直用于环境贴图，即合成静态的背景和增加合成物体真实感的贴图，图像拼接可以使IBR 从一系列真是图像中快速绘制具有真实感的新视图。 在军事领域网的夜视成像技术中，无论夜视微光还是红外成像设备都会由于摄像器材的限制而无法拍摄视野宽阔的图片，更不用说
360 度的环形图片了。但是在实际应用中，很多时候需要将360 度所拍摄的很多张图片合成一张图片，从而可以使观察者可以观察到周围的全部情况。使用图像拼接技术，在根据拍摄设备和周围景物的情况进行分析后，就可以将通过转动的拍摄器材拍摄的涵盖周围360 度景物的多幅图像进行拼接，从而实时地得到超大视角甚至是360 度角的全景图像。这在红外预警中起到了很大的作用。 微小型履带式移动机器人项目中，单目视觉不能满足机器人的视觉导航需要，并且单目视觉机器人的视野范围明显小于双目视觉机器人的视野。利用图像拼接技术，拼接机器人双目采集的图像，可以增大机器人的视野，给机器人的视觉导航提供方便。在虚拟现实领域中，人们可以利用图像拼接技术来得到宽视角的图像或360 度全景图像，用来虚拟实际场景。这种基于全景图的虚拟现实系统，通过全景图的深度信息抽取，恢复场景的三维信息，进而建立三维模型。这个系统允许用户在虚拟环境中的一点作水平环视以及一定范围内的俯视和 仰视，同时允许在环视的过程中动态地改变焦距。这样的全景图像相当于人站在原地环顾四周时看到的情形。在医学图像处理方面，显微镜或超声波的视野较小，医师无法通过一幅图像进行诊视，同时对于大目标图像的数据测量也需要把不完整的图像拼接为一个整体。所以把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键 环节圆。在遥感技术领域中，利用图像拼接技术中的图像配准技术可以对同一区域的两幅或多幅图像进行比较，也可以利用图像拼接技术
图像拼接原理及方法
第一章绪论 1.1图像拼接技术的研究背景及研究意义 图像拼接(image mosaic)是一个日益流行的研究领域，他已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决的问题一般式，通过对齐一系 列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。 早期的图像拼接研究一直用于照相绘图学，主要是对大量航拍或卫星的图像的整合。近年来随着图像拼接技术的研究和发展，它使基于图像的绘制( IBR )成为结合两个互补领域 ――计算机视觉和计算机图形学的坚决焦点，在计算机视觉领域中，图像拼接成为对可视化 场景描述(Visual Seene Representaions)的主要研究方法：在计算机形学中，现实世界的图像过去一直用于环境贴图，即合成静态的背景和增加合成物体真实感的贴图，图像拼接可以 使IBR从一系列真是图像中快速绘制具有真实感的新视图。 在军事领域网的夜视成像技术中，无论夜视微光还是红外成像设备都会由于摄像器材的限制而无法拍摄视野宽阔的图片，更不用说360度的环形图片了。但是在实际应用中，很 多时候需要将360度所拍摄的很多张图片合成一张图片，从而可以使观察者可以观察到周围的全部情况。使用图像拼接技术，在根据拍摄设备和周围景物的情况进行分析后，就可以将通过转动的拍摄器材拍摄的涵盖周围360度景物的多幅图像进行拼接，从而实时地得到 超大视角甚至是360度角的全景图像。这在红外预警中起到了很大的作用。 微小型履带式移动机器人项目中，单目视觉不能满足机器人的视觉导航需要，并且单目 视觉机器人的视野范围明显小于双目视觉机器人的视野。利用图像拼接技术，拼接机器人双 目采集的图像，可以增大机器人的视野，给机器人的视觉导航提供方便。在虚拟现实领域中，人们可以利用图像拼接技术来得到宽视角的图像或360度全景图像，用来虚拟实际场景。 这种基于全景图的虚拟现实系统，通过全景图的深度信息抽取，恢复场景的三维信息，进而建立三维模型。这个系统允许用户在虚拟环境中的一点作水平环视以及一定范围内的俯视和仰视，同时允许在环视的过程中动态地改变焦距。这样的全景图像相当于人站在原地环顾四 周时看到的情形。在医学图像处理方面，显微镜或超声波的视野较小，医师无法通过一幅图 像进行诊视，同时对于大目标图像的数据测量也需要把不完整的图像拼接为一个整体。所以把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键环节圆。在遥感技术领域中，利用图像拼接技术中的图像配准技术可以对来自同一区域的两幅或多幅图像进行比较，也可以利用图像拼接技术将遥感卫星拍摄到的有失真地面图像拼接成比较准确的完整图像，作为进一步研究的依据。 从以上方面可以看出，图像拼接技术的应用前景十分广阔，深入研究图像拼接技术有着很重 要的意义 1.2图像拼接算法的分类 图像拼接作为这些年来图像研究方面的重点之一，国内外研究人员也提出了很多拼接算 法。图像拼接的质量，主要依赖图像的配准程度，因此图像的配准是拼接算法的核心和关键。根据图像匹配方法的不同仁阔，一般可以将图像拼接算法分为以下两个类型： (1) 基于区域相关的拼接算法。 这是最为传统和最普遍的算法。基于区域的配准方法是从待拼接图像的灰度值出发，对 待配准图像中一块区域与参考图像中的相同尺寸的区域使用最小二乘法或者其它数学方法 计算其灰度值的差异，对此差异比较后来判断待拼接图像重叠区域的相似程度，由此得到待
图像拼接原理及方法
第一章绪论 1.1 图像拼接技术的研究背景及研究意义 图像拼接(image mosaic)是一个日益流行的研究领域，他已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决的问题一般式，通过对齐一系列空间重叠的图像，构成一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野。 早期的图像拼接研究一直用于照相绘图学，主要是对大量航拍或卫星的图像的整合。近年来随着图像拼接技术的研究和发展，它使基于图像的绘制（IBR）成为结合两个互补领域——计算机视觉和计算机图形学的坚决焦点，在计算机视觉领域中，图像拼接成为对可视化场景描述（Visual Scene Representaions）的主要研究方法：在计算机形学中，现实世界的图像过去一直用于环境贴图，即合成静态的背景和增加合成物体真实感的贴图，图像拼接可以使IBR从一系列真是图像中快速绘制具有真实感的新视图。 在军事领域网的夜视成像技术中，无论夜视微光还是红外成像设备都会由于摄像器材的限制而无法拍摄视野宽阔的图片，更不用说360 度的环形图片了。但是在实际应用中，很多时候需要将360 度所拍摄的很多张图片合成一张图片，从而可以使观察者可以观察到周围的全部情况。使用图像拼接技术，在根据拍摄设备和周围景物的情况进行分析后，就可以将通过转动的拍摄器材拍摄的涵盖周围360 度景物的多幅图像进行拼接，从而实时地得到超大视角甚至是360 度角的全景图像。这在红外预警中起到了很大的作用。 微小型履带式移动机器人项目中，单目视觉不能满足机器人的视觉导航需要，并且单目视觉机器人的视野范围明显小于双目视觉机器人的视野。利用图像拼接技术，拼接机器人双目采集的图像，可以增大机器人的视野，给机器人的视觉导航提供方便。在虚拟现实领域中，人们可以利用图像拼接技术来得到宽视角的图像或360 度全景图像，用来虚拟实际场景。这种基于全景图的虚拟现实系统，通过全景图的深度信息抽取，恢复场景的三维信息，进而建立三维模型。这个系统允许用户在虚拟环境中的一点作水平环视以及一定范围内的俯视和仰视，同时允许在环视的过程中动态地改变焦距。这样的全景图像相当于人站在原地环顾四周时看到的情形。在医学图像处理方面，显微镜或超声波的视野较小，医师无法通过一幅图像进行诊视，同时对于大目标图像的数据测量也需要把不完整的图像拼接为一个整体。所以把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键环节圆。在遥感技术领域中，利用图像拼接技术中的图像配准技术可以对来自同一区域的两幅或多幅图像进行比较，也可以利用图像拼接技术将遥感卫星拍摄到的有失真地面图像拼接成比较准确的完整图像，作为进一步研究的依据。 从以上方面可以看出，图像拼接技术的应用前景十分广阔，深入研究图像拼接技术有着很重要的意义 1.2图像拼接算法的分类 图像拼接作为这些年来图像研究方面的重点之一，国内外研究人员也提出了很多拼接算法。图像拼接的质量，主要依赖图像的配准程度，因此图像的配准是拼接算法的核心和关键。根据图像匹配方法的不同仁阔，一般可以将图像拼接算法分为以下两个类型：（1) 基于区域相关的拼接算法。 这是最为传统和最普遍的算法。基于区域的配准方法是从待拼接图像的灰度值出发，对
360°全景拼接技术简介
本文为技术简介，详细算法可以参考后面的参考资料。 1.概述 全景图像(Panorama)通常是指大于双眼正常有效视角(大约水平90度，垂直70度)或双眼余光视角(大约水平180度，垂直90度)，在一个固定的观察点，能够提供水平方向上方位角360度，垂直方向上180度的自由浏览（简化的全景只能提供水平方向360度的浏览），乃至360度完整场景范围拍摄的照片。 生成全景图的方法，通常有三种：一是利用专用照相设备，例如全景相机，带鱼眼透镜的广角相机等。其优点是容易得到全景图像且不需要复杂的建模过程，但是由于这些专用设备价格昂贵，不宜普遍适用。二是计算机绘制方法，该方法利用计算机图形学技术建立场景模型，然后绘制虚拟环境的全景图。其优点是绘制全景图的过程不需要实时控制，而且可以绘制出复杂的场景和真实感较强的光照模型，但缺点是建模过程相当繁琐和费时。三是利用普通数码相机和固定三脚架拍摄一系列的相互重叠的照片，并利用一定的算法将这些照片拼接起来，从而生成全景图。 近年来随着图像处理技术的研究和发展，图像拼接技术已经成为计算机视觉和计算机图形学的研究焦点。目前出现的关于图像拼接的商业软件主要有Ptgui、Ulead Cool 360及ArcSoft Panorama Maker等，这些商业软件多是半自动过程，需要排列好图像顺序，或手动点取特征点。 2.全景图类型： 1)柱面全景图 柱面全景图技术较为简单，发展也较为成熟，成为大多数构建全景图虚拟场景的基础。这种方式是将全景图像投影到一个以相机视点为中心的圆柱体内表面，
视线的旋转运动即转化为柱面上的坐标平移运动。这种全景图可以实现水平方向360度连续旋转，而垂直方向的俯仰角度则由于圆柱体的限制要小于180度。柱面全景图有两个显著优点：一是圆柱面可以展开成一个矩形平面，所以可以把柱面全景图展开成一个矩形图像，而且直接利用其在计算机内的图像格式进行存取；二是数据的采集要比立方体和球体都简单。在大多数实际应用中，360度的环视环境即可较好地表达出空间信息，所以柱面全景图模型是较为理想的一种选择。 2)立方体全景图 立方体全景图由六个平面投影图像组成，即将全景图投影到一个立方体的内表面上。这种方式下图像的采集和相机的标定难度较大，需要使用特殊的拍摄装置，依次在水平、垂直方向每隔90度拍摄一张照片，获得六张可以无缝拼接于一个立方体的六个面上的照片。这种方法可以实现水平方向360度旋转、垂直方向180度俯仰的视线观察。 3)球面全景图 球面全景图是指将源图像拼接成一个球体的形状，以相机视点为球心，将图像投影到球体的内表面。与立方体全景图类似，球面全景图也可以实现水平方向360度旋转、垂直方向180度俯仰的视线观察。球面全景图的拼接过程及存储方式较柱面全景图大为复杂，这是因为生成球面全景图的过程中需要将平面图像投影成球面图像，而球面为不可展曲面。因此这是一个平面图像水平和垂直方向的非线性投影过程，同时也很难找到与球面对应且易于存取的数据结构来存放球面图像。目前国内外在这方面提出的研究算法较其他类型全景图少，而且在可靠性和效率方面也存在一些问题。 3.主要内容
图像拼接算法及实现.doc
图像拼接算法及实现（一） 来源：中国论文下载中心 [ 09-06-03 16:36:00 ] 作者：陈挺编辑：studa090420 论文关键词：图像拼接图像配准图像融合全景图 论文摘要：图像拼接(image mosaic)技术是将一组相互间重叠部分的图像序列进行空间匹配对准,经重采样合成后形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像的技术。图像拼接在摄影测量学、计算机视觉、遥感图像处理、医学图像分析、计算机图形学等领域有着广泛的应用价值。一般来说,图像拼接的过程由图像获取,图像配准,图像合成三步骤组成,其中图像配准是整个图像拼接的基础。本文研究了两种图像配准算法:基于特征和基于变换域的图像配准算法。在基于特征的配准算法的基础上,提出一种稳健的基于特征点的配准算法。首先改进Harris角点检测算法,有效提高所提取特征点的速度和精度。然后利用相似测度NCC(normalized cross correlation——归一化互相关),通过用双向最大相关系数匹配的方法提取出初始特征点对,用随机采样法RANSAC(Random Sample Consensus)剔除伪特征点对,实现特征点对的精确匹配。最后用正确的特征点匹配对实现图像的配准。本文提出的算法适应性较强,在重复性纹理、旋转角度比较大等较难自动匹配场合下仍可以准确实现图像配准。 Abstract：Image mosaic is a technology that carries on the spatial matching to a series of image which are overlapped with each other, and finally builds a seamless and high quality image which has high resolution and big eyeshot. Image mosaic has widely applications in the fields of photogrammetry, computer vision, remote sensing image processing, medical image analysis, computer graphic and so on. 。In general, the process of image mosaic by the image acquisition, image registration, image synthesis of three steps, one of image registration are the basis of the entire image mosaic. In this paper, two image registration algorithm: Based on the characteristics and transform domain-based image registration algorithm. In feature-based registration algorithm based on a robust feature-based registration algorithm points. First of all, to improve the Harris corner detection algorithm, effectively improve the extraction of feature points of the speed and accuracy. And the use of a similar measure of NCC (normalized cross correlation - Normalized cross-correlation), through the largest correlation coefficient with two-way matching to extract the feature points out the initial right, using random sampling method RANSAC (Random Sample Consensus) excluding pseudo-feature points right, feature points on the implementation of the exact match. Finally with the correct feature point matching for image registration implementation. In this paper, the algorithm adapted, in the repetitive texture, such as relatively large rotation more difficult to automatically match occasions can still achieve an accurate image registration. Key words: image mosaic, image registration, image fusion, panorama 第一章绪论
图像拼接论文
基于特征点的图像拼接算法研究指导教师： 学生姓名：学号： 专业：计算机技术 院（系）：信息工程学院 完成时间：2013年11月
摘要: 图像拼接(image mosaic)技术是将一组相互间重叠部分的图像序列进行空间匹配对准，经重采样合成后形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像的技术。图像拼接的过程由图像获取，图像配准，图像合成三步骤组成。其中图像配准是整个图像拼接的基础。本文研究了基于特征图像配准算法。 利用基于特征Harris角点检测算法提取出初始特征点对，实现实现特征点对的精确匹配。最后用加权平均对实现图像融合。实验证明该算法适应性较强，在重复性纹理、旋转角度比较大等较难自动匹配场合下仍可以准确实现图像配准。同时该算法准确率高，鲁棒性强，具有较高的使用价值。 关键词：：图像拼接图像配准特征点图像合成
Abstract: Image mosaic is a technology that carries on the spatial matching to a series of image which are overlapped with each other,and finally builds a seamless and high quality image which has high resolution and big eyeshot．The image mosaic process consists of the following steps．Image acquisition,image registration,image fusion．fusion．Image registration is the important foundation of image mosaic．This article has studied a image registration algorithrm feature-based image registration algorithm． Firstly,corners are extracted using improved Harris operator to extract the initial feature point pairs.Then,the correct matching feature point pairs are used to realize the image registration．Finally,use the Weighted Average Fusion Rule to fuse the images.The experiment results indicate this algorithmhas better registration results under a variety of conditions such as different light,bigger rotation and repetitive texture.At the same time,this algorithm has good effect in image registration,high accurate rate,strong robustness，higher use value． Key words:Image mosaic Image registration Feature points Image fusion
图像拼接算法及实现(一).
图像拼接算法及实现（一） 论文关键词：图像拼接图像配准图像融合全景图 论文摘要：图像拼接(image mosaic)技术是将一组相互间重叠部分的图像序列进行空间匹配对准,经重采样合成后形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像的技术。图像拼接在摄影测量学、计算机视觉、遥感图像处理、医学图像分析、计算机图形学等领域有着广泛的应用价值。一般来说,图像拼接的过程由图像获取,图像配准,图像合成三步骤组成,其中图像配准是整个图像拼接的基础。本文研究了两种图像配准算法:基于特征和基于变换域的图像配准算法。在基于特征的配准算法的基础上,提出一种稳健的基于特征点的配准算法。首先改进Harris角点检测算法,有效提高所提取特征点的速度和精度。然后利用相似测度NCC(normalized cross correlation——归一化互相关),通过用双向最大相关系数匹配的方法提取出初始特征点对,用随机采样法RANSAC(Random Sample Consensus)剔除伪特征点对,实现特征点对的精确匹配。最后用正确的特征点匹配对实现图像的配准。本文提出的算法适应性较强,在重复性纹理、旋转角度比较大等较难自动匹配场合下仍可以准确实现图像配准。 Abstract：Image mosaic is a technology that carries on the spatial matching to a series of image which are overlapped with each other, and finally builds a seamless and high quality image which has high resolution and big eyeshot. Image mosaic has widely applications in the fields of photogrammetry, computer vision, remote sensing image processing, medical image analysis, computer graphic and so on. 。In general, the process of image mosaic by the image acquisition, image registration, image synthesis of three steps, one of image registration are the basis of the entire image mosaic. In this paper, two image registration algorithm: Based on the characteristics and transform domain-based image registration algorithm. In feature-based registration algorithm based on a robust feature-based registration algorithm points. First of all, to improve the Harris corner detection algorithm, effectively improve the extraction of feature points of the speed and accuracy. And the use of a similar measure of NCC (normalized cross correlation - Normalized cross-correlation), through the largest correlation coefficient with two-way matching to extract the feature points out the initial right, using random sampling method RANSAC (Random Sample Consensus) excluding pseudo-feature points right, feature points on the implementation of the exact match. Finally with the correct feature point matching for image registration implementation. In this
图像匹配与拼接方法
图像匹配与拼接 分匹配和拼接两部分 一、匹配 当然匹配的方法，有sift，surf什么的，这里主要就介绍一下我自己的方法啦！ 特征点提取是必须的，不然搜索范围太大哇！并且可能不可靠，所以特征点提取是必须的。什么点适合做特征点呢？这方面的论文很多啦，主要还是看你用什么方法匹配了，如果是用互相关作为相似性准则的话，那自相关系数随各个方向变化大的点就适合作特征点了，当然还要考虑稳定性，即特征点应该不太受光照、噪声、缩放、旋转等的影响，这样的才是好的特征点。当然，如果确定了应用坏境，不一定要满足不受上四个因素影响的，比如平行的双目匹配、全景图的匹配等，具体问题具体分析吧！角点特征是个人比较喜欢的特征。这里我自己定义了一种局部特征，效果还行，匹配采用互相关为准则的匹配，大概效果如下： 目测这几个匹配点还是正确的哇！在一些应用中，可能需要的匹配点数相当多，这就需要较密集的匹配了。密集的匹配可以根据初始的匹配结果估计搜索范围，这可以加速搜索，同时也要提取更多的特征点呀！话不多说了，下面是密集的匹配：
虽然这样的密度对于三维重构来说还不够，但对于一般的图像拼接来说足够了。匹配完了，下面就要将第二步了。 二、矫正 匹配好两幅图像了，接下来干啥呢？把它们对准呗。可惜了，两幅图像之间不但存在平移，还存在旋转缩放什么的，更复杂的，可能还存在所谓的3D变换，那就复杂啦！不管怎么样，所谓的对准，也就是矫正，总是基于一定的模型的，即基于相机拍摄两幅图像的相对姿态。对于全景图拼接（个人觉得是最简单的且较实用的拼接），需要根据相机焦距或者视场角投影到柱面上，然后两幅图像间的位置就只有一维的平移关系了。但是这对拍摄的相机也是有要求的，就是要保证拍摄两幅图像时，物防焦点是重合的，这样才能根据稀疏的几个点确定所有重叠区域内点的相对位置呀！但实际中很难做到物方焦点重合，比如数码相机或者所谓的智能手机的全景图拍摄，一般人都是拿着相机或者手机绕人旋转，而非绕物方焦点旋转拍摄的，这样拼接起来是绝对有误差的呀！特别是拼接近景，误差就更大了，远景还好。怎么克服这个缺点呢？简单的改进方法就是绕着摄像头旋转吧，虽然这也不是严格绕物方焦距旋转，但起码误差小得多啦，拼接的效果当然也就好得多了，可以试一试哦！ 不扯了，第二种模型就是认为两幅图像间存在的变换关系是有2D旋转、缩放、平移的，可以通过一个旋转、缩放、平移矩阵来矫正，这个也不难，但是应用范围却相当有限，不详说了。 第三种模型就是不用模型，或者说认为两幅图像间的对应点存在的是一种线性变换关系，这样只要解一个线性方程组就可以了，似乎也挺简单的。但可惜的是，不是任给的两幅图像间都只存在线性变换呀！它可能是一个3D的线性变换，那就麻烦了，这个必须需要密匹配呀！不然就一定是有误差的，即不能通过稀疏的匹配点来矫正两幅图像的所有对应点的。 还有更多的模型，比如各方位的全景图，需要投影到球面上的哇！不过这个模型也不难。最难的当然是拍摄两幅图像时，相机不同，相机姿态也不同了，这个是很有挑战的，我也很惧怕这个。下面展示三种矫正结果： 1、2D线性模型： 2D矫正，认为匹配点之间存在线性变换，X=ax+by+c，Y=dx+ey+e这样的模型，业内称之放射变换，其中x，y是第一幅点的坐标，X,Y是对应的第二幅图像中的点坐标，使用最小二乘法计算a、b、c、d、e、f，第二幅图相对于第一幅图矫正的结果就是这样的了
图像拼接技术的研究历史悠久
图像拼接技术的研究历史悠久。早期用于航空遥感照片合成，由于飞机或卫星上相机和地面景物之间距离很远，这种图像配准采用简单的模板匹配法。这种方法在现在也有广泛应用，可应用于航空图片合成、大文档扫描合成，视频压缩。在20世纪90年代随全视函数、全景建模、光场与光照图、同心拼图、全景图概念的提出，模型维数不断下降。自1994年Chen等人提出全景图拼接技术，国内外出现很多关于全景图生成技术的文章。 全景图生成技术的基本思想是通过普通相机或摄像机对场景信息进行照片图像或视频图像采样，在固定的视点，使相机在水平面内旋转一周拍摄场景，得到一组具有重叠区域的连续环视图像序列:将图像由相机坐标投影到空间坐标:利用图像配准方法寻找将环绕一周的这组图像中，两两相邻的图像间的重叠的区域;将确定的重叠区域利用图像融合方法进行图像序列的无缝拼合，得到一幅全景图像。全景图像根据其选取视点空间的不同可分为:平面、柱面、球表面、立方体表面。 目前图像配准的研究方法主要集中为基于灰度相关的方法、相位相关法、基于特征的方法。基于灰度相关方法的计算量较大，很多力求缩小模版配准计算量的改进算法被提出来。国防科大开发的HVS系统,采用的是一种基于特征线段的图像匹配算法。封静波提出相似曲线的拼接算法通过匹配两幅图像重叠区域每列梯度最大值曲线完成拼接，大大减少了传统模板匹配方法的计算量。薛峰综合基于灰度相关和特征相关算法的优点提出了基于最大梯度和灰度相关的两步配接方法。于乱采用形状模板对模板内图像的边缘点与模板边界的最短距离统计实现特征点匹配。李文辉提出采用基于粒子群优化(POS)的多分辨率算法。 1975年相位相关法由Kuglin和Hines提出，具有场景无关性，能够对纯粹二维平移的图像精确地对齐。DeCastro和Morandi发现用傅立叶变换确定旋转对齐就像平移对齐一样。Reddy和Chatterji改进了Decastro的算法，大大减少了需要转换的数量。张世阳采用了基于2幂子图像的FFT对齐方法，从而减小了FFT的计算量加快图像对齐速度和减小图像间重叠率。吴飞采用基于快速傅立叶变换的图像配准算法求取两相邻视频帧之间的配准系数。 基于特征的图像对齐典型的是基于图像几何特征的对齐方法。几何特征分为低级的 学硕士学位论文基于特征点的嘴卜任曰生成执术的研究 特征，如边、角和高级特征如物体的识别、特征之间的关系。文(34)通过二维高斯模 糊过滤可以得到一些低级特征模型，如边模型、角模型和顶点模型。因为角模型提供了 比坐标点更多的信息，文〔35)中基于几何角模型提出了图像对齐算法，文〔36〕中基 于几何点特征优化匹配和文(37)中利用小波变换提取保留边(。dge一preserving)的视 觉模型进行图像对齐。基于高级特征的图像对齐利用低级特征之间的关系或者通过识别 出的物体实现对齐。文(38)利用特征图像关系图进行图像对齐。而如何选择特征是其 中的关键技术，许多研究人员也在从事这方面的究，如提取特征点算子:Morave。算子〔3，，、Forstner算子〔‘0，、susan算子〔“，、HarriS算子〔‘，，，sIFT算子〔‘3，等。边缘检测算 子:Canny算子〔44]、LoG〔46]算子等。此外用于提高特征点配准精度的算法很多，赵炫利用 概率模型理论精确特征点的匹配〔46]。胡社教提出利用KLT跟踪算法精确确定角点位置，提高变换矩阵的求解精度〔4v]。李寒通过引导互匹配及投票过滤方法提高特征点的检测精度〔#8]。赵辉采用相位相关法进行自动排序的特征角点匹配算法〔49]。
基于MATLAB的图像拼接技术
基于MATLAB的图像拼接技术 基于MATLAB的图像拼接技术实验报告 学院:数信学院 专业班级: 12级信息工程1班 姓名学号: 一、实验名称:基于MATLAB的图像拼接技术 二、实验目的:利用图像拼接技术得到超宽视角的图像，用来虚拟实际场景。 三、实验原理: 基于相位相关的图像拼接技术是一种基于频域的方法，通过求得图像在频 域上是相位相关特点来找到特征位置，从而进行图像拼接。其基本原理是 基于傅氏功率谱的相关技术。该方法仅利用互功率谱中的相位信息进行图 像配准，对图像间的亮度变化不敏感，而且所获得的相关峰尖突出，具有 一定的鲁棒性和较高的配准精度。 基于相位相关法进行图像拼接的基本原理如下:假设f(x，y)表示尺寸为MN的图像，该函数的二维离散傅里叶变换(DFT)为: ， MN,,111,,，juxMvyN2(//) Fuvfxye,(,)(,),,MN，xy,,00 其中，F(u，v)是复变函数;u、v是频率变量，u=0，1，…，M-1，v=0，1，…，N-1;x、y是空间或图像变量。 二维离散傅里叶逆变换(IDFT)为: N,1M,1,，juxMvyN2(//),fuve(,) Fxy(,),,,y,0x,0 ，…，M-1;y=0，1，…，N-1。其中，x=0，1 设两幅图像、的重叠位置为(，)，则图像、的互功率谱为:IIxyII112002 *II(,)(,),,,,，,，jxy,,,2()1200 ,eII(,)(,)，,,,,12
其中，*为共轭符号，对上式两边进行傅里叶逆变换将在(x，y)处产生一00个函数。因此，只要检测上式傅里叶逆变换结果最大值的位置，就可以获得两xy幅图像间的评议量(，。具体算法步骤如下: 00 II?读入两幅图片、(函数输入)，并转换为灰度图像; 12 II?分别对、做二维傅里叶变换，即: 12 fftIfftI A=() B=() 1222 C则通过A、B的简单的矩阵运算得到另一矩阵，即: 3 C =B*.conj(A)/norm(B*.conj(A)，1) 3 矩阵的二维傅里叶逆变换C在(，)处取得最大，可通过遍历比较C(i，Cxy300 j)大小即可找到该位置，并作为函数返回值。 四实验程序 tic x=[1 2;0 1]; a=imread('7.jpg'); %读取图片 b=imread('8.jpg'); figure imshow(a); figure imshow(b); imwrite(b,'160.jpg'); IMG={a,b}; %将图片存为元胞结构 num=size(IMG,2); %计算图片个数 move_ht=0; %累计平移量初值 move_wd=0; for count=1:num-1 input1=IMG{count}; %读取图象 input11=imresize(rgb2gray(input1),[300,200]);
高清图像全景拼接
高清图像全景拼接 Company Document number：WTUT-WT88Y-W8BBGB-BWYTT-19998
全景拼接白皮书
目录
1 方案概述 1.1 市场需求 全景拼接系统，是以画面拼接技术为基础，将周围相邻的若干个摄像机画面拼接成一幅画面。传统视频监控系统，用户如果要实时监控一片连续的大范围区域，最常见的做法是，安装多个摄像机，每个负责一小片区域，该方案的主要缺陷是，用户没有画面整体感，很难连续追踪整个区域内的某个目标。全景拼接系统，能很好的解决上述问题。 传统意义上的全景拼接系统，虽然解决了“看的广”、“看的画面连续”的问题，但并没有解决“看的清”的问题。因此宇视的全景拼接系统中，增加了球机联动功能，以解决“看的清”的问题，一台10倍以上光学放大的球机可以看清100米甚至更远的目标。球机联动功能，是以枪球映射技术为基础，将全景画面坐标系和球机画面坐标系关联映射起来，用户只要在全景画面中拉框，球机就自动转动和变倍到指定位置，对用户来说这是一个设备，而不是孤立的两个设备。 全景拼接系统，主要应用于大范围监控，如广场、公园、景区、机场停机坪、机场大厅、物流仓库、大型生产车间、交通枢纽等。 1.2 方案特点 ●画面拼接：支持3个高清相机（最高1080P）的拼接。 ●画面拼接：拼接后最高分辨率可以达到5760×1080。 ●球机联动：支持1个球机（最高1080P）的联动。 ●球机联动：支持在全景画面中拉框放大，自动联动球机转动和变倍到指定位置。 2 组网模型 2.1 全景拼接 2.1.1 逻辑框图（或拓扑图） 2.1.2 原理描述 拼接原理： 拼接前提：用于拼接的摄像机，在图像内容上，两两相交。
图像拼接方法总结
图像拼接方法总结 图像拼接方法总结 (1) 引言 (1) 1 基于网格的拼接 (3) 2基于块匹配的拼接（也叫模板匹配） (4) 3基于比值法拼接 (6) 4 基于FFT的相位相关拼接 (7) 基于特征的图像配准方法 (9) 5 Harris角点检测算法 (10) 6基于SIFT尺度不变特征的图像拼接 (15) SIFT主要思想及特点 (16) SIFT算法详细过程 (16) SIFT匹配算法实现 (20) 7 基于surf 的图像配准 (22) SURF算法介绍 (22) 算法详细过程 (23) 8 基于最大互信息的图像配准 (24) 9 基于小波的图像拼接 (27) 10 基于轮廓特征的图像拼接技术 (27) 引言 首先研究了图像拼接的基本技术，包括图像预处理、图像配准、图像融合， 图像的预处理包括：图像预处理的主要目的是为了：降低图像配准的难度，提高图像配准精度。图像 预处理包括：图像投影、图像去噪、图像修正等。 图像配准采用的算法主要有两类： 一类是基于区域的算法，是指利用两张图像间灰度的关系来确定图像间坐标变化的参数，其中包括基于空间的像素配准算法包括（1基于块匹配，2基于网格匹配，3基于比值匹配），基于频域的算法（4既是基于FFT的相位相关拼接）等。 另一类是基于特征拼接的算法，是利用图像中的明显特征（点，线，边缘，轮廓，角点）来计算图像之间的变换，而不是利用图像中全部的信息，其中包括5 Harris角点检测算法，6 SIFT（角点）尺度不变特征转换算法，7 surf（角点，这种方法是sift方法的改进，速度提高）特征算法， 第三类是8 基于最大互信息的拼接，9 基于小波（将拼接工作由空间域转向小域波，即先对要拼接的图像进行二进小波变换，得到图像的低频、水平、垂直三个分量，然后对这
图像拼接报告
图像拼接学习 1为什么要进行图像拼接 在很多研究领域需要一些分辨率很高的超高清、全景图像。而现有的全景相机、广角镜头等设备不仅昂贵，而且存在失真的现象。所以要使用图像无缝拼接技术将很多张具有部分重叠区域的图像进行拼接，从而得到一幅宽视角的全景图像，满足人们在各领域研究的需要。 2图像拼接的流程 一、图像拼接的流程： 大致可分为三部分：图像预处理，图像配准，图像融合。 详细分为： ①预处理—>②特征点搜索—>③特征点筛选—>④两幅图像中的特征点配对—>⑤根据配对点找到不同图片之间的映射变换关系—>⑥图形融合 3图像的预图处理 图像预处理包括：噪声去除、灰度处理、几何畸变的校正等图像处理。 4图像配准 提取参考图像和待拼接图像中的特征信息，然后在提取出的特征信息中寻找最佳的匹配。图像配准算法主要包括三类：基于图像像素的方法、基于图像特征的配准算法和基于图像区域配准算法。 4.1基于特征的图像配准算法 一、为什么选用这种方法： 这种方法提取了图像的特征，压缩了图像信息的数据量，因此在匹配时计算量小，速度较快。而且能保持图像位移、旋转、比例等方面的特征。并且图像特征具有很好的独特性以相互区分，对位置变化敏感，匹配精度高。 二、算法介绍： 首先对两幅待匹配的图像进行特征提取，将这些特征作为控制结构，然后利用提取到的特征结构来完成图像特征之间的匹配，通过控制结构的匹配关系建立图像之间的映射变换关系。匹配的特征可以是边缘、轮廓、直线等。常用的匹配特征主要有点特征、线特征和区域特征。 三、算法种类： 常用的特征点提取算法有Susan算法、Harris算法、SIFT算法等。 4.2Harris角点检测算法 4.2.1角点的数学定义： ①角点是图像灰度一阶导数所对应的最大值的位置； ②角点是图像中两条或两条以上边缘的交点； ③角点是图像中灰度变化最大的位置； ④角点位置的一阶导数最大，二阶导数为零；