二维图像拼接技术

二维图像拼接技术
二维图像拼接技术

专业设计报告

设计题目:基于机器人视觉的图像处理方法研究

——二维图像处理

姓名:学号:

学院:专业:

指导教师:

同组人姓名:

摘要:

在实际应用中,经常会用到超过人眼视野范围甚至是全方位的高分辨率图像,普通数码相机的视野范围往往难以满足要求。为了得到大视野范围的图像,人们使用广角镜头和扫描式相机进行拍摄。但这些设备往往价格昂贵、使用复杂,此外,广角镜头的图像边缘会难以避免的产生扭曲变形,不利于一些场合的应用。为了在不降低图像分辨率的条件下获取大视野范围的图像,人们提出了图像拼接技术,将普通图像或视频图像进行无缝拼接,得到超宽视角甚至360度的全景图,这样就可以用普通数码相机实现场面宏大的景物拍摄。利用计算机进行匹配,将多幅具有重叠关系的图像拼合成为一幅具有更大视野范围的图像,这就是图像拼接的目的。

图像拼接解决的问题一般式,通过对齐一系列空间重叠的图像,构成一个无缝的、高清晰的图像,它具有比单个图像更高的分辨率和更大的视野。最初主要是对大量航拍或卫星的图像的整合,也可运用于军事领域网的夜视成像技术,。利用图像拼接技术,拼接机器人双目采集的图像,可以增大机器人的视野,给机器人的视觉导航提供方便。在虚拟现实领域中,人们可以利用图像拼接技术来得到宽视角的图像或360 度全景图像,用来虚拟实际场景。在医学图像处理方面,把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键环节圆。在遥感技术领域中,图像拼接技术的应用也日益广泛。

通过本课题的研究,初步了解图像拼接技术的基本应用,并了解sift语言的应用,将两幅具有相同特征点的图拼接在一起,实现二维图像的初步拼接处理。

关键词:

图像获取,图像配准,图像融合,图像合成,SIFT。

一、设计的任务和目的

二维和三维图像测量方法,具有非接触,自扫描,高精度的优点,已得到广泛应用。但在保证高精度的条件下,要实现大范围,多参数测量,单纯提高摄像机性能往往受到限制,而且成本高。图像拼接技术能够实现上述测量目的,达到较高的性能价格比。二维图像拼接是利用已获得的多幅被测物图像,提取图像间的公共特性,并通过公共特征将多图数据统一到同一坐标下,从而挖掘出数据中的深层次信息。

二维图像拼接依据特征信息提取方法的不同,可以分为基于区域和基于特征两种。基于区域的拼接一般通过求相关系数实现,计算量大,运行时间长。基于特征的拼接可以提取有旋转,平移,缩放不变性的不变量,具有快速,准确的特点,在工业测量中还可人为加入特制标记,使测量更有实用性。

图像拼接的关键是精确找出相邻图像中重叠部分的位置,然后确定两张图像的变换关系,然后进行拼接和拼缝融合。但是由于照相机受环境和硬件等条件影响,所要拼接的图像往往存在平移、旋转、大小、色差及其组合的形变与扭曲等差别。本设计采用基于特征的图像拼接技术,首先对图像进行轮廓提取,然后再对提取的轮廓进行匹配,从

而确定重叠位置,最后对重叠部分进行融合,完成将两幅有重叠的图像拼合成一张大尺寸图。

二、设计原理

1.图像拼接算法的分类

图像拼接的质量,主要依赖图像的配准程度,因此图像的配准是拼接算法的核心和关键。根据图像匹配方法的不同,一般可以将图像拼接算法分为以下两个类型:

基于区域相关的拼接算法。

(1)这是最为传统和最普遍的算法。基于区域的配准方法是从待拼接图像的灰度值出发,对待配准图像中一块区域与参考图像中的相同尺寸的区域使用最小二乘法或者其它数学方法计算其灰度值的差异,对此差异比较后来判断待拼接图像重叠区域的相似程度,由此得到待拼接图像重叠区域的范围和位置,从而实现图像拼接。

也可以通过FFT 变换将图像由时域变换到频域,然后再进行配准。对位移量比较大的图像,可以先校正图像的旋转,然后建立两幅图像之间的映射关系。

(2)当以两块区域像素点灰度值的差别作为判别标准时,最简单的一种方法是直接把各点灰度的差值累计起来。这种办法效果不是很好,常常由于亮度、对比度的变化及其它原因导致拼接失败。另一种方法是计算两块区域的对应像素点灰度值的相关系数,相关系数越大,则两块图像的匹配程度越高。该方法的拼接效果要好一些,成功率有所提高。

基于特征相关的拼接算法。

(1)基于特征的配准方法不是直接利用图像的像素值,而是通过像素导出图像的特征,然后以图像特征为标准,对图像重叠部分的对应特征区域进行搜索匹配,该类拼接算法有比较高的健壮性和鲁棒性。

(2)基于特征的配准方法有两个过程:特征抽取和特征配准。首先从两幅图像中提取灰度变化明显的点、线、区域等特征形成特征集。然后在两幅图像对应的特征集中利用特征匹配算法尽可能地将存在对应关系的特征对选择出来。一系列的图像分割技术都被用到特征的抽取和边界检测上。如canny 算子、拉普拉斯高斯算子、区域生长。抽取出来的空间特征有闭合的边界、开边界、交叉线以及其他特征。

特征匹配的算法有:交叉相关、距离变换、动态编程、结构匹配、链码相关等算法。

2.图像拼接

图像拼接技术主要有三个主要步骤:图像预处理、图像配准、图像融合与边界平滑。

图1 图像拼接的步骤

图像拼接技术主要分为三个主要步骤:图像预处理、图像配准、图像融合与边界平滑,图像预处理主要指对图像进行几何畸变校正和噪声点的抑制等,让参考图像和待拼接图像不存在明显的几何畸变。在图像质量不理想的情况下进行图像拼接,如果不经过图像预处理,很容易造成一些误匹配。图像预处理主要是为下一步图像配准做准备,让图像质量能够满足图像配准的要求。图像配准主要指对参考图像和待拼接图像中的匹配信息进行提取,在提取出的信息中寻找最佳的匹配,完成图像间的对齐。图像拼接的成功与否主要是图像的配准。待拼接的图像之间,可能存在平移、旋转、缩放等多种变换或者大面积的同色区域等很难匹配的情况,一个好的图像配准算法应该能够在各种情况下准确找到图像间的对应信息,将图像对齐。图像融合指在完成图像匹配以后,对图像进行缝合,并对缝合的边界进行平滑处理,让缝合自然过渡。由于任何两幅相邻图像在采集条件上都不可能做到完全相同,因此,对于一些本应该相同的图像特性,如图像的光照特性等,在两幅图像中就不会表现的完全一样。图像拼接缝隙就是从一幅图像的图像区域过渡到另一幅图像的图像区域时,由于图像中的某些相关特性发生了跃变而产生的。图像融合就是为了让图像间的拼接缝隙不明显,拼接更自然。

图像的预处理

1.图像的校正

当照相系统的镜头或者照相装置没有正对着待拍摄的景物时候,那么拍摄到的景物图像就会产生一定的变形。这是几何畸变最常见的情况。另外,由于光学成像系统或电子扫描系统的限制而产生的枕形或桶形失真,也是几何畸变的典型情况。几何畸变会给图像拼接造成很大的问题,原本在两幅图像中相同的物体会因为畸变而变得不匹配,这会给图像的配准带来很大的问题。因此,解决几何畸变的问题显得很重要。

图象校正的基本思路是,根据图像失真原因,建立相应的数学模型,从被污染或畸变的图象信号中提取所需要的信息,沿着使图象失真的逆过程恢复图象本来面貌。实际的复原过程是设计一个滤波器,使其能从失真图象中计算得到真实图象的估值,使其根据预先规定的误差准则,最大程度地接近真实图象。

2.图像噪声的抑制

图像噪声可以理解为妨碍人的视觉感知,或妨碍系统传感器对所接受图像源信息进行理解或分析的各种因素,也可以理解成真实信号与理想信号之间存在的偏差。一般来说,噪声是不可预测的随机信号,通常采用概率统计的方法对其进行分析。噪声对图像处理十分重要,它影响图像处理的各个环节,特别在图像的输入、采集中的噪声抑制是十分关键的问题。若输入伴有较大的噪声,必然影响图像拼接的全过程及输出的结果。根据噪声的来源,大致可以分为外部噪声和内部噪声;从统计数学的观点来定义噪声,可以分为平稳噪声和非平稳噪声。各种类型的噪声反映在图像画面上,大致可以分为两种类型。一是噪声的幅值基本相同,但是噪声出现的位置是随机的,一般称这类噪声为椒盐噪声。另一种是每一点都存在噪声,但噪声的幅值是随机分布的,从噪声幅值大小的分布统计来看,其密度函数有高斯型、瑞利型,分别成为高斯噪声和瑞利噪声,又如频谱均匀分布的噪声称为白噪声等。

图像配准

1.图像配准的概念:

(1)图像配准简而言之就是图像之间的对齐。图像配准定义为:对从不同传感器或不同时间或不同角度所获得的两幅或多幅图像进行最佳匹配的处理过程。为了更清楚图像配准的任务,我们将图像配准问题用更精确的数学语言描述出来。配准可以用描述为如下的问题: 给定同一景物的从不同的视角或在不同的时间获取的

两个图像I ,I 和两个图像间的相似度量S(I ,I ),找出I ,I 中的同名点,确定图像间的最优变换T,使得S(T(I ),I )达到最大值。

(2)图像配准总是相对于多幅图像来讲的,在实际工作中,通常取其中的一幅图像作为配准的基准,称它为参考图,另一幅图像,为搜索图。图像配准的一般做法是,首先在参考图上选取以某一目标点为中心的图像子块,并称它为图像配准的模

板,然后让模板在搜索图上有秩序地移动,每移到一个位置,把模板与搜索图中的对应部分进行相关比较,直到找到配准位置为止。

(3)如果在模板的范围内,同一目标的两幅图像完全相同,那么完成图像配准并不困难。然而,实际上图像配准中所遇到的同一目标的两幅图像常常是在不同条件下获得的,如不同的成像时间、不同的成像位置、甚至不同的成像系统等,再加上成像中各种噪声的影响,使同一目标的两幅图像不可能完全相同,只能做到某种程度的相似,因此图像配准是一个相当复杂的技术过程。

2.基于区域的配准(分层比较法)

(1)图像处理的塔形(或称金字塔:Pyramid)分解方法把原始图像分解成许多不同空间分辨率的子图像,高分辨率(尺寸较大)的子图像放在下层,低分辨率(尺寸较小)的图像放在上层,从而形成一个金字塔形状。

(2)在逐一比较法的思想上,为减少运算量,引入了塔形处理的思想,提出了分层比较法。利用图像的塔形分解,可以分析图像中不同大小的物体。同时,通过对低分辨率、尺寸较小的上层进行分析所得到的信息还可以用来指导对高分辨率、尺寸较大的下层进行分析,从而大大简化分析和计算。

分层比较法的具体实现步骤如下:

(1)将待匹配的两幅图像中2 2邻域内的像素点的像素值分别取平均,作为这一区域

(2 2)像素值,得到分辨率低一级的图像。然后,将此分辨率低一级的图像再作同

样的处理,也就是将低一级的图像4 4邻域内的像素点的像素值分别取平均,作为这一区域(4 4)点的像素值,得到分辨率更低一级的图像。依次处理,得到一组分辨率依次降低的图像。

(2)从待匹配的两幅图像中分辨率最低的开始进行匹配搜索,由于这两幅图像像素点的数目少,图像信息也被消除一部分,因此,此匹配位置是不精确的。所以,在分辨率更高一级的图像中搜索时,应该在上一次匹配位置的附近进行搜索。依次进行下去,直到在原始图像中寻找到精确的匹配位置。

分层比较法的优点:

(1)该算法思路简单,容易理解,易于编程实现。

(2)该算法的搜索空间比逐一比较要少,在运算速度较逐一比较法有所提高。

3.基于特征的配准

3.1比值匹配法

比值匹配法算法思路是利用图像中两列上的部分像素的比值作为模板,即在参考图像T的重叠区域中分别在两列上取出部分像素,用它们的比值作为模板,然后在搜索图S中搜索最佳的匹配。匹配的过程是在搜索图S中,由左至右依次从间距相同的两列上取出部分像素,并逐一计算其对应像素值比值;然后将这些比值依次与模板进行比较,其最小差值对应的列就是最佳匹配。这样在比较中只利用了一组数据,而这组数据利用了两列像素及其所包含的区域的信息。

该算法的具体实现步骤如下:

(1)在参考图像T中间隔为c个像素的距离上的两列像素中,各取m个像素,计算这m个像素的比值,将m个比值存入数组中,将其作为比较的模板。

(2)从搜索图S中在同样相隔c个像素的距离上的两列,各取出m+n个像素,计算其比值,将m+n个比值存入数组。假定垂直错开距离不超过n个像素,多取的n个像素则可以解决图像垂直方向上的交错问题。

(3)利用参考图像T中的比值模板在搜索图S中寻找相应的匹配。首先进行垂直方向上的比较,即记录下搜索图S中每个比值数组内的最佳匹配。再将每个数组的组内最佳匹配进行比较,即进行水平方向的比较,得到的最小值就认为是全局最佳

匹配。此时全局最佳匹配即为图像间在水平方向上的偏移距离,该全局最佳匹配队应的组内最佳匹配即为图像间垂直方向上的偏移距离。

比值匹配法的优点:

(1) 算法思路清晰简单,容易理解,实现起来比较方便。

(2) 在匹配计算的时候,计算量小,速度快。

3.2特征点匹配法

比值匹配法利用图像特征较少,而且在图像发生小角度旋转的时候容易发生误匹配。基于特征点的匹配法可以很好的解决这类问题。特征点主要指图像中的明显点,如房屋角点、圆点等。用于点特征提取得算子称为有利算子或兴趣算子。 采用Moravec 算子进行特征点提取:

Moravec 算子的基本思想是,以像素点的四个主要方向上最小灰度方差表示该像素

点与邻近像素点的灰度变化情况,即像素点的兴趣值,然后在图像的局部选择具有最大的兴趣值得点(灰度变化明显得点)作为特征点,具体算法如下:

(1) 计算各像素点的兴趣值IV (interest value),例如计算像素点(c,r)的兴趣值,

先在以像素点((cr)为中心的n n 的影像窗口中,计算四个主要方向相邻像元灰度差的平方和。

(2) 根据给定的阂值,选择兴趣值大于该阐值的点作为特征点的候选点。设V 为事

先设定好的闭值,如果V > V ,则V 为特征点的候选点。阑值的选择应以候选点中包括需要的特征点,而又不含过多的非特征点。

(3) 在候选点中选取局部极大值点作为需要的特征点。在一定大小的窗口内(可不同

于兴趣值计算窗口),去掉所有不是最大兴趣值的候选点,只留下兴趣值最大者,该像素即为一个特征点。

基于特征点匹配算法主要步骤如下:

(1) 在参考图像T 的重叠部分中选取4个区域,每个区域利用Moravec 算子找出特征点。

(2) 选取以特征点为中心的区域,本文大小选择7X7的区域,在搜索图S 中寻找最相似

的匹配。因为有4个特征点,故有4个特征区域,找到相应的特征区域的匹配也有4块。

(3) 利用这4组匹配的特征区域的中心点,也就是4对匹配的特征点,代入方程式(3-2-2)

求解,所求的解即为两幅图像间的变换系数。

(3-2-2)

????

? ??????? ??=????? ??11001''232221131211y x a a a a a a Y X

该算法的主要优点:

(1) 图像的特征信息得到了利用,能够有的放矢,不是在盲目的搜索。

(2) 误匹配发生的概率小,因为利用了参考图像T包含特征点的特征区域来寻找相应匹

配,因此在搜索图S中相应的特征区域容易确认。

该算法的主要缺点:

计算的代价高,计算量大。该算法需要计算出特征点以及特征点的匹配点,同时还要将所有4对特征点带入式3-2-2求解变换系数,计算量大。

图像融合技术

1、图像融合技术的基本概念:

数字图像融合(Digital Image Fusion)是以图像为主要研究内容的数据融合技术,是把多个不同模式的图像传感器获得的同一场景的多幅图像或同一传感器在不同时刻

获得的同一场景的多幅图像合成为一幅图像的过程。由于不同模式的图像传感器的成像机理不同,工作电磁波的波长不同,所以不同图像传感器获得的同一场景的多幅图像之间具有信息的冗余性和互补性,经图像融合技术得到的合成图像则可以更全面、更精确地描述所研究的对象。正是由于这一特点,图像融合技术现已广泛地应用于军事、遥感、计算机视觉、医学图像处理等领域中。

2、手动配准与图象融合

图像融合包含图像配准和无缝合成两个部分.由于成像时受到各种变形因素的影响,得到的各幅图像间存在着相对的几何差异。图像配准是通过数学模拟来对图像间存在着的几何差异进行校正,把相邻两幅图像合成到同一坐标系下,并使得相同景物在不同的局部图像中对应起来,以便于图像无缝合成无缝合成。

图2 常用的几种几何变形

图像配准之后,由于图像重叠区域之间差异的存在,如果将图像象素简单叠加,拼按处就会出现明显的拼接缝,因此需要一种技术修正待拼接图像拼接缝附近的颜色值,使之平滑过渡,实现无缝合成。传统的融合方法多是在时间域对图像进行算术运算,没有考虑处理图像时其相应频率域的变化。从数学上讲,拼接缝的消除相当于图像颜色或灰度曲面的光滑连接,但实际上图像的拼接与曲面的光滑不同,图像颜色或灰度曲面的光滑表现为对图像的模糊化,从而导致图像模糊不清。

3、图像融合方法

迄今为止,数据融合方法主要是在像元级和特征级上进行的。常用的融合方法有HIS 融合法、KL变换融合法、高通滤波融合法、小波变换融合法、金字塔变换融合法、样条变换融合法等。下面简要介绍其中的几种方法。

(1)HIS融合法

HIS融合法在多传感器影象像元融合方面应用较广,例如:一低分辨率三波段图象与一高分辨率单波段图象进行融合处理。这种方法将三个波段的低分辨率的数据通过HIS变换转换到HIS空间,同时将单波段高分辨率图象进行对比度拉伸以使其灰度的均值与方差和HIS空间中亮度分量图象一致,然后将拉伸过的高分辨率图象作为新的亮度分量代入HIS反变换到原始空间中。这样获得的高分辨率彩色图象既具有较高空间分辨率,同时又具有与影象相同的色调和饱和度,有利于目视解译和计算机识别。

(2)KL变换融合法

KL变换融合法又称为主成分分析法。与HIS变换法类似,它将低分辨率的图象(三个波段或更多)作为输入分量进行主成分分析,而将高分辨率图象拉伸使其具有于第一主成分相同的均值和方差,然后用拉伸后的高分辨率影象代替主成分变换的第一分量进行逆变换。高空间分辨率数据与高光谱分辨率数据通过融合得到的新的数据包含了源图象的高分辨率和高光谱分辨率特征,保留了原图象的高频信息。这样,融合图象上目标细部特征更加清晰,光谱信息更加丰富。

(3)高通滤波融合法

高通滤波融合法将高分辨率图象中的边缘信息提取出来,加入到低分辨率高光谱图象中。首先,通过高通滤波器提取高分辨率图象中的高频分量,然后将高通滤波结果加入到高光谱分辨率的图象中,形成高频特征信息突出的融合影像。

(4)小波变换融合法

利用离散的小波变换,将N幅待融合的图象的每一幅分解成M幅子图象,然后在每一级上对来自N幅待融合图象的M幅子图象进行融合,得到该级的融合图象。在得到所有M级的融合图象后,实施逆变换得到融合结果。

4、图像融合步骤

目前己有大量图像融合技术的研究,不论应用何种技术方法,必须遵守的基本原则是两张或多张图像上对应的每一点都应对位准确。由于研究对象、目的不同,图像融合方法亦可多种多样,其主要步骤归纳如下:

(1) 预处理:对获取的两种图像数据进行去噪、增强等处理,统一数据格式、图像大小和分辨率。对序列断层图像作三维重建和显示,根据目标特点建立数学模型;

图3 图像融合步骤示意图

(2) 分割目标和选择配准特征点:在二维或三维情况下,对目标物或兴趣区进行分割。选取的特点应是同一物理标记在两个图像上的对应点,该物理标记可以是人工标记,也可以是人体解剖特征点。

(3 )利用特征点进行图像配准:可视作两个数据集间的线性或非线性变换,使变换后的两个数据集的误差达到某种准则的最小值。

(4) 融合图像创建:配准后的两种模式的图像在同一坐标系下将各自的有用信息融合表达成二维或三维图像。

(5) 参数提取:从融合图像中提取和测量特征参数,定性、定量分析。

图像拼接采用matlab实现

Matlab语言有如下特点:

1.编程效率高

2.用户使用方便

3.扩充能力强

4.语句简单,内涵丰富

5.高效方便的矩阵和数组运算

6.方便的绘图功能

二、设计具体实现的方法、步骤及实验

1、方法总述:

研究的重点是使用数码相机或手机手持拍摄的图像的全自动拼接。算法的基本流程如下:

(1)读取n副连续有重叠部分的图像,在n副图像中检测SIFT特征,并用SIFT特征描述子

对其进行描述。

(2)匹配相邻图像的特征点,并根据特征点向量消除误匹配。

(3)使用RANSAC 方法,确定变换参数。

(4)图像融合

(5)对手持相机拍摄得到的照片,即相机运动不受限制,两幅图像的关系可近似归结为初等坐标变换,即平移、旋转和缩放的组合。设)','('),,(y x p y x p ,为两幅图像',I I 的对应点,则二者关系由下式确定

????

? ??==1M '76543210m m m m m m m m MX X (1) 其中()()'''1,1T T

X x y X x y ==是两点的齐次坐标,M 是两图像间的变换矩阵,含有八个参数。一旦M 确定,则两幅图像的变换关系即可确定。

确定矩阵M ,首先确定一定数量的特征点,利用特征点的匹配给出图像变换的估计初值,最后通过递归算法得到最后的变换。

2、特征提取与匹配

采用SIFT 算法进行特征点的提取与匹配。主要包含4个步骤:

1、建立尺度空间,寻找候选点

2、精确确定关键点,剔除不稳定点

3、确定关键点的方向

4、提取特征描述符

3、消除误匹配

假设同一个相机拍出的图像尺度差别比较小。因此对于两对匹配点(P1,Q1) (P2,Q2),向量P1P2, Q1Q2的夹角比较小,同时|P1P2| 和 |Q1Q2| 的值也比较接近。我们记录一个匹配点与其他匹配点形成的向量,并记录待匹配图像中的对应匹配点与其他相应匹配点形成的向量,通过比较,记录该匹配点通过匹配阈值的个数,如果超过匹配点总数的4/5,则该匹配点是正确匹配。否则为误匹配。

图4 消除误匹配

4、确定变换参数

采用平面透视变换来表示图像间的几何关系:

????

? ????????

??=????? ??111''76543

210y x y x p p m m m m m m m m q q 为了恢复M 中的8个参数,需要4对匹配点来求解。我们使用RANSAC(Random Sample Consensus)方法来寻找两幅图像间最佳的4对匹配点,得到相应的H 阵,并剔除误配点。

前面自动提取和匹配得到的初始匹配特征点对集合中难免存在误配点,此外特征点在提取时也存在一定的精度误差,因此需要一种容错能力很强的算法来过滤初始匹配特征点对集合,而RANSAC 正是这样的一种算法,其具体内容可描述如下:

给定N 个数据点组成的数据集合P ,假设这N 个数据点中的绝大部分是由一个参数未知的特定模型产生,而该模型至少需要n 个数据点来求解,且N>n ,则可以通过下面的迭代过程求解该模型的参数。

将以下步骤运行k 次:

(1)从P 中随机选取n 个数据点的子集S 。

(2)由选取的这n 个数据点计算出一个模型M 。

(3)对数据集合中其余的N 一n 个数据点,计算它们与模型肘之间的距离,记录P 中在M 的某个误差允许范围内的数据点的个数c 。迭代(1)~(3)k 次后,对应最大c 值的模型即为所求,数据集合P 中的这c 个数据即为内点,其余的N —C 个数据即为外点。

5、图像融合

1.图像旋转之后可能新的像素点并不在实际的像素位置,因此需要插值处理。建议使用双线性插值。

2.对于重合的部分的像素值可以有如下计算办法:

图5 图像融合方法

6、实验结果

7、优缺点

优点:运行比较快,且图像拼接效果还可以。

缺点:两幅图像拼接效果会很好,多幅图像会出现一定程度的模糊

参考文献

[1] 贾棋,《图像处理基础课件》,2011年4月。

[2] 赵书兰,《MATLAB数字图像处理与分析实例教程》,化学工业出版社,2009年6月

[3] 严磊,《基于特征匹配的全自动图像拼接算法研究》,中国科学技术大学,2009年

[4]现代数字图像处理技术提高及应用案例详解(matlab版)赵小川编著

[5]MATLAB 6.5辅助图像处理,飞思科技产品研发中心编著,北京:电子工业出版社

[6] Matlab工具箱应用指南.控制工程篇,徐昕, 李涛, 伯晓晨等编著,北京:电子工业出版社

[7]钟力,胡晓峰.重叠图像拼接算法.中国图像图形学报.1998/5/3

[8]陈永强,王启付.虚拟环境中变形图像拼接技术研究.华中科技大学学报.2001/1/29

[9] 王伟,陆佩忠,数字图像拼接技术,小型微型计算机系统,2006/6。

全景拼接算法简介

全景拼接算法简介 罗海风 2014.12.11 目录 1.概述 (1) 2.主要步骤 (2) 2.1. 图像获取 (2) 2.2鱼眼图像矫正 (2) 2.3图片匹配 (2) 2.4 图片拼接 (2) 2.5 图像融合 (2) 2.6全景图像投射 (2) 3.算法技术点介绍 (3) 3.1图像获取 (3) 3.2鱼眼图像矫正 (4) 3.3图片匹配 (4) 3.3.1与特征无关的匹配方式 (4) 3.3.2根据特征进行匹配的方式 (5) 3.4图片拼接 (5) 3.5图像融合 (6) 3.5.1 平均叠加法 (6) 3.5.2 线性法 (7) 3.5.3 加权函数法 (7) 3.5.4 多段融合法(多分辨率样条) (7) 3.6全景图像投射 (7) 3.6.1 柱面全景图 (7) 3.6.2 球面全景图 (7) 3.6.3 多面体全景图 (8) 4.开源图像算法库OPENCV拼接模块 (8) 4.1 STITCHING_DETAIL程序运行流程 (8) 4.2 STITCHING_DETAIL程序接口介绍 (9) 4.3测试效果 (10) 5.小结 (10) 参考资料 (10) 1.概述 全景视图是指在一个固定的观察点,能够提供水平方向上方位角360度,垂直方向上180度的自由浏览(简化的全景只能提供水平方向360度的浏览)。 目前市场中的全景摄像机主要分为两种:鱼眼全景摄像机和多镜头全景摄像机。鱼眼全景摄像机是由单传感器配套特殊的超广角鱼眼镜头,并依赖图像校正技术还原图像的鱼眼全景摄像机。鱼眼全景摄像机

最终生成的全景图像即使经过校正也依然存在一定程度的失真和不自然。多镜头全景摄像机可以避免鱼眼镜头图像失真的缺点,但是或多或少也会存在融合边缘效果不真实、角度有偏差或分割融合后有"附加"感的缺撼。 本文档中根据目前所查找到的资料,对多镜头全景视图拼接算法原理进行简要的介绍。 2.主要步骤 2.1. 图像获取 通过相机取得图像。通常需要根据失真较大的鱼眼镜头和失真较小的窄视角镜头决定算法处理方式。单镜头和多镜头相机在算法处理上也会有一定差别。 2.2鱼眼图像矫正 若相机镜头为鱼眼镜头,则图像需要进行特定的畸变展开处理。 2.3图片匹配 根据素材图片中相互重叠的部分估算图片间匹配关系。主要匹配方式分两种: A.与特征无关的匹配方式。最常见的即为相关性匹配。 B.根据特征进行匹配的方式。最常见的即为根据SIFT,SURF等素材图片中局部特征点,匹配相邻图片中的特征点,估算图像间投影变换矩阵。 2.4 图片拼接 根据步骤2.3所得图片相互关系,将相邻图片拼接至一起。 2.5 图像融合 对拼接得到的全景图进行融合处理。 2.6 全景图像投射 将合成后的全景图投射至球面、柱面或立方体上并建立合适的视点,实现全方位的视图浏览。

像素级图像融合讲解

山东大学(威海)毕业论文 毕业设计(论文)设计(论文)题目像素级图像融合方法 姓名:李桂楠 学号:201100800668 学院:机电与信息工程学院 专业:自动化 年级2011级 指导教师:孙甲冰

目录 摘要 (4) Abstract (5) 第一章绪论 (1) 1.1课题背景及来源 (1) 1.2图像融合的理论基础和研究现状 (1) 1.3图像融合的应用 (1) 1.4图像融合的分类 (1) 第二章像素级图像融合的预处理 (3) 2.1图像增强 (3) 2.2图像校正 (6) 2.3图像配准 (6) 第三章像素级图像融合的方法综述 (8) 3.1加权平均图像融合方法 (8) 3.2 HIS空间图像融合方法 (8) 3.3 主成分分析图像融合方法 (8) 3.4 伪彩色图像融合方法 (9) 第四章基于小波变换的像素级图像融合概述 (10) 4.1 小波变换的基本理论 (10) 4.2 基于小波变换的图像融合 (11) 4.3基于小波变换的图像融合性能分析 (12)

第五章像素级图像融合方法的研究总结与展望 (19) 参考文献 (20) 谢辞................................. 错误!未定义书签。

摘要 近些年,随着科学技术的飞速发展,各种各样的图像传感器出现在人们的视野前,这种样式繁多的图像传感器在不同的成像原理和不同的工作环境下具有不同功能。而因为多传感器的不断涌现,图像融合技术也越来越多的被应用于医学、勘探、海洋资源开发、生物学科等领域。 图像融合主要有像素级、决策级和特征级三个层次,而像素级图像融合作为基础能为其他层次的融合提供更准确、全面、可依赖的图像信息。本文的主要工作是针对像素级的图像融合所展开的。 关键词 图像融合理论基础、加权平均、图像融合方法、小波变换、

基于SIFT特征向量的图像拼接技术研究

基于SIFT特征向量的图像拼接技术研究摘要 图像拼接技术是数字图像处理邻域的一个研究热点,一直是计算机视觉、模式识别、医学等领域研究的一个重要课题,图像拼接技术也是图像处理工作中的关键技术之一。所谓图像拼接就是将有重叠的图像无缝拼成一幅大宽视域图像的技术。它包含两个关键技术:图像配准和图像融合。近年来,随着技术的成熟,图像拼接技术被很好的应用到了机器人导航、无人平台战场监控、航拍图像处理等多个领域。基于特征的图像配准与拼接技术配准结果准确拼接效果良好且不易受光照、旋转等因素的影响是当前图像配准与拼接领域研究的热点。本文在深入研究和学习已有的基于SIFT的图像配准与拼接技术的基础上,详尽地分析了现有算法的不足,并提出了若干改进算法。 关键字:图像拼接,特征,线段特征,图像融合 Image splicing technology research based on SIFT feature vector abstract Image splicing technology is a research focus in the neighborhood of digital image processing, has been the computer vision, pattern recognition, an important hot topic in the field of medicine and other fields, image splicing technology is one of the key technologies of image processing work. The so-called image mosaicing is there will be overlapping images seamless Mosaic a big wide horizon image technology. It includes two key techniques: image registration and image fusion. In recent years, with mature technology, image splicing technology is very good application in robot navigation, unmanned platform battlefield monitoring, aerial image processing and other fields. Based on the characteristics of image registration and Mosaic registration results are accurate stitching effect is good and not easily influenced by factors such as illumination, rotation is the hotspot in research of image registration and Mosaic. Based on the in-depth research and study of the existing image registration based on SIFT and splicing technology, on the basis of the shortage of the existing algorithm is analyzed in detail, and puts forward some improved algorithm. The keyword:Image stitching, features, line features, image fusion 目录 第一章绪论 (2) 1.1研究背景和意义 (2) 1.2国内外研究现状 (3) 1.3研究内容 (4) 第二章图像拼接的相关理论基础 (6) 2.1图像拼接的基本流程 (6)

360°全景拼接技术简介

本文为技术简介,详细算法可以参考后面的参考资料。 1.概述 全景图像(Panorama)通常是指大于双眼正常有效视角(大约水平90度,垂直70度)或双眼余光视角(大约水平180度,垂直90度),在一个固定的观察点,能够提供水平方向上方位角360度,垂直方向上180度的自由浏览(简化的全景只能提供水平方向360度的浏览),乃至360度完整场景范围拍摄的照片。 生成全景图的方法,通常有三种:一是利用专用照相设备,例如全景相机,带鱼眼透镜的广角相机等。其优点是容易得到全景图像且不需要复杂的建模过程,但是由于这些专用设备价格昂贵,不宜普遍适用。二是计算机绘制方法,该方法利用计算机图形学技术建立场景模型,然后绘制虚拟环境的全景图。其优点是绘制全景图的过程不需要实时控制,而且可以绘制出复杂的场景和真实感较强的光照模型,但缺点是建模过程相当繁琐和费时。三是利用普通数码相机和固定三脚架拍摄一系列的相互重叠的照片,并利用一定的算法将这些照片拼接起来,从而生成全景图。 近年来随着图像处理技术的研究和发展,图像拼接技术已经成为计算机视觉和计算机图形学的研究焦点。目前出现的关于图像拼接的商业软件主要有Ptgui、Ulead Cool 360及ArcSoft Panorama Maker等,这些商业软件多是半自动过程,需要排列好图像顺序,或手动点取特征点。 2.全景图类型: 1)柱面全景图 柱面全景图技术较为简单,发展也较为成熟,成为大多数构建全景图虚拟场景的基础。这种方式是将全景图像投影到一个以相机视点为中心的圆柱体内表面,

视线的旋转运动即转化为柱面上的坐标平移运动。这种全景图可以实现水平方向360度连续旋转,而垂直方向的俯仰角度则由于圆柱体的限制要小于180度。柱面全景图有两个显著优点:一是圆柱面可以展开成一个矩形平面,所以可以把柱面全景图展开成一个矩形图像,而且直接利用其在计算机内的图像格式进行存取;二是数据的采集要比立方体和球体都简单。在大多数实际应用中,360度的环视环境即可较好地表达出空间信息,所以柱面全景图模型是较为理想的一种选择。 2)立方体全景图 立方体全景图由六个平面投影图像组成,即将全景图投影到一个立方体的内表面上。这种方式下图像的采集和相机的标定难度较大,需要使用特殊的拍摄装置,依次在水平、垂直方向每隔90度拍摄一张照片,获得六张可以无缝拼接于一个立方体的六个面上的照片。这种方法可以实现水平方向360度旋转、垂直方向180度俯仰的视线观察。 3)球面全景图 球面全景图是指将源图像拼接成一个球体的形状,以相机视点为球心,将图像投影到球体的内表面。与立方体全景图类似,球面全景图也可以实现水平方向360度旋转、垂直方向180度俯仰的视线观察。球面全景图的拼接过程及存储方式较柱面全景图大为复杂,这是因为生成球面全景图的过程中需要将平面图像投影成球面图像,而球面为不可展曲面。因此这是一个平面图像水平和垂直方向的非线性投影过程,同时也很难找到与球面对应且易于存取的数据结构来存放球面图像。目前国内外在这方面提出的研究算法较其他类型全景图少,而且在可靠性和效率方面也存在一些问题。 3.主要内容

多聚焦图像融合方法综述

多聚焦图像融合方法综述 摘要:本文概括了多聚焦图像融合的一些基本概念和相关知识。然后从空域和频域两方面将多聚焦图像融合方法分为两大块,并对这两块所包含的方法进行了简单介绍并对其中小波变换化法进行了详细地阐述。最后提出了一些图像融合方法的评价方法。 关键词:多聚焦图像融合;空域;频域;小波变换法;评价方法 1、引言 按数据融合的处理体系,数据融合可分为:信号级融合、像素级融合、特征级融合和符号级融合。图像融合是数据融合的一个重要分支,是20世纪70年代后期提出的概念。该技术综合了传感器、图像处理、信号处理、计算机和人工智能等现代高新技术。它在遥感图像处理、目标识别、医学、现代航天航空、机器人视觉等方面具有广阔的应用前景。 Pohl和Genderen将图像融合定义为:“图像融合是通过一种特定的方法将两幅或多幅图像合成一幅新图像”,其主要思想是采用一定的方法,把工作于不同波长范围、具有不同成像机理的各种成像传感器对同一场景成像的多幅图像信息合成一幅新的图像。 作为图像融合研究重要内容之一的多聚焦图像融合,是指把用同一个成像设备对某一场景通过改变焦距而得到的两幅或多幅图像中清晰的部分组合成一幅新的图像,便于人们观察或计算机处理。图像融合的方法大体可以分为像素级、特征级、决策级3中,其中,像素级的图像融合精度较高,能够提供其他融合方法所不具备的细节信息,多聚焦融合采用了像素级融合方法,它主要分为空域和频域两大块,即: (1)在空域中,主要是基于图像清晰部分的提取,有梯度差分法,分块法等,其优点是速度快、方法简单,不过融合精确度相对较低,边缘吃力粗糙; (2)在频域中,具有代表性的是分辨方法,其中有拉普拉斯金字塔算法、小波变换法等,多分辨率融合精度比较高,对位置信息的把握较好,不过算法比较复杂,处理速度比较慢。 2、空域中的图像融合 把图像f(x,y)看成一个二维函数,对其进行处理,它包含的算法有逻辑滤波器法、加权平均法、数学形态法、图像代数法、模拟退火法等。 2.1 逻辑滤波器法 最直观的融合方法是两个像素的值进行逻辑运算,如:两个像素的值均大于特定的门限值,

高清图像全景拼接

高清图像全景拼接 Company Document number:WTUT-WT88Y-W8BBGB-BWYTT-19998

全景拼接白皮书

目录

1 方案概述 1.1 市场需求 全景拼接系统,是以画面拼接技术为基础,将周围相邻的若干个摄像机画面拼接成一幅画面。传统视频监控系统,用户如果要实时监控一片连续的大范围区域,最常见的做法是,安装多个摄像机,每个负责一小片区域,该方案的主要缺陷是,用户没有画面整体感,很难连续追踪整个区域内的某个目标。全景拼接系统,能很好的解决上述问题。 传统意义上的全景拼接系统,虽然解决了“看的广”、“看的画面连续”的问题,但并没有解决“看的清”的问题。因此宇视的全景拼接系统中,增加了球机联动功能,以解决“看的清”的问题,一台10倍以上光学放大的球机可以看清100米甚至更远的目标。球机联动功能,是以枪球映射技术为基础,将全景画面坐标系和球机画面坐标系关联映射起来,用户只要在全景画面中拉框,球机就自动转动和变倍到指定位置,对用户来说这是一个设备,而不是孤立的两个设备。 全景拼接系统,主要应用于大范围监控,如广场、公园、景区、机场停机坪、机场大厅、物流仓库、大型生产车间、交通枢纽等。 1.2 方案特点 ●画面拼接:支持3个高清相机(最高1080P)的拼接。 ●画面拼接:拼接后最高分辨率可以达到5760×1080。 ●球机联动:支持1个球机(最高1080P)的联动。 ●球机联动:支持在全景画面中拉框放大,自动联动球机转动和变倍到指定位置。 2 组网模型 2.1 全景拼接 2.1.1 逻辑框图(或拓扑图) 2.1.2 原理描述 拼接原理: 拼接前提:用于拼接的摄像机,在图像内容上,两两相交。

基于经验模态分解的图像融合研究

基于经验模态分解的图像融合研究 图像融合是对不同渠道摄取的同一景物的多幅图像进行处理,以得到更清晰更实用的图像的过程。它是图像处理过程中的一个重要环节,比如图像拼接就离不开图像融合,因而研究图像融合具有一定的现实和理论意义。目前,以小波分析为代表的多分辨率图像融合技术是一个研究热点,但小波基函数的选取是小波分析的难点,也是小波分析这种信号分析方法的最大瓶颈。经验模态分解则能突破这种障碍,它根据自身的特性自适应的进行信号分解,显示出极大的优越性。把经 验模态分解用于图像融合,取得了良好的效果。 标签:图像融合;多分辨率分析;经验模态分解;固有模态函数 1 引言 数字图像融合(Digital Image Fusion)是以图像为主要研究内容的数据融合技术,是把来自不同时刻或不同成像设备对同一目标检测的多幅图像数据采用某种方法进行处理,生成一幅能够有效表示出该图像检测信息的图像的过程。由于不同模式的图像传感器的成像机理不同,工作电磁波的波长不同,所以不同图像传感器获得的同一场景的多幅图像之间具有信息的冗余性和互补性,经图像融合技术处理后可以获取对同一场景的更为精确、更为全面、更为可靠的图像描述。正是由于这一特点,图像融合作为信息融合的一种有力工具,已广泛地应用于军事、遥 感、机器人视觉和医学图像处理等领域。 图像融合包含图像配准和无缝合成两个部分。由于成像时受到各种变形因素的影响,得到的各幅图像间存在着相对的几何差异,所以需要对待融合的图像进行配准。图像配准是通过数学模拟来对图像间存在着的几何差异进行校正,把相邻两幅图像合成到同一坐标系下,并使得相同景物在不同的局部图像中对应起来,以便于图像无缝合成。图像配准之后,在某些情况下,由于拍摄时光照、环境条件(如噪声、云、烟雾、雨等)、视野、地点的差异,两幅待拼接图像地重叠区域可能会有较大的差别。如果直接对这样的图像进行简单的叠加拼合,得到的拼接图在拼接位置上会存在明显的接缝以及重叠区域的模糊和失真现象。因此需要一种技术 修正待拼接图像拼接缝附近的颜色值,使之平滑过渡,实现无缝合成。 根据图像的表征层来划分,图像融合可分为三类:像素级融合、特征级融合和决策级融合。常用的融合方法有HIS融合法、KL变换融合法、高通滤波融合法、样条变换融合法、金字塔变换融合法、小波变换融合法等,尤其是多分辨率分析方法(金字塔变换,小波变换等)具有明显的优势。小波变换融合算法主要是利用人眼对局部对比度的变化比较敏感这一事实,根据一定的融合规则,在多幅原

全景图像拼接

实验目的: 图像拼接的目的是将有衔接重叠的图像拼成一张高分辨率全景图像,它是计 算机视觉、图像处理和计算机图形学等多学科的综合应用技术。图像拼接技术是指将对同一场景、不同角度之间存在相互重叠的图像序列进行图像配准,然后再把图像融合成一张包含各图像信息的高清图像的技术。本实验是根据输入的只有旋转的一系列图像序列,经过匹配,融合后生成一张360度的全景图像。 实验步骤: 下图是实验的流程图,实验大体上分为以下几个步骤: ①特征点提取和sift 描述: 角点检测,即通过查看一个小窗口,即可简单的识别角点在角点上,向任何一个方向移动窗口,都会产生灰度的较大变化, 2 1212()R k λλλλ=-+,通过R 的值的大小来判断是否为角点。H=22x x y y x y I I I I I I ????????,1λ, 输入图像序列 特征点检测 Sift 描述 RANSAC 特征匹配 根据两两匹配求出焦距f 投影到圆柱表面 图像融合 输出图像

为矩阵的两个特征值。实验中的SIFT描述子是对每个角点周围进行4个区域2 进行描述,分别是上下左右四个区域,每个方块大小为5*5,然后对每个方块的每个点求其梯度方向。SIFT方向共有8个方向,将每个点的梯度方向做统计,最后归为8个方向中的一个,得到分别得到sift(k,0),sift(k,1)···sift(k,8),k为方块序列,0-8为方向,共有四个方块,所以生成32维的向量,然后按幅值大小对这32维向量进行排序,并找出最大的作为主方向。 图为角点检测和sift描述后的图 ②.如果直接根据描述子32维向量进行匹配的话,因为噪声的影响,角点检测的 不准确,会导致找出一些错误的匹配对,如何去掉这些错误的匹配呢?RANSAC 算法是基于特征的图像配准算法中的典型算法,其优点是:可靠、稳定、精度高, 对图像噪声和特征点提取不准确,有强健的承受能力,鲁棒性强,并且具有较好 的剔出误匹配点的能力,经常被使用在图像特征匹配中。RANSAC的基础是大多 数的点是正确的,然后在这些正确的点的基础上找出模型,算出其他点和这模型

基于特征点的全自动无缝图像拼接方法

-2083- 0引言 图像拼接是计算机视觉领域的一个重要分支。它是一种将多幅相关的重叠图像进行无缝拼接从而获得宽视角全景图像的技术。近年来,国内外对于图像拼接各细节的研究已取得了一些成果[1~3],但对于尺度、视差及光照变化较大的图像序列的拼接效果还有待提高。此外,目前对于完整的全自动无缝图像拼接技术的研究还较少。针对以上现状,本文给出了一种基于特征点的全自动无缝图像拼接方法。该方法依据图像拼接过程中各阶段涉及的理论与技术,利用RANSAC (ran-dom sample consensus )算法、引导互匹配、加权平滑算法等技术克服了传统图像拼接技术中的局限性(如光照、尺度变化的影响等),实现了光照和尺度变化条件下的多视角无缝图像拼接。 1拼接方法的总体设计 文中的图像拼接技术包括4大部分:图像获取;特征点提 取与匹配;图像配准;图像融合。各部分均采用了当前图像处理领域的先进算法,并使用相应的精炼技术对各部分的处理结果进行优化,以达到较理想的拼接效果。整个技术的实现 流程如图1所示。 2图像获取 图像获取是实现图像拼接的前提条件。不同的图像获取 方法会得到不同的输入图像序列,并产生不同的图像拼接效果。目前,获得图像序列的方法主要有3种[4]:①照相机被固定在三脚架上,通过旋转照相机获取图像数据;②照相机固定在可移动平台上,通过平行移动照相机获取图像数据;③手持 收稿日期:2006-04-20E-mail :lihan409@https://www.360docs.net/doc/7113452586.html, 作者简介:李寒(1981-),女,辽宁沈阳人,硕士研究生,研究方向为数字图像处理;牛纪桢,女,副教授,研究方向为计算机应用;郭禾,男,副教授,研究方向为数字图像处理、计算机应用。 基于特征点的全自动无缝图像拼接方法 李 寒,牛纪桢,郭禾 (大连理工大学计算机科学与工程系,辽宁大连116023) 摘 要:提出了一种基于特征点的全自动无缝图像拼接方法。该方法采用对于尺度具有鲁棒性的SIFT 算法进行特征点的提取与匹配,并通过引导互匹配及投票过滤的方法提高特征点的匹配精确度,使用稳健的RANSAC 算法求出图像间变换矩阵H 的初值并使用LM 非线性迭代算法精炼H ,最终使用加权平滑算法完成了图像的无缝拼接。整个处理过程完全自动地实现了对一组图像的无缝拼接,克服了传统图像拼接方法在尺度和光照变化条件下的局限性。实验结果验证了方法的有效性。关键词:图像拼接;SIFT 特征点;引导互匹配;随机抽样一致算法;变换矩阵中图法分类号:TP391 文献标识码:A 文章编号:1000-7024(2007)09-2083-03 Automatic seamless image mosaic method based on feature points LI Han, NIU Ji-zhen, GUO He (Department of Computer Science and Engineering,Dalian University of Technology,Dalian 116023,China ) Abstract :An automatic seamless image mosaic method based on feature points is proposed.First a scale-invariant feature extracting algorithm SIFT is used for feature extraction and matching.In order to improve the accuracy of matching,guided complementary matching and voting filter is used.Then,the transforming matrix H is computed with RANSAC algorithm and LM algorithm.And finally image mosaic is completed with smoothing algorithm.The method implements automatically and avoids the disadvantages of tra-ditional image mosaic method under different scale and illumination conditions.Experimental results show that the image mosaic method is stable and effective. Key words :image mosaic;SIFT features;guided complementary matching;RANSAC algorithm;transforming matrix 图1图像拼接技术流程 图像融合图像配准(计算H )特征点提取与匹配 图像获取 H=

全景图像拼接融合

全景图像拼接融合算法研究 1 引言 随着计算机视觉、计算机图形学、多媒体通信等技术的发展,各类虚拟现实系统都力图构建具有高度真实感的虚拟场景,因此在背景图像及三维模型纹理图像方面都会选择真实图像作为素材,通过将不同角度的图像进行拼接融合获得广视角图像。因此,无缝平滑的图像拼接融合是构建逼真的模拟训练环境的重要基础。 本文对图像拼接融合算法进行了深入研究,力图构建可以满足各类虚拟现实系统需求的广视角图像。经验证,本文方法可以稳定高效得对多幅图像实现拼接融合,具有较高的实际应用价值。 2 图像拼接融合算法原理 2.1 图像拼接 为了实现相邻间有部分重叠的图像序列的拼接,需要首先确定这些图像序列之间的空间对应关系,这一步工作称之为图像配准。为了确定图像之间的对应关系,需要知道其相应的对应关系模型,一旦确定了图像之间的关系模型,则图像之间的配准问题就转化成确定该模型的参数问题。目前常用的一些关系模型有平移变换模型、刚性变换模型、仿射变换模型以及投影变换模型等。其中,刚体变换是平移变换、旋转变换与缩放变换的组合,仿射变换是较刚体变换更为一般的变换。仿射变换和刚体变换模型则又是投影变换模型的特例。投影变换关系模型可以用齐次坐标表示为: ????????????????????=??????????111~~76543210y x m m m m m m m m y x ……………………………………(1) ???? ??????=176543 210m m m m m m m m M ………………………………………… (2) 其中,投影变换矩阵M 中各参数的意义如下:0m 、1m 、3m 、4m 表示尺度和旋转量;2m 、5m 表示水平和垂直方向位移;6m 、7m 表示水平和垂直方向的变形量。图像配准的实质便是求解投影变换阵M 中的参数。目前对M 求解的典型方法有:模板匹配法、基于图像灰度的配准法、基于图像特征的方法[1]等。 2.2 图像融合 求得两幅图像的最优投影变换矩阵M 之后就确定了它们之间的变换关系。为了得到合成图像,还需要选择合适的图像融合方法来完成图像的拼接。图像融合的任务就是把配准后的两幅图像拼接成一幅无缝图像。一般分两步进行融合,第一步是图像的合并,将两幅图像拼接到同一个坐标空间内,使两幅图像成为一幅图像;第二步是拼缝的消除,去除拼接缝使两幅图像真正能融合成一幅图像。

数字图像镶嵌技术综述

1引言 传统的航空遥感图像镶嵌是先将一系列具有重叠区域的图像进行手工镶嵌,去除多余的重叠部分,再进行大幅区域的判读识别。随着航空航天遥感手段的不断进步,数字传感器大量应用于航空航天遥感图像的拍摄,获得的数字图像数量日益增多,依靠传统的人工镶嵌已不能满足“实时性”的需要。因此,依靠计算机技术的数字图像自动镶嵌技术应运而生。数字图像镶嵌技术就是通过计算机将一系列具有重叠区域的图像集合拼接成一幅大型的无缝的图像。通过图像镶嵌技术,可以剔除冗余信息,压缩信息存储量,从而更加有效地表达信息量。 图像镶嵌技术在宇宙空间探测、海底勘测、医学、气象、地质勘测、军事、视频压缩和传输,档案的数字化保存,视频的索引和检索,物体的3-D重建,军事侦察和公安取证等领域都有广泛的应用。主要表现为: (1)全景图和超宽视角图像的合成: 将普通图像或视频图像进行无缝镶嵌,得到超宽视角甚至360度全景图,这样就可以用普通相机实现场面宏大的景物拍摄。 (2)碎片图像的组合: 将医学和科研的显微碎片图像或者空间、海底探测得到的局部图像合成大幅的整体图像。 (3)虚拟现实: 图像镶嵌是虚拟现实领域里场景绘制(Image—basedRenderi-ng,IBR)方法中的一项基本技术。利用图像镶嵌技术可以生成全方位图像,用全景图表示实景可代替3D场景建模和绘制。 数字图像镶嵌技术综述 王志强,程红 (中国人民解放军空军航空大学,长春130022) 摘要:图像镶嵌技术可分为图像预处理、图像配准和图像缝合三个基本步骤,在现实生活中有着广泛的应用。 本文综述了国内外研究数字图像镶嵌的几类经典算法,对各步骤中所使用的算法进行了分析比较,总结了在不同情况下使用不同方法的优缺点,并对图像镶嵌技术的发展进行了展望。 关键词:图像镶嵌;几何校正;图像配准 中图分类号:TP751.1文献标识码:A文章编号:1001-0270(2008)02-0011-04 AReviewonDigitalImageMosaicTechnique WANGZhi-qiang,CHENGHong (PLAAirForceAviationUniversity,Changchun130022) Abstract:Thebasicimagemosaictechniqueincludesthreesteps:imagepretreatment,registrationandstitchingandisveryusefulinreallife.Inthispaper,sometypicaldomesticandoverseasalgorithmswerereviewedandcomparedbyeachstep.Theadvantagesandshortcomingsofusingdifferentmethodsindifferentconditionsweresummarized;theprospectsofthedevelopmentofimagemosaictechniquewerealsoputforward. KeyWords:imagemosaic;geometricrectification;imageregistration 作者简介:王志强,男(1982-),空军航空大学军事情报学专业在读研究生。 程红,女(1969-),硕士生导师、教授,主要从事遥感图像信息处理。 收稿日期:2007-06-14

图像拼接原理及方法

第一章绪论 1.1图像拼接技术的研究背景及研究意义 图像拼接(image mosaic)是一个日益流行的研究领域,他已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决的问题一般式,通过对齐一系 列空间重叠的图像,构成一个无缝的、高清晰的图像,它具有比单个图像更高的分辨率和更大的视野。 早期的图像拼接研究一直用于照相绘图学,主要是对大量航拍或卫星的图像的整合。近年来随着图像拼接技术的研究和发展,它使基于图像的绘制( IBR )成为结合两个互补领域 ――计算机视觉和计算机图形学的坚决焦点,在计算机视觉领域中,图像拼接成为对可视化 场景描述(Visual Seene Representaions)的主要研究方法:在计算机形学中,现实世界的图像过去一直用于环境贴图,即合成静态的背景和增加合成物体真实感的贴图,图像拼接可以 使IBR从一系列真是图像中快速绘制具有真实感的新视图。 在军事领域网的夜视成像技术中,无论夜视微光还是红外成像设备都会由于摄像器材的限制而无法拍摄视野宽阔的图片,更不用说360度的环形图片了。但是在实际应用中,很 多时候需要将360度所拍摄的很多张图片合成一张图片,从而可以使观察者可以观察到周围的全部情况。使用图像拼接技术,在根据拍摄设备和周围景物的情况进行分析后,就可以将通过转动的拍摄器材拍摄的涵盖周围360度景物的多幅图像进行拼接,从而实时地得到 超大视角甚至是360度角的全景图像。这在红外预警中起到了很大的作用。 微小型履带式移动机器人项目中,单目视觉不能满足机器人的视觉导航需要,并且单目 视觉机器人的视野范围明显小于双目视觉机器人的视野。利用图像拼接技术,拼接机器人双 目采集的图像,可以增大机器人的视野,给机器人的视觉导航提供方便。在虚拟现实领域中,人们可以利用图像拼接技术来得到宽视角的图像或360度全景图像,用来虚拟实际场景。 这种基于全景图的虚拟现实系统,通过全景图的深度信息抽取,恢复场景的三维信息,进而建立三维模型。这个系统允许用户在虚拟环境中的一点作水平环视以及一定范围内的俯视和仰视,同时允许在环视的过程中动态地改变焦距。这样的全景图像相当于人站在原地环顾四 周时看到的情形。在医学图像处理方面,显微镜或超声波的视野较小,医师无法通过一幅图 像进行诊视,同时对于大目标图像的数据测量也需要把不完整的图像拼接为一个整体。所以把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键环节圆。在遥感技术领域中,利用图像拼接技术中的图像配准技术可以对来自同一区域的两幅或多幅图像进行比较,也可以利用图像拼接技术将遥感卫星拍摄到的有失真地面图像拼接成比较准确的完整图像,作为进一步研究的依据。 从以上方面可以看出,图像拼接技术的应用前景十分广阔,深入研究图像拼接技术有着很重 要的意义 1.2图像拼接算法的分类 图像拼接作为这些年来图像研究方面的重点之一,国内外研究人员也提出了很多拼接算 法。图像拼接的质量,主要依赖图像的配准程度,因此图像的配准是拼接算法的核心和关键。根据图像匹配方法的不同仁阔,一般可以将图像拼接算法分为以下两个类型: (1) 基于区域相关的拼接算法。 这是最为传统和最普遍的算法。基于区域的配准方法是从待拼接图像的灰度值出发,对 待配准图像中一块区域与参考图像中的相同尺寸的区域使用最小二乘法或者其它数学方法 计算其灰度值的差异,对此差异比较后来判断待拼接图像重叠区域的相似程度,由此得到待

图像融合算法概述

图像融合算法概述 摘要:详细介绍了像素级图像融合的原理,着重分析总结了目前常用的像素级图像融合的方法和质量评价标准,指出了像素级图像融合技术的最新进展,探讨了像素级图像融合技术的发展趋势。 关键词:图像融合; 多尺度变换; 评价标准 Abstract:This paper introduced the principles based on image fusion at pixel level in detail, analysed synthetically and summed up the present routine algorithm of image fusion at pixel level and evaluation criteria of its quality. It pointed out the recent development of image fusion at pixel level, and discussed the development tendency of technique of image fusion at pixel level. Key words:image fusion; multi-scale transform; evaluation criteria 1.引言: 图像融合是通过一个数学模型把来自不同传感器的多幅图像综合成一幅满足特定应用需求的图像的过程, 从而可以有效地把不同图像传感器的优点结合起来, 提高对图像信息分析和提取的能力[ 1] 。近年来, 图像融合技术广泛地应用于自动目标识别、计算机视觉、遥感、机器人、医学图像处理以及军事应用等领域。图像融合的主要目的是通过对多幅图像间冗余数据的处理来提高图像的可靠性; 通过对多幅图像间互补信息的处理来提高图像的清晰度。根据融合处理所处的阶段不同,图像融合通常可以划分为像素级、特征级和决策级。融合的层次不同, 所采用的算法、适用的范围也不相同。在融合的三个级别中, 像素级作为各级图像融合的基础, 尽可能多地保留了场景的原始信息, 提供其他融合层次所不能提供的丰富、精确、可靠的信息, 有利于图像的进一步分析、处理与理解, 进而提供最优的决策和识别性能. 2.图像融合算法概述 2.1 图像融合算法基本理论

大作业图像拼接

图像拼接报告 学院(系):软件学院 专业:软件工程(日强) 班级: 0809 学号: 6 姓名:师慧波 大连理工大学 Dalian University of Technology

图像拼接技术研究的背景及意义 在实际应用中,经常会用到超过人眼视野范围甚至是全方位的高分辨率图像,普通数码相机的视野范围往往难以满足要求。为了得到大视野范围的图像,人们使用广角镜头和扫描式相机进行拍摄。但这些设备往往价格昂贵、使用复杂,而且在一幅低分辨率的图像中得到超宽视角会损失景物中物体的分辨率,所以,使用广角镜头和扫描式相机只能部分的解决这一问题。此外,广角镜头的图像边缘会难以避免的产生扭曲变形,不利于一些场合的应用。为了在不降低图像分辨率的条件下获取大视野范围的图像,人们提出了图像拼接技术,将普通图像或视频图像进行无缝拼接,得到超宽视角甚至360度的全景图,这样就可以用普通数码相机实现场面宏大的景物拍摄。利用计算机进行匹配,将多幅具有重叠关系的图像拼合成为一幅具有更大视野范围的图像,这就是图像拼接的目的。 本文的研究内容与组织结构 本文研究的重点是使用数码相机或手机手持拍摄的图像的全自动拼接。算法的基本流程如下: (1)读取n 副连续有重叠部分的图像,在n 副图像中检测SIFT 特征,并用SIFT 特征描述子对其进行描述。 (2)匹配相邻图像的特征点,并根据特征点向量消除误匹配。 (3)使用RANSAC 方法,确定变换参数。 (4)图像融合 简介 对手持相机拍摄得到的照片,即相机运动不受限制,两幅图像的关系可近似归结为初等坐标变换,即平移、旋转和缩放的组合。设)','('),,(y x p y x p ,为两幅图像 ',I I 的对应点,则二者关系由下式确定 ??? ? ? ??==1M '7 6 543 210 m m m m m m m m MX X (1) 其中()()'''1,1T T X x y X x y ==是两点的齐次坐标, M 是两图像间的变换矩阵,含有八个参数。一旦M 确定,则两幅图像的变换关系即可确定。

图像拼接技术的研究历史悠久

图像拼接技术的研究历史悠久。早期用于航空遥感照片合成,由于飞机或卫星上相机和地面景物之间距离很远,这种图像配准采用简单的模板匹配法。这种方法在现在也有广泛应用,可应用于航空图片合成、大文档扫描合成,视频压缩。在20世纪90年代随全视函数、全景建模、光场与光照图、同心拼图、全景图概念的提出,模型维数不断下降。自1994年Chen等人提出全景图拼接技术,国内外出现很多关于全景图生成技术的文章。 全景图生成技术的基本思想是通过普通相机或摄像机对场景信息进行照片图像或视频图像采样,在固定的视点,使相机在水平面内旋转一周拍摄场景,得到一组具有重叠区域的连续环视图像序列:将图像由相机坐标投影到空间坐标:利用图像配准方法寻找将环绕一周的这组图像中,两两相邻的图像间的重叠的区域;将确定的重叠区域利用图像融合方法进行图像序列的无缝拼合,得到一幅全景图像。全景图像根据其选取视点空间的不同可分为:平面、柱面、球表面、立方体表面。 目前图像配准的研究方法主要集中为基于灰度相关的方法、相位相关法、基于特征的方法。基于灰度相关方法的计算量较大,很多力求缩小模版配准计算量的改进算法被提出来。国防科大开发的HVS系统,采用的是一种基于特征线段的图像匹配算法。封静波提出相似曲线的拼接算法通过匹配两幅图像重叠区域每列梯度最大值曲线完成拼接,大大减少了传统模板匹配方法的计算量。薛峰综合基于灰度相关和特征相关算法的优点提出了基于最大梯度和灰度相关的两步配接方法。于乱采用形状模板对模板内图像的边缘点与模板边界的最短距离统计实现特征点匹配。李文辉提出采用基于粒子群优化(POS)的多分辨率算法。 1975年相位相关法由Kuglin和Hines提出,具有场景无关性,能够对纯粹二维平移的图像精确地对齐。DeCastro和Morandi发现用傅立叶变换确定旋转对齐就像平移对齐一样。Reddy和Chatterji改进了Decastro的算法,大大减少了需要转换的数量。张世阳采用了基于2幂子图像的FFT对齐方法,从而减小了FFT的计算量加快图像对齐速度和减小图像间重叠率。吴飞采用基于快速傅立叶变换的图像配准算法求取两相邻视频帧之间的配准系数。 基于特征的图像对齐典型的是基于图像几何特征的对齐方法。几何特征分为低级的 学硕士学位论文基于特征点的嘴卜任曰生成执术的研究 特征,如边、角和高级特征如物体的识别、特征之间的关系。文(34)通过二维高斯模 糊过滤可以得到一些低级特征模型,如边模型、角模型和顶点模型。因为角模型提供了 比坐标点更多的信息,文〔35)中基于几何角模型提出了图像对齐算法,文〔36〕中基 于几何点特征优化匹配和文(37)中利用小波变换提取保留边(。dge一preserving)的视 觉模型进行图像对齐。基于高级特征的图像对齐利用低级特征之间的关系或者通过识别 出的物体实现对齐。文(38)利用特征图像关系图进行图像对齐。而如何选择特征是其 中的关键技术,许多研究人员也在从事这方面的究,如提取特征点算子:Morave。算子〔3,,、Forstner算子〔‘0,、susan算子〔“,、HarriS算子〔‘,,,sIFT算子〔‘3,等。边缘检测算 子:Canny算子〔44]、LoG〔46]算子等。此外用于提高特征点配准精度的算法很多,赵炫利用 概率模型理论精确特征点的匹配〔46]。胡社教提出利用KLT跟踪算法精确确定角点位置,提高变换矩阵的求解精度〔4v]。李寒通过引导互匹配及投票过滤方法提高特征点的检测精度〔#8]。赵辉采用相位相关法进行自动排序的特征角点匹配算法〔49]。

视频拼接综述

视频拼接全景摄像机综述 作者:上海凯视力成信息科技有限公司 随着摄像机从模拟走向网络,“高清”日渐成为市场关注的热点,它的出现让人们可以看得更清楚,获得更多的细节。但是,客户在从之前“只能看见人脸”到现在“能看清人脸”的同时,又提出了另一方面的要求,那就是“看得更广”,即在同一个场景中能看到更多的东西。对此,原来是通过用几只摄像头覆盖一个区域,或用快球来回巡航扫描去解决。但在某些场合,这些方案还不能完全满足客户的要求,比如客户需要在同一个画面里确定人的移动,或需要用同一个场景中监看到的事物去说明一些问题,这个时候就需要全景摄像机,本文试图对全景摄像机做一综述。作者:上海凯视力成信息科技有限公司 1.全景摄像机的好处 全景摄像机可以带来如下好处: (1)超宽监控视角。一枚鱼眼镜头尽收360度全景,四周的影像一次尽收眼底,完全消灭死角。 (2)降低成本。一台好的全景摄像机可以替代多台传统摄像机的应用,这种360度实时全景监控能力,使得无需为涵盖整个监控区域而安装多台摄像机,因 而节省了摄像机硬件投资。监控摄像机路数大大减少,可以节省配套设备, 如镜头、防护罩、布线、电源、录像、显示等相应配件和设备的成本,还可 降低施工布线难度,节省安装时间、人工费用以及后续维护费用。 (3)虚拟PTZ技术。采用虚拟PTZ技术,可以放大或移动监控视野内的图像区域,当转变方向观察另一个图像区域时,不会发出任何噪音,隐秘且不易察觉。 由于没有机械移动部件,不需要时刻的进行机械化运转,全景摄像机不会发 生任何磨损,产品结实耐用,使用寿命大大延长。全景环视的图像失真矫正 可对多个图像区进行,这样,与机械PTZ摄像机不同,全景摄像机能同时观 察和摄录多个不同的区域。作者:上海凯视力成信息科技有限公司

相关文档
最新文档