数字化无人机航空像片拼接技术研究

1引言

无人机航空像片以其分辨率高、收容面积大、定

位精度高等优点广泛应用于预先侦察和毁伤评估之中，由此使得无人机航空像片拼接显得尤为重要。从目前无人机部队航空像片拼接处理现状来看，主要采用光学像片的手工拼接方式，这种拼接方式不仅拼接精度低、成本高，而且处理周期长。在该背景下，探讨数字化航空像片拼接方法。本文研究了采用特征匹配算法实现无人机航空像片数字拼接的方法。

2

特征提取

2.1

点特征的提取

点特征主要指明显点，如角点、圆点等，如房屋的角点、道路交叉口等等。提取点特征的算法称为兴趣算子（Interest Operator ）或有利算子，即运用某种算法从影像中提取我们所感兴趣的点。

2.2线特征的提取

线特征是指影像的“边缘”与“线”。“边缘”可定

义为影像局部区域特征不相同的那些区域间的分界线，而“线”则可以认为是具有很小宽度的，其中间区域具有相同影像特征的边缘对，也就是距离很小的一对边缘构成一条线。因此线特征提取算子通常也称边缘检测算子。边缘的剖面灰度曲线通常是一条刀刃曲线，由于噪声的影响，灰度曲线并不是平滑的。对这种边缘进行检测，通常是检测一阶导数（或

作者简介：顾强，男（1983—），甘肃天水人，硕士研究生，主要研究摄影测量与遥感及情报信息处理。

数字化无人机航空像片

拼接技术研究

顾

强，谈国军，程

超，李

金

（解放军炮兵学院，合肥

230031）

摘要：本文阐述了基于特征匹配的无人机航空像片拼接技术。从对影像匹配技术、拼接算法的深入研究，结合

影像特征提取方法，着重分析解决了拼接解算控制点精度和可靠识别问题。

关键词：无人机；特征提取；影像匹配；拼接算法；无缝拼接

中图分类号：P231

文献标识码：A

文章编号：1001-0270(2009)01-0042-04

A Study on the Digital Mosaic Technique of UAV Aerial Photographs

GU Qiang ,TAN Guo -jun ,CHENG Chao ,LI Jin (Hefei PLA Artillery College,Hefei 230031)

Abstract ：This paper expatiates the technique of the UAV aerial photograph mosaic based on the feature matching.By the further study of the technique of the image matching and mosaic algorithm,combining with the method of image feature extraction,it mainly analyses the precision of the connection point and solves the problem of achieving the reliable recognition.

Key Words:UAV ：feature extraction ;image matching ；mosaic algorithm ；seamless mosaic

收稿日期：2008－08-25修回日期：2008－09-25

4

拼接算法

4.1

场景平面参数模型

假设像机拍摄的场景是一个平面，有两种场景

平面参数模型。一种是场景平面垂直于光轴模型。即假设对于像机而言，场景平面垂直于光轴，图像对应

模型如下：

2.3面特征提取

影像中的目标，除了在边界表现出不连续之外，

在目标区域内部具有某种同一性，这种同一性表现为面特征，面特征的提取方法很多，由于面特征不是本文研究的重点，故在此不进行论述。

3影像匹配

影像匹配有时也被称为影像相关，影像匹配的

目的是从两幅影像中识别同名点，这一过程是一个摄影测量视觉的过程，也是一个计算机视觉的过程。

3.1影像匹配的基本原理

最初的影像匹配采用了相关技术，由于原始像片

中的灰度信息可转换为电子、光学或数字等不同形式的信号，因而可构成电子相关、光学相关或数字相关等不同的相关方式。但是，无论是电子相关、光学相关还是数字相关，其理论基础是相同的，即影像相关。

影像相关是利用两个信号的相关函数，评价它们的相似性以确定同名点。即首先取出以待定点为

中心的小区域中的图像信号，然后取出其在另一图像中相应区域的图像信号，计算两者的相关函数，以相关函数最大值对应的相应区域中心点为同名点，即以图像信号分布最相似的区域为同名区域。

3.2基于特征的影像匹配

最小二乘影像匹配，都是以待定点为中心的两

窗口影像的灰度分布为基础的，因此，也称为基于面积的影像匹配。这种方法当待匹配的点位于低反差区内，即在该窗口内信息贫乏，信噪比很小，则其匹配的成功率不高；再者当诸如影像的不连续、目标的阴影以及不同季节、不同时相获取影像所造成的灰度反转等问题，使得基于面积的影像匹配算法就难以适应，而利用基于特征的影像匹配的算法，就能够较好地解决这类问题。

基于特征的匹配简称为特征匹配，在计算机视觉中，也称为基于图元的匹配。特征匹配主要利用影像灰度的急剧变化而形成的点、线、面的特征，特征匹配可分为以下四个过程如图2所示：

差分）最大或二阶导数（或差分）为零的点。常用方法有差分算子、拉普拉斯算子、LOG 算子等。

图像的边缘有方向和幅度两个特性。通常，沿边缘走向的像素变化平缓，而垂直于边缘走向的像素变化剧烈。这种变化可能呈现阶跃型、房顶型和凸缘型，如图1所示。这些变化分别对应景物中不同的物

理状态。例如，阶跃型变化常常对应目标的深度或反射边界，而后两者则常常反映表面法线方向的不连续。实际要分析的图像是比较复杂的，灰度变化不一

定是上述的标准形式。例如，假定灰度呈阶跃变化，而实际的变化出现在一个空间范围，远非理想的阶跃。此外，实际图像不可避免地要混有噪声。

图1灰度变化的几种类型

（a ）阶跃型（b ）房顶型（c ）凸缘型

图2基于特征的影像匹配过程

▲

▲

▲

特征提取特征构成特征描述参数匹配

其中，u ，v ，u ′，v ′为相邻图像的图像位置坐标。利用最小二乘法可得到参数值。另一种是场景平面不垂直于光轴模型。即假设对于像机而言，场景平面不一定垂直于光轴，图像对应模型如下：

其中，u ，v ，u ′，v ′为相邻图像的图像位置坐标。利用最小二乘法可得到参数值。

4.2模型参数的初始值

在计算机自动提取特征点后，采用手工的方式

选取其中的一些目测下位置较一致的特征点作为求取模型参数的初始对应控制点。控制点的位置应当减少局部误差的影响。在系统实现中，最后采用图3的选择方式，在图像的重叠多边形的每个边界角上，一般取2个对应控制点(也可以只选一个点)，这样是为了使得图像拼接后边界处色彩更连续一些，同时，在重叠区域的中间也选了一个点，这是为了增强重叠区域内部匹配的准确性。利用这样得到的对应控制点，通过使用最小二乘法，可以把模型参数的初始值计算出来。

在两幅图像的重叠区域，根据模型计算得到的对应点不一定是真正的对应点。从而对给定的一幅图中的像素点，在计算得到的对应点邻域内(区域大小为

5Pixel ×5Pixel)，要搜索真正的对应点。为了消除旋转

对于相似程度的影响，对于要比较相似程度的两个像素位置，在以像素为中心的3Pixel ×3Pixel 区域内。

为了比较两个像素点的相似程度，定义di 为循环排序的第一个像素位置的0，1，…，7，8像素分别与第二个像素位置的i 模8，(i +1)模8，…，(i +7)模8，8像

素的颜色差值平方和。从而定义与旋转无关的距离为：

i=0,……7这样，找到对应点邻

域内最相似点作为真正的对应点。

4.3模型参数的迭代求解

对于两幅进行拼接的图像，手工选择的对应控制点只是其中的几对，模型参数的迭代求解方法，就是要从这起初手工选取的对应控制点得到尽可能多的

对应点。每次根据模型参数得到新的对应点集，再根据对应点集计算得到新的模型参数，从而形成迭代求解的过程，直到模型参数不再变化，得到稳定的参数解(或者迭代次数超过预定值，此时迭代失败，需要重新选择初始对应控制点)。

具体步骤如下：在两幅图中的重叠区域，对第一幅图中的任一特征点根据模型计算其对应点位置，若对应点的小邻域内(在系统中，采用的是以对应点为中心的5Pixel ×5Pixel 小区域)有特征点存在，则把它们作为一对计算对应点;在计算对应点为中心的

5Pixel ×5Pixel 区域中，把最相似点作为真对应点;利

用新的对应点计算模型参数，如模型参数不稳定，则继续进行迭代。

这种策略的合理性在于，若模型参数误差很小，并且该特征点的真对应点也为特征点，则真对应特征点应该在计算得到的假对应点附近(即在计算得到的假对应点附近应该有特征点存在)。即使在模型参数误差稍微大些的情况下，由于原对应点集中的对应点基本满足参数模型对应关系，从而这些点附近的对应点也是基本满足参数模型的，此时，这些原对应点集附近的对应特征点将很可能先被搜索到。对于整个搜索中，当然可能有假对应特征点存在，但这在整个对应点集中将只占很少数，并且随着正确的对应特征点的数目的增加，将越来越微不足道。

4.4拼接场景图像的生成

要从两幅图构造完整的拼接图像，首先是确定拼接图像的布局位置。采用第一幅图作为拼接图像的参照系，将第二幅图像点对应到第一幅图中去。首先，根据参数模型的逆变换，得到图像二的四个角上像素点的对应点坐标（x 1，y 1），（x 2，y 2），（x 3，y 3），（x 4，y 4）。然后，得到覆盖图像一矩形区域以及图像二对应区域的最小矩形，将它作为新的图像大小。接下来，要确定新的图像中的每一个像素点的颜色值。拼接图像中的像素可分为四个区域，如图4。第一种是既不属于图像1也

图3初始控制点的选取方式

图像1

图像2

图4场景中不同图像区域图5拼接结果图像

不属于图像2的像素点，称之为背景点。第二种是只属于图像1的像素点，称之为图像1点。第三种是既属于图像1也属于图像2的像素点，称之为对应点。第四种是只属于图像2的像素点，称之为图像2点。

由于这四个区域的像素的特点不一样，设定颜色值将要采用不同的策略。对于背景点，将它的像素颜色值赋为黑色。对于图像1点，颜色值不变。对于重叠点，由于它是从图像1点向图像2点的过渡区域，需要额外处理，使得最终的场景图像表现出完整性和平滑过渡性。

设P点在图像1与图像2重叠区域，在拼接图像上，从图像1的区域向图像2的区域过渡的时候图像1的颜色比重要变小，图像2的颜色比重要变大。这样，选择重叠区域中P点离两个图像边界距离大小作为颜色值的比重大小。这在某种程度上体现了这种变化趋势。然后，具体的颜色值用颜色值加权方式得到。对于图像2点，由于以图像1点为坐标架，根据参数变换的计算结果不一定是整数，这就是一个在图像2中重新采样的问题。在实际中，一种最简单的方式是取最近的像素点的颜色值作为该点的颜色值。而通常也可用线性加权平均等方法来求得颜色值。在拼接多幅图像时，由于在拼接图像中将背景用黑色(0，0，0)表示，从而，在进行对应点搜索时，将先判断像素的颜色，如果为黑色，就将它看作背景点，而直接用参数模型计算的结果来得到像素点的颜色。否则，还用前面介绍的方法来确定像素颜色。

根据前面的分析，从而总的处理流程分如下6步：①对基准图像和拼接图像平滑;②生成特征点图;③手工选择初始控制点;④根据对应点计算模型参数，模型参数稳定则执行步骤⑥，迭代次数过大则退出;⑤根据对应点生成新的对应点，执行步骤④;⑥场景图像的生成。

拼接结果如图5所示。

5结论

无人机航空像片拼接的数字化、自动化处理满足了无人机部队对航空像片拼接处理的需求，满足了大范围战场目标判读、定位、监控的需要，从而提高了无人机信息处理能力，在一定程度上提高了无人机作战效能。

参考文献：

［1］Szeliski Richard,Coughlan James.Hierarchical spline-based image registration［C］.Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition,1994.

［2］Peleg Shmuel,Herman Joshua,Panoramic mosaics by manifold projection［C］.Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition,1997.

［3］H.Y.Shum,R Szeliski.Panoramic Image Mosaic［R］.

Microsoft Research:Technical Report,MSRJR-97-23,1997.［4］韦燕凤.基于特征的遥感图像自动配准算法［J］.电子学报，2005.

［5］朴永旭.基于多特征遥感图像配准方法的研究［M］．东北师范大学图书馆，2006。

［6］安兴华，等.一种适用于机群系统的细粒度遥感图像镶嵌并行算法［J］.清华大学学报(自然科学版)，2002，2(10).［7］朱述龙,钱曾波.遥感影像镶嵌时拼接缝的消除方法［L］.遥感学报，2002，6(3).

［8］蒋红成.多幅遥感图像自动裁剪镶嵌与色彩均衡研究［D］.

中科院硕士学位论文，2004.

［9］叶朝阳.大视场图像拼接原理和应用［D］.浙江大学硕士学位论文，2004.