柱面全景图像生成关键技术_赵玉清

中外企业家

2010年第4期（下）总第347期

工程科技·Proj ect Science

在人们实际生活和工作中往往需要获得宽视角、高分辨率

的全景图像，但是由于摄像设备的机械限制，一般只能得到局部的成像，而得到全景图像的硬件设备（全景相机、广角镜头等）一般比较昂贵，不适合普遍应用，于是人们提出了利用计算机进行图像拼接来获得全景图的方法。目前全景图像生成技术广泛

应用于数字视频、

运动分析、虚拟现实技术、医学图像分析、遥感图像处理等领域。

柱面全景图像生成的基本思想是根据图像重叠部分将多张衔接的图像拼合成一张高分辨率全景图。这些有重叠部分的图像一般由两种方法获得：一种是固定照相机的转轴,然后绕轴旋转所拍摄的照片；另一种是固定照相机的光心，水平摇动镜头所拍摄的照片。实景图像的柱面正投影算法是为了将多张实景图像投影到一个圆柱面上，以柱面全景图像的形式存储。这样一方面消除了实景图像之间可能存在的重复景物信息，同时也得到了每张实景图像上的象素点在视点空间中的方位信息。对实景图像进行柱面正投影变换以后，需要对它们进行拼接，形成柱面图像。全景图拼接一般分为两类：（1）图像匹配；（2）图像的拼接。图像的匹配和图像拼接是两个相似而且相关的问题，通常认为拼接和配准的主要区别在与各自重合区域的大小，此外配准的对象可以来自于不同的图像源，而拼接通常是将同一个图像源产生的对同一物体的不同部分的图像结合在一起。另一方面，匹配也是拼接中的最关键的一步操作。

一、图像匹配算法

1.基于空间的像素匹配算法

早先的像素匹配算法是用图像在相邻有重叠部分的图像上平移，然后比较两张图像覆盖区域各个像素的匹配程度，进行所有可能的平移之后选择最匹配的一种情况，该算法运算量极大，而且不能解决图像旋转和尺度缩放的问题。基于使用全局搜索的运算量太大,有一些改进算法选取第一幅图像中的重叠部分的一块矩形区域作为模板,在第二幅图像中搜索相似的对应块,计算其相关度,相关度最大的位置为匹配的位置,该算法运算量有所减少,但仍然很大。

为了进一步减少运算量,又提出了基于列像素的方法,在第一张图像中选取一定间隔的两列,用该两列像素的比值作为模板,在第二张图像中搜索最佳的匹配,从而确定重叠部分的位置。该方法很大程度上减少了运算量,但是仍然不能解决旋转和缩放等问题。

2.基于频域的匹配算法

该算法先对两幅待拼接的图像进行二维离散傅里叶变换,假设变换的结果为X(u,v)和Y(u,v),由相关定理可得相关的离散傅里叶变换:

φ（u ，v ）=X （u ，v ）Y*（u ，v ）（1）再对进行傅里叶反变换即可得到空间域的相关函数:

φ（j ，k ）=M -1

u =0ΣN-1

v =0Σ[X （u ，v ）Y*（u ，v ）]

（2）

由空间域的相关函数即可找出最佳的匹配位置。

以傅里叶变换为基础的相位相关算法,两幅图像的离散傅里叶变换分别为,X （u,v ）、Y （u,v ）,其功率谱为,归一化后可得对应的互功率谱的相位谱:

e jQu ，v =X （u ，v ）Y*（u ，v ）|X （u ，v ）Y*（u ，v ）|

=e j （Q X -Q Y ）（3

）其中,Q X 和Q Y 分别是两幅图像的傅里叶变换的相位。由公式（2）可看出，相位谱是一个位于两图偏移（u,v ）处的δ脉冲函

数，因此可度量两图之间的相似程度。

若用极坐标的方式表示两幅图像，则可用相同的方法计算出图像间的旋转角度。

基于频域的算法可克服相关性噪声和频率噪声,可以大大

减小几何失真对匹配性能的影响,计算速度快,对小平移量、

旋转及变尺度图像的拼接较适合,但是在两张图像重叠部分不大的情况下结果较差。

3.基于图像灰度的匹配方法

基于灰度的方法直接利用图像的灰度信息进行匹配，以此对光源变化较敏感。这种算法精度较高，但计算量过大。

（1）基于相关性的匹配直接利用两幅图像间的灰度信息。在源图像中自动或者手动选取模板，建立与目标图像之间的相似性度量，寻找相似程度最大的。

常选取的模板有：比值匹配法：取源图像上间隔一段距离的两列所对应部分象素的差值作为模板。块匹配法：在源图像中选取一块图像作为模板。网格匹配法：在块匹配的基础上，先进行粗匹配，在进行步长减半的精确匹配，直到步长为0。这种算法较前两种运算量都有减少，但由于大量的矩阵计算实际应用中依然偏大，而且很难实现精确匹配。

衡量模板与匹配图像之间相似性的度量方法常用的有：两幅图像灰度的平方差之和；序贯相似度检测；互相关。

（2）相位相关法：由于傅立叶函数缩放、旋转、平移在频域具有对称性，所以将两幅待匹配图像由空域变换到频域。先用极坐

收稿日期：2010-04-01

作者简介：赵玉清（1986-），女，青海西宁人，硕士研究生，从事红外技术应用研究；孙继银（1952-），男，山东单县人，教授，博士生导师，中国计算机学会高级会员，中国计算机用户协会理事，从事为C4ISR 系统与计算机仿真，虚拟现实技术研究；徐宏波（1986-），江苏盐城人，硕士研究生，从事电子信息研究。

柱面全景图像生成关键技术

赵玉清，孙继银，徐宏波

（第二炮兵工程学院，西安710025）

摘要：全景图是基于图像绘制技术的主要内容。实景图像的柱面正投影算法是为了将多张实景图像投影到一个圆

柱面上，以柱面全景图像的形式存储。

对现有和经典图像配准和图像拼接方法根据其本质特征进行分类。并分析各方法的优缺点最后提出未来发展的方向。

关键词：全景图；图像匹配；图像拼接

中图分类号：J41

文献标识码：A

文章编号：1000-8772（2010）08-0149-02

149

标计算图像旋转，然后通过计算两幅图像功率谱的傅立叶变换得到脉冲函数仅在平移处不为零，计算平移

4.基于特征点的最近邻配准算法

这种方法采用基于特征的配准算法对SIFT方法提取出的特征点用最近邻算法进行配准。主要是在尺度不变特征点(Scale Invariance Feature T ransform-SIFT)的提取方法提取特征点的基础上，利用特征点的相关几何信息实现两幅图像的配准。使得在高维空间搜索效率有较大提升。基于特征的配准法一般分为三个过程:（1）特征提取；（2）利用一组参数对特征作描述；（3）利用特征的参数进行特征匹配。在两幅图像中用同一种特征提取法提取出特征点，根据相似性原则对两幅图像中的特征点进行匹配。

我们称待配准的图像为基准图像，将与基准图像配准的图像为后续图像。由于图像背景模糊或特征点没有被检测到等各种原因，使得很多特征点在后续图像中不能得到正确的匹配。如采取为样本特征点与最近邻特征点的距离设置一个阀值，小于该阀值即判断特征点和样本特征点匹配，从而实现特征点间的匹配。并可以过滤掉某些不正确匹配的特征点，但执行效果并不太理想，因为某些待匹配特征点具有很大的差异性，也有可能被过滤掉。我们采用最近邻算法(Nearest Neighbor-NN)进行配准，即采用样本特征点的最近邻特征点距离与次近邻特征点距离的比值来对特征点进行匹配。

最近邻特征点是指与样本特征点具有最短欧几里德距离的特征点。次近邻特征点是指具有比最近邻距离稍长的欧几里德距离的特征点。用最近邻与次近邻比值来进行特征点的匹配可以取得很好的效果，从而达到稳定的匹配。

如何找到特征点的最近邻和次近邻是NN算法的关键。穷举法能够找到最精确的最近邻距离,但是数目特别大时，计算量会以指数级别增长，实用性就大打折扣。

我们采用一种在K-D树搜索算法基础上改进的搜索算法BBF(Best-Bin-First)来搜索样本特征点的最近邻和次近邻特征点。

K-D树搜索算法是二叉检索树的扩展，K-D树的每一层将空间分成两个。树的顶层结点按一维进行划分，下一层结点按另一维进行划分，以此类推，各个维循环往复。划分要使得存储在子树中大约一半的结点落入一侧，而另一半落入另一侧。当一个结点中的点数少于给定的最大点数时，划分结束。K-D树搜索算法大部分时间花费在检查结点上，并且对高维空间搜索效率降低。

如果通过限制K-D树中叶子结点数，对叶结点设一个最大数目可以缩短搜索时间。但是这种改进方法只是根据K-D 树的结构来决定叶结点的检查顺序，只考虑已存储的结点位置，并没有考虑被查询结点的位置。BBF搜索算法是在K-D树基础上用一个优先级队列实现以结点和被查询结点距离递增的顺序来搜索结点，结点和被查询结点的距离是指它们之间的最短距离。当沿一个方向的分支搜索一结点时，优先级队列会被加入一个成员，该成员记录了该结点相关的信息，包括当前结点在树中的位置和该结点与被查询结点之间的距离。当一个页结点被搜索到后，从队列的队首删除一项，然后再搜索包含最近邻结点的其他分支。该算法具有较高的准确性和较好的鲁棒性。

二、图像拼接算法

1.比值匹配拼接算法

该算法的思路是选取一幅图像重叠部分中间隔的一定距离的两列的比值作模板，在第二幅图像中对应重叠区域搜索最佳匹配，找到与第一幅图像索取模板对应的两列，实现拼接。

若Picture1为（W

1

×H）像素的图像，Picture2为（W2×H）像素的图像，W1和W2可以相等，也可以不等。Picture1和Picture2为左右重叠关系，Picture1在Picture2的左边，本文暂不考虑垂直方向重叠的问题，垂直方向重叠与水平方向类似。

在Picture1的重叠区域选取间隔为span的两列像素（第j

列和第j+span列），计算其对应像素比值，即为a模板，a（i）=P

1（i，j）/P

1

（i，（j+span）），其中i∈（1,H），j为选定的列。在第二幅图

像中从第一列起依次取间隔为span的两列，计算其对应像素的

比值即为b模板，b（i，j）=P

21

（i，j）/P

22

（i，j），其中

P21（i，j）=P2（i，j），（i∈（1,H）∈j（1，W2-span））

P22（i，j）=P2（i，j），（i∈（1,H）∈j（span+1，W2））

计算a模板与b模板差值，即为c模板。c（i，j）=（a（i，j）-（i，j））2，

其中（i∈（1,H）∈j（1，W

2

-span））。c为二维数，计算c对应的列向量求和，就得到sum，sum（j）=

H

i=1

Σc（i，j），sum（j）的大小就反

了两幅图像选定像素对于列的差异，sum（j）的最小值sum

m in

对

应的列坐标Collable

m in

即为最佳匹配。

由以上确定了最佳匹配的位置，就可以计算Picture1和Picture2重叠区域的大小，进行正确拼接。但在实际中由于亮度、色差等原因，如果仅仅通过对两幅图像的简单拼接，则会有明显的拼接缝。结合图像融合技术，在拼接图像的区域实行渐入渐出的方法，可以很好地消除拼接缝，使拼接区域平滑，从而提高图像质量。常用的拼接算法有中值滤波法，小波变换法，加权平均法等。中值滤波法速度快,但质量一般,小波变换法算法复杂，计算量过大，在此就不加以讨论。结合实际，在权衡算法效率质量的基础上采取加权平均的方法来消除拼接缝。即对重叠区域的图像灰度值重新进行计算，P3=d×P1+（1-d）×P2，其中d∈（0,1），P1为第一幅图像的灰度值，P2为第二幅图像的灰度值，P3为融合后图像的灰度值，d的选取可以通过对两幅图像重叠区域的像素点计算来得到，第一幅图像重叠区域所有像素和为sumflap1,第二幅图像重叠区域所有像素和为sumflap2,则d等于第一幅图像重叠区域像素和除以第一幅图像重叠区域像素和与第二幅图

像重叠区域像素和之和，即d=sumflap

1

/（umflap1+sumflap2）。

该算法相比有效地消除了误匹配，从而提高了匹配精度，而且计算量也不是很大，是一种有效的图像拼接方法。

2.基于特征的图像拼接

与基于区域的图像拼接技术不同，基于特征的图像拼接是利用图像的明显的特征来估计图像之间的变换，而不是利用图像全部的信息。

基于轮廓特征的算法是指对图像进行轮廓提取，然后再对提取的轮廓进行匹配，从而确定重叠位置。轮廓提取分两步进行,首先,图像I（x,y）与L aplacian-of-Gaussian（L oG）算子进行卷积,检测出图像像素符号变化的点（过零点）作为边界点,其中L oG算子可分解为两个独立滤波算子（拉普拉斯算子和高斯算子）,加快运算的速度；第二步,利用卷积后图像在x和y两个方

向上的梯度（k

X

,k Y）,计算每个过零点的边缘强度S（x，y）: S（x，y）＝

k2x+k2y

姨（x，y）为过零点

1其

姨

他

（4）然后通过双阈值的方法对过零点进行处理，形成图像的轮廓曲线。提取轮廓之后，利用链码对轮廓进行描述，在匹配阶段，用闭合轮廓的五个形状特征进行匹配：周长，离质心最长和最短的边界点，Hu变换中的一阶和二阶不变矩。

在轮廓提取阶段，先对卷积图进行增强，用区域增长的方法进行辅助校正，改善提取效果，用形状签名代替链码，提高了计算的速度，在一定程度上降低了噪声和镜头形变的影响。

基于轮廓特征的算法可以改善光照的影响，解决旋转的问题，但是要求提取出比较精确的明显的轮廓特征，而轮廓特征的提取易受噪声的干扰，不适用于轮廓特征不明显或噪声干扰较大的图像。

综上，文中讨论了主要的几种匹配拼接技术，分析了各自的优缺点。除了对图像进行匹配拼接，全景图的生成还需对图像拼缝进行对齐和融合，一般的融合方法有两种:一种是基于比值的方法，另外一种方法采用L aplacian金字塔对重叠部分进行分级融合。除了对已有的一些经典算法进行改进，该方面的研究人员不断提出一些新的算法，如近年来就有些研究人员从图像的纹理方面及研究相机的本身参数来实现图像拼接,但由于获取的图像存在的各种几何形变和亮度差异给图像拼接带来的难度。

（责任编辑:陈丽敏）

150