建筑物图像识别

建筑物图像识别研究

摘要：随着城市化进程的不断发展，城市人口、经济等要素密切影响着城市建筑物的几何形态与分布。从航拍图像或者卫星图像上快速准确的获取城市建筑物的信息不仅有利于地理空间数据的更新，而且对于有效监测新增建筑等城市专题信息有重要意义。不仅如此，近年来基于卫星图像或者航拍图像的建筑物识别与轮廓提取算法的提出与研究改进，更有助于实现对城市建筑物的识别和分类。其对GIS 数据的获得、对影像的理解、大比例尺制图和及其它许多对遥感数据的应用都具有重要的意义。

基于此，本文从建筑物轮廓的几何形态出发，对卫星图像中的建筑物轮廓的提取方法进行了研究。主要进行了如下几方面工作：

1、阐述了建筑物提取的基础理论。对典型城市建筑物进行了特征分析，学习并理解在建筑物的轮廓提取中所要用到的算法，从中选择合适的边缘检测与轮廓提取算法。

2、在对已有方法进行总结归纳的基础上，系统的研究了基于灰度特征与二值数学形态学的轮廓描述算法和基于边缘特征的Hough变换直线提取算法，对这两种算法进行改进，初步实现了典型城市建筑物的半自动提取。

3、针对本文出现的方法进行编程实现，并针对试验结果对这两种方法进行综合的检测与评价，分析了这两种方法的特点及不足。

关键词：卫星图像；建筑物轮廓；二值数学形态学；边缘检测；直线提取

Building Image Recognition and Research

Abstract: With the continuing developing of urbanization, the urban population, economic and other factors are closely affecting the city building’s geometry and distribution. It is not only conductive to the data updating of geospatial, but also has important significance of the thematic information for effective monitoring of new city buildings and so on that accessing information form the city buildings aerial images or satellite images fast and accurately. Moreover, in recent years, building on satellite images to identify and contour extraction or aerial imagery and research to improve the algorithm proposed, but also help achieve the identification and classification of city buildings. Its GIS data acquisition, image understanding, large scale mapping and many other applications are of great significance.

This paper is start form the geometry of the building outline, doing research of the extraction methods for the building outline which from high resolution images. Mainly for the following work areas:

1.Describes the basic theory of building extraction. Urban buildings typical

characteristic analysis, systematic study of image processing algorithms to use in extraction of the building, from which to select the appropriate algorithm for edge detection and contour extraction.

2.On the basis of summarizing the existing methods, the proposed feature

extraction based on gray and binary mathematical morphology the contour edge detection algorithm based on linear Hough transform algorithm, the semi-automatic extraction of typical urban buildings.

3.We were against the proposed method programming, and comprehensive

testing and evaluation of these two methods for the test results, the characteristics and drawbacks of the two methods.

Key words:Satellite images, Building outline, Binary mathematical morphology，Edge detection，Line Extraction

目录

1 绪论 (1)

1.1 研究背景和意义 (1)

1.1.1 研究背景 (1)

1.1.2 研究意义 (1)

1.2 研究现状 (2)

1.3 本文的主要内容 (3)

2 建筑物图像预处理的基础理论 (6)

2.1 建筑物的特征分析 (6)

2.2 建筑物几何特征分类 (6)

2.3 图像增强 (8)

2.3.1 灰度变换 (8)

2.3.2 直方图均衡变换 (14)

2.4 本章小结 (19)

3 基于灰度特征的建筑物轮廓提取 (20)

3.1 图像二值化 (20)

3.2 二值数学形态学 (25)

3.2.1 膨胀与腐蚀 (25)

3.2.2 开启与闭合 (27)

3.3 本章小结 (31)

4 基于边缘特征的建筑物轮廓提取 (32)

4.1 边缘检测 (32)

4.1.1 边缘检测技术 (32)

4.1.2 边缘的分析 (33)

4.1.3 关于梯度的概念 (33)

4.2 边缘检测算子 (34)

4.2.1 罗伯特(Robert)边缘算子 (35)

4.2.2 索贝尔(Sobel)边缘算子 (35)

4.2.3 Prewitt边缘算子 (35)

4.2.4 拉普拉斯(Laplacian)边缘算子 (36)

4.2.5 坎尼(Canny)边缘算子 (37)

4.2.6 边缘检测算子比较 (40)

4.3 直线段提取 (42)

4.3.1 基于连接的直线段提取算法 (42)

4.3.2 经典Hough变换算法 (43)

4.3.3 经典Hough变换实验结果 (46)

4.4 本章小结 (48)

5 总结与展望 (49)

5.1 总结 (49)

5.2 展望 (50)

参考文献 (51)

致谢 (53)

1 绪论

1.1 研究背景和意义

1.1.1 研究背景

近年来，不断发展的空间技术使卫星图像与遥感图像呈现出高空间分辨率、高光谱分辨率和高时间分辨率的特点。这些图像数据包含丰富的地物细节信息，为地物提取提供了丰富的数据源。人工地物是空间地理信息库中的重要元素，主要包括建筑物、桥梁、道路和大型工程构筑物，在城市区域的影像中80%的目标是建筑物和道路。建筑物作为重要的人工地物之一，与人们的生活息息相关，其提取对数字地图、GIS数据库更新、数字城市建模、虚拟城市、虚拟旅游、游戏业等的发展有很大的促进作用。基于此，建筑物信息的提取与描述方法处于不断的发展与完善过程中，是摄影测量与遥感、计算机视觉、图像理解等领域的研究热点，同时，由于问题的复杂性也是一个难点。因此，探索快速、高效、准确的从卫星影像中提取出建筑物轮廓的方法已经成为当前遥感应用研究领域一个重要的课题，急待解决。从实际应用角度来说，实现图像中建筑物的识别需要能够满足影像制图、地理信息系统的数据获取和自动更新的需要；从研究的角度出发，由于影像中目标的高度多样性和复杂性，成功的建筑物自动识别系统将为其他类型的影像理解问题提供具有普遍指导意义的理论和方法。因此，如何识别和提取图像中的建筑物是图像处理领域中的重要的研究课题之一。

1.1.2 研究意义

随着航空航天领域的技术越来越成熟，各种高分辨率卫星传感器的发射，所获取的地面图像质量也越来越高。利用卫星图像或者航空照片来对地物进行信息提取，大大提高了工作效率。伴随着海量卫星影像数据的提供，其信息提取与处理方法却相对进展缓慢。人工解译与人工判读仍然是普遍的工作方式，费时费力，成为制约高分辨率卫星影像大范围应用的主要瓶颈因素之一。从影像上自动识别地物类型并精确量测地物形状、大小，是卫星影像和摄影测量研究中的热点和难点，也是最终高度自动化地由影像获取基础地理信息的关键问题。人工地物是空间地理信息库中的重要元素。作为地物类别中的主要内容，建筑物的识别与提取占有很大的比例。作为地形图中重要的成图元素，建筑物的识别与提取，直接影响到地物绘测的自动化水平。由于建筑物具有明显的定位特征，所以对它的识别和了为特征提取、特征匹配、图像理解、制图和作为其他目标的参照体有重要的意义。从实际应用角度来说，实现影像中建筑物的识别需要能够满足遥感影像制图、地理信息系统的数据获取和自动更新的需要；从

1

研究的角度出发，由于遥感影像中目标的高度多样性和复杂性，成功的建筑物自动识别系统将为其他类型的影像理解问题提供具有普遍指导意义的理论和方法。

1.2 研究现状

图形分析的基本任务之一是从航空或者卫星图像中自动提取人造目标。特别的，建筑物是城区的重要特征，提取建筑物的技术在城市制图、城市规划、地理信息工程以及军事侦察等领域有着广泛的应用。在这些应用中，产生了许多自动提取建筑物的方法。综合目前关于利用高分辨率航空相片或卫星影像提取建筑物等人工地物信息的方法，总体上大致可以分为两类：

第一类是研究的最为广泛和深入的方法，是利用图像信息结合高程信息进行建筑物信息的提取。该方法的主要原理是利用建筑物与周围环境之间存在的高差进行建筑物屋顶的提取，已经有大量的比较成熟的算法，如CSG方法等。有些成熟的商业化软件系统就附加有此项功能。但此类方法大多需要辅助数据（如DEM、DSM等）。

另一类是利用影像信息结合图像处理与分析、机器视觉、人工智能等学科领域的新方法而实现对建筑物屋顶信息半自动甚至全自动的识别与提取。该方法的特点是不需要其它的外部信息源，也不需要多景图像，因此相对于前一种方法具有更为广泛的应用范围和应用前景。

由于后一类方法利用的信息主要是图像的灰度信息、光谱信息、建筑物的形态信息以及一部分先验知识，而缺乏对识别建筑物非常有用的表面高度信息，不像第一类方法中有大量信息可用。因此，从有限的图像表面信息中提取出建筑物的信息，其难度要较前者大。加之，高分辨率商业卫星数据的提供起步较晚，到目前为止，仍处于方法的研究和探索阶段。另外，由于建筑物本身结构的复杂性；在城市环境中，建筑物常常被一些其他人造目标或者自然目标包围，这就给提取建筑物造成影响，成为干扰因素。比如提取房屋的直线边缘时，如果该房屋边缘与道路平行且相邻，在边缘检测后的影像中很容易把道路和房屋边缘混淆；城市建筑物影像中，由于拍摄角度的倾斜容易使一部分建筑遮蔽了另一部分建筑，被遮蔽的建筑物的提取就还得根据其他信息或是采用特殊的方法来完成；另外，受光线的影响，建筑物的阴影也会对提取产生干扰，有时候阴影的灰度会与建筑物的灰度相接近，这样很难判断建筑物的边缘；还有就是我们所利用的影像还会受到成像条件、图像质量、光谱范围等因素的影响，造成信息的损失或者像片的差异较大。这些都是建筑物提取所面临的困难。

2

本文主要研究第二类方法中的基于灰度信息与建筑物形态信息的轮廓提取算法。以下列出了一些国内外的研究现状。

本类研究中对于建筑物的自动提取技术的研究，可以追溯到上世纪八十年代中后期。根据所查找的文献资料显示，南加州大学的Nevatia所领导的研究小组最早在美国国防高级研究项目管理机构的支持下展开了相关的工作，其研究成果代表了该领域研究的一个方向，A.Huertas和R.Nevada主要根据图像中线段的空间关系进行分析，结合感知分组理论对建筑物目标进行假设和验证[1]。进入二十世纪九十年代，建筑物自动提取技术的研究意义逐渐为更多的学者所认识。九十年代初期，该领域的研究逐渐展开，这一时期代表性的有R.B.Irvi，以及yuh-tay liow等，其提出了利用阴影提取建筑物的新思路，充分挖掘图像中的有用信息，利用领域知识指导目标提取[2]。C.Lin 与Nevitia等提出根据感知分组理论，利用边缘检测算法得到图像中的边缘，再对边缘图像中的边缘线段根据空间关系进行分组，搜索平行线，并在此基础上搜索矩形，以组成符合建筑物空间结构的轮廓，从而得到建筑物位置[3]。

在国内的一些专家学者对图像边缘检测以及对建筑物的半自动提取也做了比较深入的研究。赵洁等利用小波变换方法实现对遥感影像数据中的建筑物识别[4]。李魏岳等尝试使用边缘检测算子与数学形态学相结合的方法提取高分辨率多光谱影像中的建筑物信息[5]。王大莹等基于Matlab平台，采用数学形态学方法对数据实现建筑物边缘信息提取，并与LoG算子、Canny算子这两种方法进行了对比[6]。王永刚等利用数学形态学及区域标识和面积阈值分割等相关知识和技术实现提取建筑物轮廓信息提取[7]，王波等用边缘检测算子进行边缘检测后，再用改进的Hough变换提取直线段来完成提取建筑物的边缘检测[8]。赵月云等利用canny算子及影像分割技术实现建筑物信息提取[9]。赵国庆等基于数学形态学进行建筑物分类提取后，再利用Hough算法实现对建筑物边缘信息的提取[10]。上述方法都能提取出建筑物边缘信息，有的方法虽然简单，但是部分建筑物边缘空间信息会被遗漏；有的方法比较复杂，计算量大，不便于在实际应用中操作。

1.3 本文的主要内容

针对遥感图像中建筑物的检测和识别已经有了很多解决方法。但是，建筑物提取的最终目的是走向实际应用，国内外虽然已经实现了一些实验系统，但是距离真正完善的自动系统还存在差距，算法完全满足实用要求依然有待探索和完善。本文的目的就是将建筑物图形轮廓的识别与提取的算法作为方向，初步实现建筑物的提取与识

3

别。本文中的图片数据均来自于谷歌地球卫星图像。本文的研究步骤如图1-1所示。

本文分为五章展开。

第一章首先介绍了建筑物提取技术的应用背景与发展现状，然后介绍了建筑物提取技术的主要研究内容和现有的研究方法，最后介绍了本文的主要研究工作与及内容安排。

第二章对建筑物的特征进行了分析，介绍了进行建筑物图像处理的的一些基础理论，包括了对建筑物图像处理前所要进行的图像增强的各种方法。

第三章提出了基于边缘特征与二值数学形态学的轮廓描述算法，对该算法进行编程实现。并针对该算法给出的试验结果进行综合的检测与分析。

第四章介绍了建筑物的边缘检测与直线提取的相关理论，并针对不同的边缘检测算子进行编程实现，对实验结果进行了比较，选择合适的边缘检测算子进行直线段提取。并对提取结果进行分析。

第五章是总结和展望，总结本文的研究内容，提出进一步研究的方向。

4

5

图1-1 论文工作流程

卫星图像

基于边缘特征的直

线提取

基于灰度特征的轮

廓描述

边缘检测算子

预处理后的图

像图像二值化

形态学开闭运

算

边缘检测Hough 变换提取直线

完成轮廓提取

图像预处理

2 建筑物图像预处理的基础理论

在本章中，主要介绍了建筑物图像处理的基础理论，分别对建筑物的外观特征进行了分析并对图像增强的概念进行了理论介绍。为以后章节的建筑物轮廓提取奠定了基础。

2.1 建筑物的特征分析

建筑物虽然是一类很有规律的人造目标，但是如果从其风格和外形上来分，就会有成千上万种。但是实际上,在城市模型中，绝大多数建筑物的外形主要集中在少数具有代表性的类别中。本着适应普遍建筑物的目的,在实际操作中，可以对那些具有普遍特征的建筑物运用一定方法去自动化提取，对于复杂特殊的建筑物辅以人工手段来解决。

建筑物作为一种比较规则的人工地物，如果从其风格和外形上来说，有成千上万种。但在实际上，对于城市建筑物，大多数的建筑物为矩形或矩形的组合，外形主要集中在少数具有代表性的模型当中。对于此类普遍类型的建筑物，其特征可以归结为以下几个方面：

（1）几何特征

建筑物在遥感影像上表现为面状地物，按照顶部的投影形状可以分为矩形、L 形、U形、以及由多直角构成的建筑物，它们的相邻边缘相垂直。按照顶部的立体形状分为平顶形和人字形。几何特征另外的表现就是排列比较规整，基本走向一致，大小一般是长几十米，宽十几米。

（2）灰度特征

建筑物在遥感影像上的灰度特征表现为，建筑物的边缘以及不同建筑物的连接处的灰度变化比较大，而建筑物内部灰度值相对比较均匀，与周围环境对比度比较大；屋顶与道路的光谱值相仿，但纹理不同；平顶建筑物的纹理分布均匀，人字形建筑物在同一侧具有相同的纹理。

（3）拓扑和上下文特征

建筑物在影像上表现为规则的面状地物，具有多边形的拓扑特征，大多数为矩形或由矩形组合构成的多直角形状，与道路、水系等线性地物不相交，常常受其它建筑物或树木的遮挡。建筑物边缘附近存在阴影，建筑物周围通常是水泥地或绿地。2.2 建筑物几何特征分类

本文中采用的的建筑物具有鲜明的几何特征，而几何特征的分类是以构成屋顶的

6

7

平面的个数来给大部分建筑物的屋顶进行分类[11]。大致可分为以下三种类型 （1）单平面型

实际上就是常见的平顶屋顶，整个屋顶是由一个水平平面组成。根据水平平面的外形不同又可以将其进一步分成诸如矩形、L 型、U 型、H 型和任意多边型。.它们的外形大致如图2.1所示:

图2-1 单平面屋顶类型

（2）双平面型

这种类型的建筑物一般是由两个斜平面相交形成屋顶，这也是一类比较常见的建筑物。根据两个斜平面的外形,它也可以细分为许多类型,其中较常见类别如图2.2所示:

图2-2 双平面屋顶常见外形

（3）四平面型

该类型建筑物屋顶由四个斜平面相交形成，它是双平面屋顶的一种变异,

其外形

8

如图2.3所示:

图2-3 四平面屋顶的典型外形

我们把常见的典型建筑物划分为上述3个大类。当然，这些类别不可能包括建筑物的全部类别(比如圆顶房屋)，但是希望可以概括大部分建筑物的类型。对于比较复杂而且无法用上述类型概括的建筑物，我们可以利用手工采集，或者将其加入到建筑物类别库中进行再分析。利用上述建筑物模型可以大大简化我们重建建筑物的过程以及获得较高的测量精度。

2.3 图像增强

在对图像中的建筑物进行识别与提取前首先要对图像进行增强处理，这有助于后续的识别并可以增强提取效果。

图像增强技术大致分为三类：空间域法、频域法和模糊处理法。直接在图像像素空间进行处理的操作叫做空间域法；频域方法是将图像映射到某个变换域后再对图像进行处理；模糊处理方法[12]是先对图像进行模糊化映射，将其变换为特征平面上的模糊图像数据，再对该模糊图像进行相应的处理，使得经过逆映射后的图像具有特征增强的效果。从应用的角度，本节只对图像对比度增强的相关方法做简单的介绍。 2.3.1 灰度变换

灰度变换[13]是一种简单实用的方法,它可使图像动态范围增大，图像的对比度扩展，图像变清晰，特征变明显，是图像增强的重要手段之一。它分为线性变换、分段线性变换和非线性变换三种情况。令原始图像(,)f i j 的灰度范围为[a,b]，线性变换后的图像'(,)f i j 的灰度范围为[a`,b`]，则(,)f i j 和'(,)f i j 之间存在如下线性关系：Equation Chapter 2 Section 1

''

'(,)'((,))b a f i j a f i j a b a

-=+

-- (2-1)

在线性变换中还有一种特殊情况当图像中大部分像素的灰度值在[a,b]范围内，少部分像素在小于a 和大于b 的区间时，为了使这少部分像素压缩为a`和b`之间，

可做

9

如下变换：

',(,)'''(,)'((,)),(,)',(,)a f i j a b a f i j a f i j a a f i j b b a b f i j b

=+-≤

(2-2)

这种两端“截取式”的变换会造成一部分信息丢失。但有时这种取舍也是值得的，常用这种方法分析遥感资料降水问题。

分段线性变换是为了突出人们感兴趣的目标或亮度区间，要求局部扩展亮度值范围。它可以有效利用有限灰度级，达到最大限度增强图像中有用信息的目的。

它将[0,s 1]映射到[0,t 1]，[s 1,s 2]映射到[t 1,t 2]，[s 2,L-1]映射到[t 2,L-1]。

1

1121111221

2

2222

,0(),1(),11t s s s s t t

t t s s s s s s s L t s s t s s L L s ?≤≤???-=+-≤≤?-?

?---+<≤-?

--?

(2-3)

非线性变换通常采用自然对数变换把灰度空间从[a,b]扩展到[a`,b`]，它可以扩展中低灰度区域的对比度、压缩高灰度值，表达式如（2-4）所示：

''

'(,)(ln (,)ln )ln ln b a f i j f i j a a b a

-=

-+-

(2-4)

10

图2-4 西安石油大学新校区图像

图2-5 新校区图像线性变换效果图

图2-6 新校区图像灰度直方图

图2-7 新校区图像线性变换灰度直方图

11

12

图2-8 哈佛大学建筑群图像

图2-9 建筑群图像线性变换效果图

图2-10 建筑群图像灰度直方图

图2-11 建筑群图像线性变换灰度直方图

13

14

上图是建筑物图像灰度线性变换前后对比效果图。通过线性变换后的效果图可以明显看出，图像变得更加清晰，从变换前后的灰度直方图也可以看出，线性变换后的图像灰度对比度明显加大,但直方图形状变化不大。

2.3.2 直方图均衡变换

直方图是表示一幅图像灰度级分布情况的统计图，反映出具有某一灰度的像素数。数字图像的直方图的横坐标是灰度，一般用r 表示,纵坐标是某一灰度值r i 的像素的个数n i 。则一幅灰度图像中灰度级r i 出现的概率近似为

()i

i i n p r n

=

(2-5)

则10

()1k i i i p r -==∑

(2-6)

其中，n 是图像像素的总和，k 为图像对应的总灰度级数。

直方图均衡化[13]是通过变换将原图像的直方图调整为平坦的直方图，然后用此均衡直方图校正原图像。直方图均衡化的变换函数如下所示：

(),0,1,...1j

i

j j i n S T r j k n

====-∑

(2-7)

其中()S T r =，T 是变换函数。

15

图2-12 西安石油大学新校区图像

图2-13 新校区图像直方图均衡化

图2-14 新校区图像灰度直方图

图2-15 新校区图像灰度均衡化后直方图

16