文献翻译+原文

一种马来西亚车牌定位识别系统

Velappa GANAPATHY 1School of Engineering, Monash University Malaysia 2 Jalan Kolej, Bandar Sunway, Petaling

Jaya, Selangor Malaysia

and

Wen Lik Dennis LUI 2School of Engineering, Monash University Malaysia

2 Jalan Kolej, Bandar Sunway, Petaling Jaya, Selangor Malaysia

摘要：在交通系统中，智能科技产品广受欢迎。这些只能系统给不仅有助于交通检测，在机动车安全，执法机关和商业应用中也大有益处。本文提出了一种适于马来西亚车辆的车牌定位和识别系统。此系统基于数字图像处理开发，且可以方便的应用于商业泊车系统并为停车服务提供文本记录，保障车库安全，并且可以预防车辆盗窃事件。本文中提出的车牌定位算法基于一个形态学和改进的霍夫变换方法处理得到，车牌识别通过使用前向传播和反向传播人造神经网络。一个复杂室外环境中捕捉到的589张图片的成功识别率为95%。

关键词：车牌，霍夫变换，反向传播，定位，字符分割识别和自动改正。

1.引言：

通常来说，要给自动车牌定位和识别系统（ALPR）由三个模块组成；车牌定位，字符分割和光学字符识别模块（图.1）。

图.1.传统ALPR系统的流程图

数字图像的车牌定位一般是通过使用边缘提取，直方图分析，形态算子或霍夫变换实现。边缘提取通常比较简单和快捷。但是，对方对噪声敏感。如果车牌是由直线段组的则

使用霍夫变换可以得到很好的结果。但是，需要车牌的轮廓明显。且需要很大的内存空间

和相当长的运算时间。另一方面，基础的直方图处理不能处理有大量噪声和倾斜的车牌。

最后：使用形态学方法处理不易受到噪声的影响，但是执行起来很慢。

单独使用这些技术不足以满足现代系统的需求。现在，一个智能车牌定位和识别系统需要稳定的运行在复杂的背景环境和光强度变化。因此:已经提出了很多解决方案来应对这些问题。比如：Kim，S. et al[1]提出了一种基于边缘提取的在弱光环境下的车牌定位方法。它由两步组成。第一步包含对输入图像的梯度信息的相应区域进行搜索，第二步确定车牌的在候选区域的位置，并通过引用一个车牌模板调整边缘。此外，Sarfraz，M.et al[2]利用垂直边缘检测和沙特阿拉伯车牌。可以看出车牌图像拥有更多的水平线条，这种方法通过仅仅检测垂直线条而减少了计算时间。在[3]和[4]中，讨论更多的边缘提取方法。

在使用形态学方法的案例中，Dubey，P.[5]修改常见的形态学方法使用试探法得到一个在复杂图像处理的更简洁的结果。相应的，Wu，C. et al [6]结合形态学算子和一个澳门车辆搜索算法映射。这个搜索映射算法通过水平和垂直映射检测车牌中的字符区域。澳门车牌风格和马来西亚的车牌风格非常相似，因此，其可以作为一个可靠的参考方案。

车牌定位之后是自负分割。常见的自负分割方法是基于直方图和阈值分析。近期被提出的方法，比如Fukumi，M. et al [7]使用人工神经网络确定最有的阈值，Kahraman，F. et al [8]使用Gabor变换和向量量化方法，Song，H. et al [9]。

系统的最后一个阶段是字符识别。Wu，C. et al [6] 、Naito，T. et al [10] 采用更易实施的模板匹配法。但是，为了处理从多种车牌中读取的各种字符，需要分割字符以进行一些处理步骤，如：归一化和倾斜矫正。这些额外的步骤被证明有效的减少了所需的计算时间。例如：Sarfraz，M. et al [2]通过在模板匹配之前进行归一化改进了模板匹配法。更先进技术包括使用神经网络[10,11]和自组织地图[12]。

2.系统概述和其核心概念

在此项工作中主要使用的软件是Matlab R2006a（v.7.2）。使用此软件的核心组件是图像处理工具包（IPT）和神经网络工具包。使用一个英特尔奔腾3.0GHz双核处理器和1Gb 内存的计算机执行此软件，使用一个索尼DSC-P10数码相机捕捉到589张数码图像。数码图像拥有1百万像素的分辨率不使用相机的任何附加功能。刻意这样做是为了使实验结果能够验证所提算法的鲁棒性。

图2.索尼DSC-P10 数码相机

自动车牌识别系统的历史是相当复杂的，且有很多已经被成功的应用的在商业用途。然而，在马来西亚设计一个车牌识别系统不仅需要系统处理车牌光照变化，污染，扭曲等

客观环境。也需要系统处理一些非标准的马来西亚风格车牌。为了使系统在这些环境下稳定的运行，提出并开发了一个基于形态处理和改进的霍夫变换相结合的方式。

通常，霍夫变换被用来定位车牌的垂直和水平边缘。这在Tran，D. D. et al [13]的工作中有清楚的说明。实验小组结合霍夫变换和用于探测封闭边缘对象轮廓的算法。此技术降低了内存空间和运算需求。然而，这不适用于马来西亚的车牌定位。这主要是由于大多数马来西亚车牌没有一个清晰的边界。且白色的字符在黑色背景上不像其他国家车牌的黄色或白色背景那样易于区分。这样，为此系统开发的车牌定位过程的核心概念仅仅基于字符特征而不是车牌的轮廓。这是因为自符是车牌上面最容易分辨的对象。

接下来的部分讨论定位，自负分割和识别模块。接着，文章会在结束之前分析和讨论实验结果。

3.车牌定位

如前所述，车牌定位过程是一个形态学过程和改进的霍夫变化方法的结合。为了执行形态处理，通常将原始的RGB图像转换为一个灰度图转换为二进制图像会更方便。Otsu的通用阈值转换方法被用在此系统中将灰度图转换为二进制图。这项技术推荐最小化目标和背景像素的内部类型差异用来得到一个最优的阈值。这个通用阈值转换方法会将生成如图3所指的二进制图像。

图3.Otsu通用阈值转换结果

如图3所示，可以清楚的看到，车牌的字符已经被正确的从其背景中分离了出来。接着，在二进制图像上面执行多种形态处理和霍夫变换。在接下来的分段中讨论自动倾斜矫正和候选区域评估，从而完成车牌定位模块。

形态处理

形态处理的目的是去除图像中所有的无关对象并且确保车牌上的字符被完整保留。然而，为了保证算法足够完善以满足各种大小的字符，将在此图像中进行若干形态处理。这是为了保证能够为每个过程指定一个宽松的上限和有限的下线。基于已测得的对象性质，将会校对已指定的上限和下限用来决定其是否保留或从图像中移除。主要有三个形态处理过程被用于此图像。每个二进制图像的宽度，高度，和小孔的数量将被核对。超过指定上限和下限的值将从图像中移除。这个步骤在从图像中填充和清除边界对象和去除微小对象处理之后。图4清楚的阐明了这些步骤。

图4.形态处理流程图

改进的霍夫变换

如上述所说，霍夫变换通常用于检测车牌的边缘。在此系统中，检测的重点是车牌的字符。在使用霍夫变换的大多数案例中，输入图像一般是边缘图像。案后，定位车牌的水平和垂直边框。然而，在本系统中，不需要边缘图像。相反地，霍夫变换被直接应用于经过形态处理后字符特征得到保留的图片。通常，一旦得到霍夫变换后的图像，峰值就被确 Binary Image Fill Image Clear Boundary Objects

Remove Small Objects

Width, Height and Holes

定了，这些峰值对应图像中直线的位置，然后和一个空的二进制图像对比（全为0）。在空图像中这些线段所对应的像素值被置为1。目标中的线段彼此交叉。最终，这会使对象的边界位置容易被找到。因此，通过检索图像中所有的交叉线段边界框的特征，得到这些线段围成的候选区域，接着被显示在原始图中。图5.说明了改进的霍夫变换处理

为了确保使用这种方法能够得到一个满意的结果，指定这些参数的合理值是非常重要的，如霍夫变换中用来确定峰值的阈值，检测峰值个数和线段的最大和最小长度。

图5.改进的霍夫变换的流程图

如果检测到了过多的线条，则此过程将很慢。反之亦然，如果检测到的线条数目与理论值相差很大。则可能不会差生一个覆盖整个车牌的候选区域。同样的，理想的配置是从最小的线条中提取到整个车牌。需要注意的是，通常会得到不止一个候选区域。在对候选区域进行评估之前，需要执行自动倾斜校正。

自动倾斜校正

自动校正的主要目标是改进候选评估过程和提高字符识别模块的识别成功率。自动校正也是基于霍夫变换的。改进霍夫变换得到的最终候选区域作为此步处理的输入。图6. 显示了一些包含车牌的候选区域样本。

从这些样本可以看出，之后的提取被成功的执行了，但是经过第一次形态处理得到的图像总任然存在一些不需要的目标。为了去除这些目标，进行第二次形态处理，包括边框过滤，紧接着进行候选区的小目标去除和填充。值得注意的是，第二次形态处理不包括清楚便捷对象以避免字符被移除。 Plotting Lines on Empty Image

Display on Grayscale Image

Locating Peaks on Hough Transform After Morpho. Processes

图6.候选区样本

在使用霍夫变换实现自动校正的案例中，第二次形态处理的结果图像使用Sobel 算子

获得轮廓。相似的，峰值对应的直线位置在霍夫图中标示出，检测到的线条标示在轮廓图中。目标线段是最上方线段（所有字符边缘的上方）或最下方线段（所有字符边缘的下方）。这两条线段将帮助计算车牌的相对于水平轴的倾斜角。

在此系统中，将最底部线段作为目标线段。同样的，对于所有的候选区域来说，最低线将被确定。为了在霍夫图中的所以的线段中找到这条线，需要建立几个标准。最低线的最明显的特征是，它的有坐标平均值-从起点到终点最大（Matlab 中的图像坐标系统）。但是，可能出现这种情况，由于候选区中异物的影响目标线段可能会丢失这种特征。外物的存在主要原因是第二次形态处理失败。这样，为了控制这种情况，每条线的长度和斜度将被纳入考虑范围。成功定位最低线之后，车牌对于水平轴的角度可以使用简单的三角定理得到。图7.阐明了自动校正过程

图7.自动校正处理流程图

候选区判定

如前文所述，改进的霍夫变换法通常会定位不止一个的候选区（图8中有说明）。为了确定包含车牌的正确的候选区需要对候选区进行判定。此判定过程有几个测试组成，这些测试检测候选区中存在车牌的可能性。只有通过所有测试的候选区才会被判定为车牌。这 Plot and Locate Bottom Most Line

Auto Skew Correction on Original Candidate Region Locating Peaks on Hough Plot After 2 nd

Morph. Process Locating Peaks on Hough Plot Auto Skew Correction on Original Candidate Region

Plot and Locate Bottom Most Line

After 2 nd Morph. Process

些测试包括：候选区的宽高比和候选区中封闭图形的个数。这个3个测试通常能够去粗大多数错误的候选区。但是，依然存在错误候选区没有被检测到的情况。这样，垂直映射分析作为最终的判定手段。

图8.错误候选区实例

垂直映射分析是基于0度拉动变换的平行光映射实施的。这个判定的关键是分析的自动化。图9和10进行车牌区域信号和错误候选区信号的对比。

图9.车牌信号

图10.错误候选区信号

图10中的前两个简单的错误候选区可以通过一个简单的算法移除。但是，对于复杂候

选区的识别需要一些更可靠的参数。每个候选区经过垂直映射分析后，通过以下算法可以

确定3个不同的点:波峰，波谷和追踪点。

算法如下：

1）定位所有的波峰和波谷

2）提取第一个波峰，p i作为参考点

3）将一下波峰，p i+n作为第二个参考点（‘n’从1开始）

4）确定两个参考波分之间的最小点，并将其标记为追踪点

5）计算连个波分之间的波谷是否小于参考波分的30%

6）如果小，将其视为追踪点，i+1并将n重置为1。如果大，将n加1并执行步骤7，如果‘i+1’等于波峰的总数，每个案例中，重复步骤3知道所有的候选区都被判定。

7）计算追踪点的数量，定位并确定候选区是否是车牌区。

4.字符分割

字符分割是车牌提取和光学字符识别模块的桥梁。它的主要功能是在选定的候选区中

分割字符，这样，每个字符可以被分别送到光学字符识别模块。马来西亚车牌的黑色背景

上的白色字符意味着，对于字符分割来说，阈值工具是很有效的。另一方面，车牌定位模

块处理的是而精致图像。因此，提取到的车牌已经是需要的格式了。提取车牌的字符就只

需要选定候选区中每个队形的边界框。对于每个提取到的边界框，对象的最大区域被确定了。其他的对象被移除。图11阐明了字符分割的过程。

Character Segmentation

Based on Bounding Box

Noise Removal Based on

Largest Area Object

Character Segmentation

Based on Bounding Box

Noise Removal Based on

图11.字符分割过程流程图

在字符识别之前，字符被归一化为25*15像素。执行这个补丁的归一化处理使分割后的字符被字符识别模块的人工神经网络识别。

5.字符识别

开发这个模块的主要部分是利用前馈反向传播人工神经网络。由于神经网络智能接收一个固定的矩阵作为其输入，这清楚地解释了字符归一化的原因。25*15的字符意味着在其输入层，神经网络拥有375个神经元。基于经验法则开发了一个3层的神经网络。这个法则意味着中间层神经元的数量在输出层和输入层神经元数量之间。此神经网络的输出格式在图12中有说明。这样，这意味着，输出层应当由36个神经元组成。数值型的字符从0-9，字符型从A-Z 组成了这个数目。但是，在图像库的所有车牌中都找不到字母‘I ’，‘O ’和‘Z ’。这样，此系统的神经元仅有33个神经元组成。附录A 是用于训练神经网络的字符，从0到9。

通过在多种配置中进行实验，发现，

在输入层中使用375个神经元（纯线性激活函数），2中间层使用207个神经元（正切sigmoid 激活函数），输出层使用33个神经元（纯线性激活函数）的神经网络，被动量梯度下降法和自适应速率反向传播算法训练后，得到最高的成功识别率。为了验证其鲁棒性，神经网络被使用训练和未训练的数据进行测试。这些用于训练的样本从数据库中的589张图片中获得。图13中阐明了神经网络结构。这个网络耗费最少的训练时间并产生令人满意的结果。这样，包含额外的字符将会非常方便。

图13. 神经网络结构

6.结果和讨论 为了便于验证算法的鲁棒性，通过使用Matlab 中的GUI 开发环境工具包（GUIDE ）开发了一个简单的图形用户界面（GUI ）。图14显示的是为系统开发的GUI 。用户可以方便的将图片导入到GUI 中，在车牌图像中定位车牌，分割和识别字符。并且，用户可以勾选GUI 中的各种复选框查看经过前面各种处理后高亮显示的结果图像。图15阐明了在两个检测到的候选区中进行垂直映射分析的结果。

图14.图形用户界面

图15.候选区的垂直映射分析

总计有589张图片被用来测试算法。在复杂室外环境图片的车牌定位识别的平均成功率是95%。这些图片由停在不同方向，不同光照强度，复杂背景下的汽车组成。在可控环境下，车牌的定位和识别的成功率接近100%。图16显示了从数据库中挑选的被陈宫定位和识别的4张图片。更多的样本结果，请参考附录B。

可以看出，定位和识别的5%不成功率是因为车牌中包含金属字符或者字符没有清晰的分隔开来。相邻十分紧密的字符不能被简单的字符分割算法分离开来。更复杂的算法可能会给处理器增加更重的负担，且需要算法足够智能以至于能够算出两个或三个字符对象之间的分割点。解决这个问题的一个最显然的方法是使用高分辨率的图像，这回直接增加此算法的计算需求或保证在合适的距离和视角拍摄图像，这可以保证车牌中字符之间分隔的足够开。

虽然我们知道使用霍夫变换会耗费大量的内存且大量的计算时间，但，就可靠性说这些耗费是值得的。而且，现今，我们越来越可以负担性能更强的处理器。此外，如果将此算法转换为标准的C程序，效率还可以进一步提升。

此算法还包括一个自动切斜校正过程，这有助于提高字符识别的准确率，和搜索包含车票候选区时的一个自动垂直映射分析过程。这些处理不仅完善了车牌定位的过程，且保证和车牌定位的成功率。通常赋予车牌定位更高的优先级，因为它的可靠性影响整个系统的鲁棒性。然而，对于实际商业应用来说，需要系统中所有模块都稳定的运行。

7.结论

从实验结果可以看出，此系统的车牌定位识别算法已经满足了马来西亚商用停车系统的需求。考虑到为了适用于马来西亚汽车，在系统的实际开发中，车牌定位过程采用了一个不同的方式确定车牌的位置，结合形态处理和改进的霍夫变换进行定位，此时关注的焦点放在字符特征而不是车牌的边缘。尽管现在系统适用于从数码相机中获取的数字图片，但是它可以被方便的引用到实际的系统中。为了将此算法实施到由适用于此应用的摄像和第三方软件组成的完整系统，如Microsoft Access 创建和保存记录车辆的数据库。更多的工作正在进行。

参考文献:

[1] Kim, S., Kim, D., Ryu, Y., Kim, G., “A Robust License Plate Extraction Method under Complex Image Conditions”, Available:

7/01047833.pdf?tp=&arnumber=1047833&isnumber22457 (Accessed: 27 July 2006).

[2] Sarfraz, M., Ahmed, M. J., Ghazi, S. A., “Saudi Arabian License Plate Recognition System”, 2003 Intenational Conference on Geometric Modeling and Graphics, 16-18 July 2003, pp.36-41.

[3] Ozbay, S., Ercelebi, E., “Automatic Vehicle Identification by Plate Recognition”, Available: tctoday/ 0415_ licplate.pdf (Accessed: 23 July 2006)

[4] Shapiro, V., Dimov, D., Bonchev, S., Velichkov, V., Gluhchev, G., “Adaptive License Plate Image Extraction”, Available: (Accessed: 23

July 2006)

[5] Dubey, P., “Heuristic Approach for License Plate Detection”, IEEE Conference on Advanced Video and Signal Based Surveillance, 15-16 Sept. 2005, pp. 366-370.

图16.数据库中的图片样本

[6]Wu, C., Lei, C. O., Chan, H. W., Tong, S. K., Ng, K., “ A Macao License Plate Recognitio n System”, Proceedings of 2005 International Conference on Machine Learning and Cybernetics, 18-21 Aug. 2005, vol. 7, pp. 4506-4510.

[7]Fukumi, M., Takeuchi, Y., Fukumoto, H., Misukura, Y., Khalid, M., “Neural Network Based Threshold Determination for Malaysia

License Plate Character Recognition”, ima-

u.ac.jp/~fukumi/ PAPER/ICMT_fukumi.pdf (Accessed: 27 July 2006).

[8]Kahraman, F., Kurt, B., Gokmen, M., “License Plate Character Segmentation based on Gabor Transform and Vector Quantization”, Available:

%20Character%20Segmentation%20Based%20on%20the%20the%2

0Gabor%20Tranform%20and%20Vector%20Quantization.pdf (Accessed: 23 July 2006). [9]Song, H., Wang, G., “The High Performance Car License plate Recognition System and its Core Techniques”, IEEE International Conference on Vehicular Electronics and Safety, 14-16 Oct. 2005, pp.42-45.

[10]Kwasnicka, H., Wawrzyniak, B., “License Plate Localization and Recognition in Camera Pictures”, Available: .pl/~kwasnick/download/kwasnickawawrzyniak.pdf (Accessed: 23 July 2006).

[11]S irithinaphong, T., Chamnongthai, K., “The Recognition of Car License Plate System and its Core Techniques”, IEEE International Conference on Vehicular Electronics Safety, 14-16 Oct. 2005, pp. 42-45.

[12]Chang, S.-L., Chen, L.-S., Chung, Y.-C., Chen, S.-W., “Automatic License Plate Recogntion”, IEEE Trans. on Intelligent Transport. Sys, Vol. 5, No.1, pp. 42-43. (2004) [13]Tran, D. D., Duong, A. D., Tran, L. H. D., “Combining Hough Transform and Contour Algori thm for Detecting Vehicles’ License Plates”, Proceedings of 2004 International Symposium on Intelligent Multimedia, Video and Speech Processing, 20-22 Oct. 2004, pp. 747-750.

[14]Otsu, N., “A Threshold Selection Method from Gray-Level Histograms”, IEEE Transactions on Systems, Man, and Cybernetics, Vol.9, No.1, 1979, pp.62-66.

9.附录

附录A。训练字符样本（0-9）

附录B.数据库中其他图片的处理结果

文献原文：