智能小车的寻迹系统设计

上海大学2014～2015学年秋季学期研究生课程考试课程名称：模式识别技术及其应用课程编号：09Z117009

论文题目：基于CMOS摄像头的智能车路径识别方法

研究生姓名：徐威学号： 14721532

论文评语：

成绩：任课教师：

评阅日期：

基于CMOS摄像头的智能车路径识别方法

徐威

（上海大学机电工程与自动化学院，上海200072）

摘要：介绍了一种基于摄像头图像的智能车寻迹方法。以MC9S12XS128为核心控制器，利用CMOS图像传感器作为路径信息采集装置，通过对采集图像进行二值化处理、去噪操作、边缘检测和断点修补后提取出路径中心信息。

利用最小二乘法对路径中心信息进行直线拟合，根据拟合直线的参数计算舵机控制量。对舵机采用PD控制算法，根据舵机转向角设定小车的速度，并对小车实行转角和速度的实时控制。实验结果证明，该智能车系统能够沿着赛道快速稳定地自动行驶，实现了路径识别与跟踪。

关键字：智能小车；MC9S12XS128；图像；CMOS摄像头；寻迹；路径跟踪

Smart Car Path Identification Method Based on CMOS Camera

XUWei

（School of electrical and mechanical engineering and automation, Shanghai University, Shanghai 200072,China）

Abstract: A method of smart car tracing based on camera image is introduced. MC9S12XS128 as a core controller, and CMOS camera as an acquisition device for route information. The route information is extracted by binarization, denoising, edge detection and breakpoint interpolation on the image collected. The system uses the minimum square fitting method to fit a straight line with the tracking information and calculate the value of direction control according to the parameters of the fitted line.

The PD algorithm is adopted for the steering control. The velocity of intelligent vehicle is set on the basis of steering angle. The real-time control of angle and speed is implemented on the smart vehicle.

Experiment results shows that the smart car system is able to automatically run fast and stably along the black track. And the path recognization and tracking is achieved.

Key word: smart car; MC9S12XS128; image; COMS camera; tracing; route tracing

1. 智能小车的总体结构

智能车系统是以迅猛发展的汽车电子为背景，集中的运用到自动控制、模式识别、传感器技术、汽车电子、电气、计算机、机械等多个学科，是典型的高新技术综合体，具有重要的军用及民用价值。本文主要介绍智能小车识别路径的方法，该设计的系统主要由HCS12控制核心模块、电源模块、直流电机驱动模块、图像采集模块、舵机驱动模块、速度采集模块和调试接口模块组成，其结构框图如图1所示：

MCU

（MC9S12XS128）

图像采集模块调试接口

电源管理模块

速度检测模块

舵机驱动

直流电机驱动

图1 系统总体框图

Fig.1 The overall block diagram of system

2. 路径信息的获取

2.1 识别方案选择

目前市面上常见的摄像头主要有CMOS 和CCD 两种，模拟摄像头多为CCD 摄像头，CMOS 摄像头大多是数字的。两者优缺点比较如表1，其中CMOS 型摄像头工艺简单，价格便宜，对于识别智能车赛道这样的黑白二值图像能力足够，因此，本文主要以CMOS 型摄像头为例，介绍基于摄像头方案的智能车自主寻迹设计。

表1 CCD 和CMOS 对比表

Tab.1 The CCD and CMOS contrast table

CCD CMOS

灵敏度 同样面积下高

感光开口小，灵敏度低 成本 成本高

CMOS 整合集成，成本低

解析度 连接复杂度低，解析度高 低，新技术高 功耗比 单一放大，噪点低 百万放大，噪点高 噪点比

需外加电压，功耗高

直接放大，功耗低

2.2 硬件设计

2.2.1 S12控制核心

智能车的控制核心是MC9S12XS128，是飞思卡尔公司生产的一款16位单片机，标称总线频率40 MHz，片内资源包括8 KB RAM、128 KB FLASH、2 KB E2PROM；SCI、SPI、CAN通信接口模块，脉宽调制(PWM)模块，A/D转换器，周期中断定时器(PIT)模块，增强型捕捉定时器。其中用于路径识别的I/O口的分配如下：PAD1用于摄像头视频信号的输入口；IRQ（PE1引脚）用于摄像头行同步信号的输入捕捉；PM0用于摄像头奇-偶场同步信号的输入口。

2.2.2 电源管理单元

根据系统各部分正常工作的需要，各模块的电压值可分为2.5 V、5 V、 6.5 V、 7.2 V、 12 V五个挡，具体电源分配图如图2所示：

图2 电源分配图

Fig.2 The power distribution diagram

2.2.3 路径识别单元

路径识别单元是智能车控制系统的输入采集单元，其优劣直接影响智能车的快速性和稳定性。在摄像头方案中，其前瞻距离及检测到的赛道信息是红外线光电管方案远不能比拟的，但其软、硬件设计也较红外线光电管方案难。要能有效地采样摄像头视频信号，首先要处理好的技术问题就是能提取出摄像头信号中的行同步脉冲、消隐脉冲和场同步脉冲。否则，单片机将无法识别所接收到的视频信号处在哪一场，也无法识别是在该场中的场消隐区还是视频信号区，更无法识别是在视频信号区的第几行。

图3 摄像头视频信号

Fig.3 Camera video signal

摄像头的主要工作原理是按一定的分辨率，以隔行扫描的方式采样图像上的点，当扫描到某点时就通过图像传感芯片将该点处图像的灰度转换成与灰度成一一对应关系的电压值，然后将此电压值通过视频信号端输出，具体参见图3。当摄像头扫描完一行，视频信号端就输出有一个电压“凹槽”，并保持一段时间，此“凹槽”叫做行同步脉冲，它是扫描换行的标志。然后，跳过一行后，开始扫描新的一行，如此下去直到扫描完该场的视频信号，接着就会出现一段场消隐区。在这若干个消隐脉冲中，有个脉冲远宽于其他的消隐脉冲，该消隐脉冲即称为场同步脉冲，它是扫描换场的标志。摄像头每秒扫描25幅图像，每幅又分奇、偶2场，先奇场后偶场，故每秒扫描50场图像，即扫描周期为20 ms。

图4 摄像头采样电路图

Fig.4 Camera sampling circuit diagram

要能进行图像采集识别路径，首先要处理好的技术问题就是能有效地从摄像头信号中提取出行同步脉冲、消隐脉冲及场同步脉冲。考虑到硬件提取简单易行，可靠性高，因此选用LM1881视频同步信号分离芯片进行提取，其硬件电路图设计如图4所示。

2.3 软件设计

通过外部中断采集程序对摄像头的视频信号进行采集，主程序在两次外部中断的间隙中完成对数据进行处理及计算并给出控制量，采样周期为20 ms。其中，主程序主要完成的任务是：单片机初始化和黑线提取算法；图像滤波算法；其他算法。具体主程序流程图如图5 所示：

图5 主程序流程图

Fig.5 The main program flow chart

2.3.1 图像采集

考虑到实际赛道只是在白色KT板上布置黑色引导线，路径识别只需大致提取出黑色引导线即可，不必每行采集。因此，我们可以采用隔行采集思想来压缩图像的数据。实践证明，智能车控制系统的图像传感系统在单一方向上只要有40像素的分辨能力就足够用了。所以我们只需对288行视频信号中的某些行进行采样就可以了。实际测得所用摄像头（1/3 OmniVision CMOS）时序参数表如表2所示：

表2 CMOS时序参数表

Tab.2 CMOS timing parameter list

信号属性行序数行持续时间行同步脉冲持续时间消隐脉冲持续时间

场消隐区

1-4 23us 3.5us

5 27.3us 8us

6 37.3us 3.5us 7-10 29.8us 3.5us 11-22 64us 4.7us

视频信号区23-310 64us 4.7us

场消隐区（场同步脉冲）311-314 64us 4.7us 315 64us 3.5us 316-319 29.8us 3.5us 320 53.4us 28us

假设每场采样40行图像数据，为了方便软件程序的编写，可以均匀地采样288行视频信号中的40行，

即每隔7个有效行采集一行。例如采样其中的第7行、第14行、第21行、…、第273行、第280行，即采样该场信号的第29行、第36行、第43行、…、第295行、302行（每场开始的前22行视频为场消隐信号）。此外，为了进一步解决图像数据大与S12单片机数据处理速度有限的矛盾，还可以通过适当地将S12的CPU超频运行，以及降低A/D转换器的转换精度，以提高A/D转换器的速度，具体实现流程图（以采集一幅16行×40列的图像为例）如图6所示。

图6 图像采集程序流程图

Fig.6 Image acquisition program flow chart

2.3.2 黑线提取

将常用的黑线提取算法划分为二值化算法、直接边缘检测算法和跟踪边缘检测算法。直接边缘检测算法较二值化方法而言，抗环境光强变化干扰的能力更强，同时还能削弱或消除垂直交叉黑色引导线的干扰。从算法的简洁性和实用性综合考虑，直接边缘检测算法是一个较好的选择。

采用逐行搜索的算法，首先找到从白色像素到黑色像素的下降沿和从黑色像素到白色像素的上升沿，然后计算上升沿和下降沿的位置差，如果大于一定的标准值，即认为找到了黑线，并可求平均值算出黑线的中心点。至于上升沿、下降沿的检测，可以通过上上次采样数与这次采样数的差值的绝对值是否大于一个阈值来判断，如果“是”且差值为负，则为上升沿；如果“是”且差值为正，则为下降沿。这里，阀值可以根据经验设定，基本上介于30～46之间（当A/D模块的参考电压为2.5 V时），也可以采用全局自适应法设定，每次采样后首先都遍历一次图像，得到图像灰度值的平均值，然后用这个平均值乘以一个调试系数即可得到所要的阈值。具体黑线提取效果如图7所示：

图7 单行黑线提取效果图

Fig.7 The black line extraction effect

2.3.3 图像滤波

在图像滤波算法中，主要应考虑以下方面：首先，根据图像模型去噪，例如，由于赛道的黑色引导线是绝对连续的，故两个中间有黑线的行之间不能有全白行（注意中间二字：如果黑线在边缘，则可能是由于摄像头的视野太窄或智能车身不正导致在过弯道时只能看到部分黑色引导线），这主要是解决光线对摄像头的反光问题；其次，在理想的情况下，根据赛道的黑色引导线的连续性，如果某一行求取的中心线位置与相邻的两行都相差很大，则可以认为该行数值错误，抛弃该行的数据或使用其前后两行数据的平均值来替代该错误数值用以校正。

另外，由于智能车上安装的摄像头相对于赛道存在一定的倾斜角度，因此会造成采集到的赛道图像具有一定的梯形失真，即图像中的赛道远端窄、近端宽，因而也会对路径的正确识别产生影响。对于这种失真，可以通过对每行提取的赛道位置添加一个线性修正值来消除，一般通过实验的方法确定线性补偿的系数。

3. 结束语

以MC9S12XS128作为控制核心，采用CMOS摄像头采集赛道信息，通过对赛道信息的提取和分析，通过直线拟合后的相关参数控制舵机转向，利用转向信息决定小车的期望速度，采用增量式PID实现直流电机的闭环控制。实验证明，该智能小车在白底黑线的跑道上能够以较快的速度平稳地跟踪黑线赛道前进，转向和速度控制效果良好，实现了小车智能跟踪的目的。但也暴露出了智能车寻迹的局限性，一直沿着道路中心线行驶，在一些弯道处并不是最佳的行驶方案。未来的工作可以以此展开，对弯道行驶路线的优化进行更深的研究。

致谢：首先感谢我的导师陈万米对我的帮助，还要感谢杨帮华老师的耐心教导与大力支持，最后感谢同学的热心帮助，在此表示特别感谢。

参考文献：

[1] 张睿. 基于K60的智能小车控制系统设计与实现[D]. 杭州电子科技大学2014

[2] 张红涛，赵书尚，韩建海；基于CMOS传感器的智能小车设计[J]；河南科技大学学报(自然科学版).；2009(01)

[3]王朝盛；基于16位单片机MC9S12DG128B智能车系统的设计[D].；天津工业大学；2007

[4] Julio E,Normey-Rico,Ismael Alcala,Juan Gomez-Ortega,Eduardo F. Camacho.Mobile robotpath tracking using a robust PID controller. Control Engineering . 2001

[5]董晓庆，谢森林，李平；智能小车路径识别及速度控制系统的实现[J].；科技信息；2009(16)

[6] 宋雪丽，王虎林，王毅；基于单片机的寻迹机器人的系统设计[J]；仪表技术；2009(04)

[7] C.J.Park,,D.M.Lee,,S.G.Choi.Development of Fuzzy PID control system for hot strop finishing mill. The 27st,Annual Conference of the IEEE Industrial Electronics Society . 2002

[8]张会丽；地面自主移动机器人路径规划算法研究[D]；浙江大学；2013

[9] M. Doi,K. Suzuki,S. Hashimoto.Integrated Communicative Robot "BUGNOID" Robot and Human. Proceedings of the 11th IEEE International Workshop on Interactive Communication . 2002

附录：主源程序代码

#include "includes.h"

/************speed_pid*********************/

uint32 speed = 0;

int error = 0;

int pre_error = 0;

int last_error = 0;

int PWM_temp = 0;

byte shizi = 0;//十字标志位

int only_right = 0;//只采集到单边的黑线标志位

int last_only_right = 0;

int only_left = 0;//只采集到单边的黑线的标志位

int last_only_left = 0;

//byte true = 0;

int true_right = 0;

int true_left = 0;

int true_line = 0;

int cross_flag = 0;

int line_right[row];//存放单边黑线

int line_left[row];

int line[row];//记录虚拟中心黑线

uint8 href = 0;//记录行数

uint8 fifo_flag = 2;//读的是那片fifo

uint8 flag = 0;//切换fifo

uint8 yuzhi = 150;//阈值

uint8 hang = 0;//用于oled显示的行

uint32 count = 0;//oled

uint8 shift = 1;//用于切换fifo

byte CCD_point[row][col];//存储图像的数组

byte CCD_imagin[row][col];//存储图像的数组

uint8 zhengshu = 0;

uint8 key_flag_100ms = 1;

uint8 key_flag_200ms = 1;

uint8 image_module = 0;//选择是传上位机还是lcd显示

byte lastline[70];//上一次的拟合黑线位置

int pwmd = 0;

uint8 wire_flag;

uint8 condition = 10;

int dirct = 0;

int pwm_d;

uint32 mc = 0;

int f = 0;

unsigned char *p;

int PicNum = 6400;

long Num = 0;

int SD_flag = 0;

int count_Num = 0;

int stop_flag = 0;

int last_dir;

byte buffer[500];

int high_speed = 0;

int motor_pro = 0;

int bianyan_yuzhi = 15;

int start_flag = 0;

int true_first=0;

int virt_right_flag = 0;

int virt_left_flag = 0;

void delay(uint32 times) {

while (--times)

;

}

void MCU_init(void); /* Device initialization function declaration */ int main(void) {

int i = 0;

int j = 0;

MCU_init(); /* call device initialization */

LCD_Init();//oled初始化

//camera_init();

fifo_init();//fifo初始化

sci_init();//sci初始化

menu_first(&FTM0_C0V, &FTM1_C0V, &image_module);

for (;;) {

//LCD_Write_Num8x16(4,0,0,speed);

if(image_module==3)

{

sd:

if (flag == 1) {

flag = 0; //fifo切换

fifo_Reset();//读复位

fifo_flag = fifo_switch(shift);

shift = ~shift;

crossroads_bianyan();

pwm_d=mid_value+dirct;

if(pwm_d>=540)

{

Direct=540;

} else if(pwm_d<=330)

{

Direct=330;

} else

{

Direct=pwm_d;

}

if(start_flag==0)

{

//fast_speed();

if((dirct>70)||(dirct<-70))

{

Speed_PID(250);

Back(0);

} else

{

Speed_PID(380);

Back(0);

}

if(speed<20)

{

motor_pro++;

} else

{

motor_pro=0;

}

if(motor_pro>6)

{

Motor=0;

break;

}

} else

{

LCD_P8x16Str(0,2,"stop....");

Motor=0;

Back(0);

}

//LCD_Write_Num8x16(5,0,4,speed);

}

}

if(image_module==0)

{

wire_flag=sci_getMessage();

go_anyway(wire_flag);

}

if(image_module==1)

{

SD_flag=1;

//image_module=3;

//goto sd;

//send_image();

//if(g==0)

//{

//g=1;

//send_SD();

//}

}

}

return 0;

}