计算机视觉在自动驾驶中的应用及算法

薛毅恒 11510365

2018年11?22?

计算机视觉在?动驾驶中的应?

——《机器学习》课程报告

近些年来随着??智能的兴起与物联?的结合，在?活中越来越多的?业被机器所取代或者被机器提?了很?的效率。在?动驾驶领域，属于“?速、?危”?向，·门槛很?，对实验和研究的要求也?常?。随着技术的飞速发展，?动驾驶这个领域也逐渐被攻破，虽然有类似“Uber?动驾驶致命事故”这样的案例发?，但我们还是需要客观的审视这个技术，从需求点出发解决问题，才能使得技术为我们“服务”。

在?动驾驶领域通过计算机视觉技术可以达到如下的?的：

1.Location

2.Detection

https://www.360docs.net/doc/ac12254485.html,ne

2.2.Car

3.Segmentation

4.Traf?c Sign

4.1.Detection

4.2.Recognition

5.SLAM Control

通过计算机视觉来解决这些问题，是需要我们通过相机或雷达的?式向计算机输?数据（环境信息）等有效内容之后，计算机会反馈?系列的指令，类似加速、减速、左转、右转等?些和汽车运动控制相关的指令。

?.输?信息

雷达和相机是?前解决这个问题的两个学派或两个研究?向。

1.雷达（激光雷达、毫?波雷达）

1.1.激光雷达

激光雷达是指以激光为?作光束的雷达，向?标发射探测信号（激光束），

然后将接收到的?标反射回来的信号（?标回波）与发射信号进??较，做适当的处理后就可以获得?标的有关信息，包括?标距离、?位、?度、速度、姿态、形状等参数。

激光雷达精度?，但是价格昂贵。对?艺?平要求?。

1.2.毫?波雷达

毫?波实质上是电磁波，频段?较特殊，频率?于?线电又低于可见光与

红外线，?约在10GHz-200GHz ，?常适合车载领域的频段。常见的?个频段如下：

根据国内产业机构调查，2014年汽车毫?波雷达销量120万颗，2015年180

万颗，每车需要前后两颗，今年会突破500万颗。

1.3.超声波雷达

超声波发射器向外?某?个?向发射超声波信号，在发射的同时开始计时，

超声波通过空?进?传播，传播途中遇到障碍物就会反射回来，接收器在收到反射波的时刻就停?计时。已知空?中超声波的传播速度是340m/s ，通过记录时间t ，就可以测算出距离s 。

超声波雷达在速度很?的情况下有局限性，因为 声?的传播速度受天?情

况的?扰较强。在短距离测量中，超声波测距传感器具有?常?的优势。

1.4.激光雷达和毫?波雷达的区别

激光雷达的稳定性?，精度?，但是探测范围窄，有部分咋当后?法正常

使?，在?雪雾霾天?不能开启，受环境影响?，没有穿透能?，探头必须完频段（GHz ）

特点应?领域24-24.25频率低，带宽窄，250MHz

汽车盲点监测、变道辅助，检测周围车辆，是否符合变道要求。77频率?，带宽?，800MHz

探测与前车的距离以及前车速度，?于紧急制动等主动安全领域79-81

带宽很宽，分辨率

?达5cm 精确定位

全裸露才可以达到探测效果。毫?波雷达的精度?，抗?扰能?强，探测距离远，是??探测，探测反问?，作?时速可以达到120码以上，穿透能?强。

?前激光雷达技术已经很成熟，固态激光雷达和混合固态激光雷达还处于起步阶段，?前?多采?机械式激光雷达。毫?波的波长介于厘?波和光波之间，因此既有微波制导和?电制导的有点。毫?波雷达的探测距离受频段损耗的直接制约，?法感知周围??，对周边所有障碍?法进?精准的建模。

2.相机

2.1.单?摄像头

安装在汽车前挡风玻璃上部，适?于?适应巡航、车道偏离预警、前撞预警、??监测等功能。难点在于样本数据库以及距离估算准确度较低。

2.2.后视摄像头

安装在车尾，?于探测车辆后?环境，对倒车帮助很?，但是恶劣环境中很难提?准确率。

2.3.?体摄像头

安装在汽车前挡风玻璃上部，利?两个精确的标定摄像头同时探测前?环境，实现更?识别精度和更远探测范围。计算量很?，对硬件性能要求较?。

2.4.环视摄像头

包括汽车前、后、左、右侧，实现360度环境感知，应?于?动停车系统，难点在于图像的畸变以及还原。

?.?为决策

基于计算机视觉技术的?标识别主要?的是识别出图像中有什么物体，并报告出这个物体在图像表?的场景中的位置和?向。在?个相机得到的信息中，?先判断?标有或者没有，如果没有，则进??标的检测和识别，如果有，则进?步判断有?个?标，?标分别所在的位置，然后对?标进?分割，判断那?部分图像属于改变?标，然后测算出?标的尺?、形态等。

传统的?标识别算法主要考虑了特征的选择和提取，通过设计??特征算?，

三.?标提取

在输?图像信息之后，再编解码完成之后就是需要提取图像中的物体信息，需要对?标进?检测，这?对速度和准确率的要求极?。在近?年的快速发展中，在CNN 的基础上Ross Girshick教授提出了R-CNN（Region CNN）的思想之后，先后又出现了Fast R-CNN，Faster R-CNN以及最新的Mask R-CNN的?法。

1.R-CNN（https://www.360docs.net/doc/ac12254485.html,/rbg/rcnn）

2014年，Region CNN是利?深度学习进??标检测的开?之作。主要解决了当时的两个关键问题，包括速度和训练集的问题。经典的?标检测算法使?sliding window的?法以此判断图像的区域，在研究中发现预先提取?系列较可能是物体的候选区域后，再在候选区域进?提取特征并进?判断的做法效率会提?。经典的?标检测算法在区域中提取??设定的特征（HOG），这个?法则需要通过训练深度?络进?特征提取，有?个较?的识别库（ImageNet

ILSVC 2012，标定每张图?中物体的类别，?千万图像，?千类）和?个较?的检测库（PASCAL VOC 2007，标定物体的类别和位置，?万图像，??

类），使?识别库进?与训练之后?检测库调整参数，最后在检测库上进?评测。

R-CNN通过4个步骤完成，?先在?张图像中?成1k-2k个候选区域；对每个候选区域使?深度?络提取特征；将特征输?到每?类的SVM分类器判断是否属于该类；使?回归器修正候选框的位置。

通过selective search?法，在考虑颜?、纹理等情况进?合并，保证合并后总?积尽可能?，保证合并操作的尺度均匀以及形状规则，通过图像的颜?直?图、纹理直?图、?积和位置即可完成。提取特征的预处理需要满?神经?络的要求，?先统?输?尺?为227*227，会导致图像畸变等问题。

这个?法将Pascal VOC的检测率从35.1%提?到了53.7%。

2.Fast R-CNN

2015年，这个?法与R-CNN相?，将训练时间从84h降低到9.5h，测试时间从47s降低到0.32s。解决了测试速度慢、训练速度慢以及训练所需空间?的问题。R-CNN图像内的候选框之间?量重叠，提取特征操作冗余，Fast R-CNN将整张图像归?化之后输?到深度?络，在末尾的少数?层处理候选框。

图像归?化以224*224输?到?络，conv+relu+pooling之后都不需要固定??尺?的输?，所以在原始照?上执?这下操作之后，输?图?尺?不同将会导致得到的特征图尺?不同。

和R-CNN相?，添加了?个?络层ROI Pooling将每个候选区域均匀分成m*n块，对每块进?max pooling，将特征图赏??不?的候选区域变为??统?的数据输?到下?层。

虽然输?的图?尺?不同，得到的特征图的尺?也不同，但是添加这个?络层之后，对每个region都提取?个固定维度的特征表?，就可以通过正常的softmax进?类型识别。

在分类阶段，R-CNN通过?成候选框，通过CNN提取特征之后?SVM分类，最后通过回归得到具体位置，在Fast R-CNN中，将具体位置的回归也放?到神经?络内部，与区域分类合并成为?个multi-task的模型。

3.Faster R-CNN

2016年，将特征提取，proposal提取，具体位置的回归，分类都整合在?个?络中，综合性能有较?提?，检测速度有较?提?。

在卷积层中，通过conv+relu+pooling的?法提取特征图，?于后续的RPN 层和全连接层。Region Proposal Networks?于?成region proposal，通过softmax 判断anchors属于foreground或者background，再利?bounding box regression修正anchors获的精确的proposals。在ROI Pooling层中，通过输?的特征图和proposal 之后，修正尺?后输?到后续全连接层判断?标类别。Classi?cation中利?proposal feature map计算proposal类别，再次通过bounding box classi?cation获得精确位置。

在Fast R-CNN 的Conv layers 中对所有的卷积都做了扩边处理，原图变成了,再做3*3卷积后输出，导致Conv layers 中的conv 层不改变输?和输出矩阵??。

RPN （Region Proposal Networks ）的结构如下。

RPN ?络分为2条线，上?是通过softmax 分类anchors 获得foreground 和background ，下??于计算anchors 的bounding box regression 的偏移量，最后获得精确的proposal 。最后完成了相当于?标定位的功能。

在RPN 中最神奇的就是anchors ，如下图。

是?组矩阵，数据中每?四个值代表矩阵的四个点坐标，就会产?上图所?的矩阵组。关于anchors size ，是根据检测图像设置的，将任意输?图像reshape 成为800*600，?anchors 中长宽1:2中最?为352*704，长宽2:1中最?为736*384，覆盖了800*600的各个尺度和形状。这九个矩形?于遍历conv layers 计算获得特征图，为每?个点都配备这九种anchors 作为初始的检测框，这样获得检测框就会很粗略，在后?的两次回归中就会修正。

(m ×n )(m +2)×(n +2)(m ×n

)

原图是800*600，VGG 下采样16倍，feature map 的每个点设置9个anchors ，总共有17100个anchors 。在使?anchors 之后，会导致?标检测不全，所以对矩形进?平移和缩放如下。

平移：

缩放：

4.Mask R-CNN

Mask R-CNN 是ICCV2017的best paper ，在单GPU 上的速度是5fps 。

?先对??下Faster R-CNN ，是在功能上做了提升，速度仍是200ms 左右。Faster R-CNN 由两个阶段组成，第?部分是RPN ?络，提出候选对象的bounding boxes ，第?阶段是利?了之前的Fast R-CNN ，从没个候选框提取出使?ROI Pooling 的特征并执?边界框的回归。

G ′x =A w ?d x (A )+A x G ′y =A h ?d y (A )+A y G ′w =A w ?ex p (d w (A ))G ′h =A h ?ex p (d h (A

))

Mask R-CNN是在Faster R-CNN的基础上多了?个输出，可以通过Faster R-CNN扩展得到，在Faster F-CNN中，对于每个ROI有两个输出，?个是分类结果（预测框），另?个是回归结果（预测框的坐标offset），在Mask R-CNN中变成了三个输出，对每个ROI都输出?个mask，通过FCN?络来实现。