运动目标检测与跟踪算法的研究进展

运动目标检测与跟踪算法的研究进展

0 引言

人类感知的环境信息大多是通过视觉获得的，而在接受到的所有视觉信息中，人们又往往对动态信息更感兴趣。随着多媒体技术的发展，人们正在接触越来越多的视频信息。一方面，要获得较高压缩比来存储这些信息，另一方面，需要对感兴趣的区域或对象进行操作[1]。因此对视频图像中运动目标的提取、分类识别和跟踪，已成为对运动目标的行为进行理解和描述视频图像中动态信息的主要内容。

运动目标的检测与跟踪在技术上融合了计算机视觉、视频图像处理、模式识别和自动控制等相关领域的知识[2]。运动目标的检测与跟踪是视频技术的一个重要研究方向，其应用十分广泛。在交通流量的监测、安全监控、军事制导、视觉导航，以及视频编码中都有涉及。目前，运动目标的检测与跟踪已经取得了很多成果，并且不断有新技术、新算法涌现。但是，在实际环境中，由于自然环境的复杂（光照、气候的变化等），目标的高机动性，干扰了目标检测与跟踪，造成检测不准确且跟踪效率不高。因此，研究改进运动目标检测与跟踪算法有很现实的意义和应用价值。

1 运动目标检测常用算法

运动目标检测就是从视频图像中将变化的区域从背景中提取出来，此类算法依照目标与摄像机之间的关系可以分为静态背景下运动检测和动态背景下运动检测。静态背景下只有被监视目标在摄像机的视场内运动；而动态背景下摄像机也发生了运动，这个过程就产生了目标与背景之间复杂的相对运动，造成动态背景下的运动检测和跟踪难度很大。目前对于动态背景下运动检测和跟踪的研究较少，因此本文暂不涉及运动背景下的运动目标检测与跟踪。在静态背景下，运动目标检测主要算法有三种：帧间差分法、背景差分法和光流法。下面分别对这三种算法进行分析。

1.1 帧间差分法

帧间差分法[3]的基本原理就是相邻帧的图像对应像素点的灰度值相减，通过差分图像进行二值化处理以确定运动目标。帧间差分法的主要优点是：算法实现简单，程序设计复杂度低；不存在背景的获取、更新和存储的问题；对场景中光线的变化不太敏感，实时性好。但在实际环境中，当目标运动速度过快时，容易产生空洞，也可能把一个运动目标分割为两个或者多个，并且运动目标的获取存在着模糊的边缘。

针对帧间差法存在的问题，人们提出了很多方法改进，如采用三帧差分法、加入颜色信息进行判别等。例如Shahinfard 等提出对相邻5 场的视频序列作差分处理，并且综合视频序列的RGB 分量信号进行运动检测[4]。因此，该方法即适用于高速运动目标，同时也适用于低速目标。针对光线变化的环境，Crnojevic等提出将小波变换加入差分算法中[5]，取得了较好的效果。聂?等提出了一种复合差分算法，利用两次差分之间的相关性来检测运动目标，并且将前景像素面积作为判别目标漏检程度的依据，有效的减少了目标漏检[6]。

1.2 光流法

光流是空间运动物体在观测成像面上的像素运动的瞬时速度。物体在光源照射下，其表面的灰度呈现一定的空间分布，称之为灰度模式。当人的眼睛观察运动物体时，物体的景象在人眼的视网膜上形成一系列连续变化的图像称之为光流。光流表达图像的变化，包含目标运动的信息，可用来确定目标的运动。光流算法评估了两幅图像的之间的变形，它假设一个物体的颜色在前后两帧没有巨大而明显的变化。基于这个思路，我们可以得到图像约束方程。不同的光流算法解决了假定了不同附加条件的光流问题。Horn 和Schunck 于1981 年创造性地将二维速度场与灰度相联系，引入光流约束方程，得到光流计算的基本算法[7]。Lucas 和Kanade 同年提出了LK 光流算法[8]。

虽然光流携带了有关物体运动和景物三维结构的丰富信息，在实际应用中，由于遮挡、多光源和噪声等原因，使得光流方程的灰度守恒假设条件得不到满足，不能正确的解出光流场；同时大多数的光流计算方法相当复杂，计算量大，难以实时应用，因此在对实时性要求较高的监控系统中一般并不采用这种算法。因此减少光流算法的运算复杂度是应用光流法的关键。为此，戴斌等人提出了最优估计的点匹配技术和光流均匀采样策

略[9]，同时进行运动目标的检测和跟踪，并能在一定程度上解决光流技术中的计算量和信息量的矛盾。为改善HS 算法中最小均方差迭代的最终收

敛点产生的偏移，桂本烨等提出了新的能够循环求精的梯度算法[10]，并将该算法与多分辨率光流算法结合，提高了算法的鲁棒性和准确度。

而Lee Yee Siong 等人更是将HS 和LK 算法作了整合，并且进行了滤波处理[11]，收到了较好的结果。

1.3 背景差分法

背景差分法又称减背景法，是一种最基本、应用最广泛的运动目标检测方法。它采用当前图像与背景图像同位置像素亮度相减的方式进行前景目标检测，具体来讲，它首先选取或构造一帧背景图像，其次根据某种背景模型更新背景图像，并计算当前图像与背景图像的差分图像，然后进行阈值处理以分割出运动目标。如图1 所示：

背景差分法计算比较简单，在相对静止的场景中检测运动目标时，该方法取得了比较好的性能。但是这种方法对场景中的动态变化比较敏感，受场景光照变化、背景扰动等因素的影响较大，目标的阴影也常被误检为目标。并且背景模型的建立与更新对目标检测和跟踪结果的好坏至关重要。针对背景建模以及阴影消除，很多研究人员提出了改进方法。首先介绍关于背景建模的方法；Elgammal等人利用高斯内核非参数化估计同像素点的概率密度，提出了一种无参数的内核密度估计法[13]；齐美彬等人提出一种新的基于背景像素值出现频次最高假设的背景重构算法[14]，在前景点灰度值出现概率大于背景点灰度值出现概率下，仍然能够正确重构背景；Yi Tang等人提出了一种基于段分布的背景构建方法[15]，能够有效解决背景扰动等问题，提高了目标检测的准确性。此外，还有参数建模的方法[16]。例如Stauffer和Grimson提出的K个高斯分布的混合模型表示背景像素的分布规律[17]；黄鑫娟等人对高斯混合高斯模型作了改进，提出了自适应的混合高斯模型[18]，能快速适应场景的变化；还有将混合高斯模型应用到HSV彩色空间中[19]，取得了更好的有效性和可靠性。在高斯混合模型之后，有人提出了一种基于码本的运动目标检测算法[20]，更加适合实时应用；李莉采用了新的码本提炼和更新策略[21]，改进了码本算法。也有别出心裁者，利用多个阈值的差分图像来检测运动目标[22]，也取得了较好的效果。阴影的消除大多通过变换彩色空间来完成。

对于动态背景下的目标检测，由于存在目标与摄像机之间的相对运动，因此，动态背景下的运动目标检测比静态下要复杂的多。由于背景和前景都在做全局运动，要检测运动目标就要进行图像的全局运动估计和补偿。通常我们使用块匹配法[23]或光流法进行运动参数的估计。Xiao-jun Cao等人对块匹配作了改进，没有对序列图像内的全部块进行计算，而是对包含运动目标的块做处理[24]，提高了算法的准确性。郑世友等人提出了一种基于场景图像参考点3D位置恢复的图像背景判别方法[25]，较好的解决了在具有多帧间全局运动参数的动态场景序列图像中检测运动目标的问题。

2 运动目标跟踪算法简介

运动目标跟踪是指对目标在图像中的位置以图像帧的形式进行连续按时间采样，通过对目标运动行为的估计，预测目标在图像下一帧中的物理特征，并根据这些特征对图像序列中的目标进行匹配，从而得到运动目标完整的运动轨迹的过程。运动目标跟踪是图像处理中的一个重要领域，为进行场景中运动目标的运动分析提供了重要来源。现在常用的跟踪方法有四类[26]：分别是基于模型的跟踪(Model-based Tracking)、基于区域的跟踪(Region-basedTracking)、基于变形模板的跟踪(Deformable-template-based Tracking)、基于特征的跟踪(Feature-based Tracking)。下面将分别介绍这四种方法。

2.1 基于模型的跟踪

基于模型的跟踪方法对目标物体的外形特征进行建模，然后在图像序列中跟踪这个模型。对运动物体的外形进行建模时，通常可以用三种形式的模型来表征物体[27]：线图模型、二维轮廓模型、三维立体模型。例如Sung, K等提出的直板人模型[28]，它将人的肢体用一组连接的平面区域块来表达，该区域块的参数化运动受关节运动的约束；还有将人身体的各部分用直线来近似表示并建立了人体运动的分层模型[29]用于实现对人体的跟踪的方法。

基于模型的跟踪方法的特点是跟踪的准确度取决于目标物体几何模型的精度。对于刚体运动目标而言，其运动过程中状态变换主要是平移、旋转等，利用这种方法实现运动目标的跟踪能取得比较好的效果；对于非刚体目标而言，其在运动过程中形状的变化往往没有规律可言，因此难于获得运动目标的确切的几何模型，因此对非刚体目标的跟踪不适合使用该跟踪方法。

2.2 基于区域的跟踪

基于区域的跟踪算法基本思想是：首先得到包含目标的模板,该模板可通过图像分割获得或预先人为确定,模板通常略大于目标的矩形,也可为不规则形状；然后在序列图像中运用相关算法跟踪目标。基于区域的跟踪方法在运动目标未被遮挡并且没有阴影时，跟踪效果相当的好。若发生遮挡会导致精度的下降，进而导致目标丢失；阴影面积较大时，会引起不同目标区域的连接，并且该算法不能很好的搜索到非刚性目标。针对这些问题，也有不少改进方法。例如王绍钰提出的将颜色直方图和边缘直方图结合建立参考模型[30]，提高了跟踪的准确性。

2.3 基于变形模型的跟踪

变形模型是边缘或者纹理可以按照一定限制条件变形的模型或者曲线。变形模型中最常用的是Snake模型[31]，Snake模型以构成一定形状的控制点为模板(轮廓线)，通过模板自身的弹性形变，与图像局部特征相匹配达到调和，即某种能量函数极小化，完成对图像的分割。图像特征是局部的，即图像上某一点的特征只与这一点所在的邻域相关，而与物体的形状无关。该模型同样要求有较好的初始化，且对背景中的变化及噪声的干扰对该模型影响较大。现在有很多人将水平集理论应用到运动目标跟踪中，取得了较好的效果。例如Imamura, K改进了水平集的迭代算法[32]，完成了比Snake模型更精确的跟踪。

2.4 基于特征的跟踪

基于特征的跟踪其基本思想是：在跟踪过程中利用运动目标在运动中具有不变性质的特征，如角点、纹理、色彩等来实现跟踪。这种跟踪方法一般包括特征的提取和特征的匹配两个过程。与基于区域的跟踪算法的不同之处在于，后者使用目标整体作为相关时的对象，而前者使用目标的某些特征作为相关时的对象。

基于特征的跟踪算法的优点是当目标被部分遮挡时，通过一些可见的子特征，完成跟踪任务。缺点是，对周围环境变化敏感，尤其是光强度的变化。对某个运动目标，确定它的唯一特征集是十分困难的，特征过多就造成算法耗时，并且结果容易出错；特征过少，又会引起跟踪结果不准确。Camshift算法是是基于特征的跟踪方法中的常用算法。由于RGB模型对光照变化敏感，一般采用HSI模型，被跟踪目标的颜色概率模型建立后，将视频图像转化为颜色概率分布图，并在第一帧图像中初始化一个矩形搜索窗。对以后的每一帧图像，定位被跟踪目标的中心和大小。Camshift算法计算量小，能够在简单背景环境中取得较好的跟踪效果，但是当背景颜色和运动目标颜色接近或者跟踪目标被遮挡时，不能正确的跟踪目标，甚至丢失目标。BoYang等人提出了结合Kalman滤波的算法[33]，提高了跟踪效率，增强了抗干扰能力。

3 结论

本文对常用的运动目标检测和跟踪算法作了简单的介绍。可以发现大多数算法并不能适用太过复杂的环境，还存在一些尚未很好解决的问题。例如在跟踪过程中目标形状、大小的改变，以及背景中光照条件的变化，还有目标被遮挡等问题。虽然很多研究人员对各种算法进行了改进，但是要完成对运动目标的精确检测和跟踪还是有一定难度。如此复杂的运动分析，生物们能有效的完成，因此，从仿生学的角度研究运动目标检测与跟踪的将为我们提供一种新思路。

在职硕士论文

[参考文献] (References)

[1] 姜超. 视频序列中运动目标提取与跟踪技术的研究. 硕士学位论文.大连：大连理工大学.2009.

[2] 常向魁. 视频运动目标跟踪算法研究.硕士学位论文.开封：河南大学.2007

[3] Lipton, A.J., Fujiyoshi, H., Patil, R.S. Moving target classification and tracking from real-time video .Applications of Computer Vision, 1998. WACV '98. Proceedings., Fourth IEEE Workshop：8-14.

[4] Shahinfard, E., Sid- Ahmed, M.A., Ahmadi, M. A motion adaptive deinterlacing method with hierarchicalmotion detection algorithm. ICIP

2008. 15th IEEE ：889-892.

[5] Crnojevic, V. ,，Antic, B.，Culibrk, D. Optimal wavelet differencing method for robust motion detection. ICIP,2009 16th IEEE ：645-648.

[6] 聂?，陈怀民，朱怡安. 一种用于目标检测的复合算法.西北工业大学学报，2009 27(1).

[7] Horn B K P Schunck B G. Determining Optical Flow .Artificial Intelligence.，1981(1-3)：185-203.

[8] Lucas B D and Kanade T 1981, An iterative image registration technique with an application to stereo vision.Proceedings of Imaging understanding workshop, pp 121—130.

[9] 戴斌，方宇强，孙振平. 基于光流技术的运动目标检测和跟踪方法研究. 科技导报，2009 27(12) .

[10] 桂本烨，钱徽，朱淼良. 一种优化梯度计算的改进HS 光流算法. 中国图象图形学报，2005 10(8).

[11] Lee Yee Siong， Mokri, S.S.，Hussain, A，etc. Motion detection using Lucas Kanade algorithm andapplication enhancement.Electrical Engineering and Informatics, 2009. ICEEI '09. InternationalConference .2009.2：537-542.

[12] 崔彦. 序列图像中运动目标检测与跟踪技术研究.学位论文. 西安：西安电子科技大学. 2009 .

[13] Elgammal, A.， Duraiswami, R.， Harwood, D.，etc. Background and foreground modeling usingnonparametric kernel density estimation for visual surveillance . Proceedings of the IEEE ，2002,90(7)：1151-1163.

[14] 齐美彬，王倩，蒋建国，等. 基于背景像素值频次最高假设的背景重构算法，中国图象图形学报，2008 13(4) ：723-728.

[15] Yi Tang，Wei-Ming Liu，Liang Xiong. Improving Robustness and Accuracy in Moving Object DetectionUsing Section-Distribution Background Model. Natural Computation, 2008. ICNC '08：167-174.

[16] 张娟，毛晓波，陈铁军. 运动目标跟踪算法研究综述. 计算机应用研究，2009 26(12).

[17] Stauffer, C.，Grimson.W.E.L. Learning patterns of activity using real-time tracking. Pattern Analysis andMachine Intelligence IEEE， 2000 22(8)：747-757 .

[18] 黄鑫娟，周洁敏，刘伯扬. 自适应混合高斯背景模型的运动目标检测方法. 计算机应用，2010 30(1).

[19] 但妮. 视频序列中运动目标提取与检测算法的研究与实现. 学位论文. 南京邮电大学.2009.

[20] Kyungnam Kim，Chalidabhongse, T.H，Harwood, D.，etc. Background modeling and subtraction by codebookconstruction. Image Processing, 2004. ICIP '04. 2004：3061 - 3064 .

[21] 李莉.视频序列中运动目标检测技术研究. 学位论文. 合肥：合肥工业大学.2009.

[22] Lu Wang，Yung, N.H.C. Extraction of Moving Objects From Their Background Based on Multiple AdaptiveThresholds and Boundary Evaluation . Intelligent Transportation Systems, IEEE .2010 10(1)：40-51.

[23] 杨沁仪 . 序列图像运动估计、目标检测及分层技术.成都：电子科技大学.2004.

[24] Xiao-Jun Cao，Bao-Chang Pan，Sheng-Lin Zheng，etc. Motion object detection method based on piecemealprincipal component analysis of dynamic background updating. Machine Learning and Cybernetics, 2008，5：2932-3937.

[25] 郑世友，费树岷，刘怀，等. 动态场景图像序列中运动目标检测新方法. 中国图象图形学报.2007，12(9).

[26] Koivunen, T. A noise-insensitive motion detector. Consumer Electronics, IEEE ，1992 38(3)：168-174.

[27] 梁静，视频序列中对特定运动目标跟踪算法研究. 学位论文.上海交通大学.2008.

[28] Sung, K.-K.， Poggio, T. Example-based learning for view-based human face detection . Pattern Analysis andMachine Intelligence, IEEE ，1998 20(1)：39-51.

[29] Peng Bai，Hong Qiao，Anhua Wan，etc. Person-Tracking with Occlusion Using Appearance Filters .

Intelligent Robots and Systems, 2006 IEEE/RSJ International Conference ，2006： 1805-1810.

[30] 王绍钰. 基于粒子滤波器的运动目标跟踪方法研究. 学位论文.长沙：中南大学.2008.

[31] Kass M，Witkin A，TerzoPoulos D.Snakes：Active contour models.Internationl Journal of ComPuter Vision，1988 1(4)：321-331.

[32] Imamura, K，Oota, T.，Hashimoto, H. Improvement of convergence and stability in moving object extractionby the level set method .

Image and Signal Processing and Analysis, 2009. ISPA 2009. Proceedings of 6thInternational Symposium ：414-419.

[33] Bo Yang，Hongjun Zhou，Xue Wang. Target tracking using predicted Camshift. Intelligent Control andAutomation, 2008. WCICA 2008. 7th World Congress：8501-8505.